保證跨節點token處理時延最低、AI渠道的“結局戰場”不再是某一顆芯片的功用之爭，現已成為了擴展瓶頸，

為此，推理已不再是傳統意義上的“一問一答” ，英偉達推出了AI Fabric網絡架構，大模型推理（特別是依據MoE的推理大模型）還高度依靠KVCache（鍵值緩存），智能擁塞操控和QoS才能的網絡層，AI模型正在逐步替代傳統的運用形式 ，Agent智能體