据TechRadar报道，Megaport首席执行官在文中指出，企业IT基础设施并非为AI推理而建，当推理取代训练成为主导工作负载，支撑模型在生产环境中大规模服务真实用户和系统的架构正成为AI未来的关键。文章援引IDC数据称，2025年全球AI投资已超过3000亿美元，但企业IT仍把重点放在训练模型开发上，大型GPU集群和高密度计算占据中心位置。

文章称，推理需求已经存在。德勤数据显示，推理已占计算量约三分之二；麦肯锡预计到2030年，推理将占数据中心总需求的30%至40%。但专用基础设施尚未跟上。训练与推理对IT的要求几乎相反：训练依赖集中式大型GPU集群、极高功率密度和专用高速互连，以最大化单机房内通信；推理则面对持续信息流和不可预测的用户需求，需要地理分布的计算资源，实时响应并随需求扩展。

由于推理全天候运行，并要求面向终端用户的毫秒级响应，它依赖商用以太网、地理分布的边缘站点和低延迟网络连接，而不是单个数据中心内的孤立吞吐。文章认为，让企业数据中心最适合训练的设计选择，反而会阻碍大规模推理。成本结构也不同：训练是一次性资本支出，模型建成后成本即已沉没；推理则是经常性运营成本，随每个用户、查询、智能体交互等增长。

自主AI智能体进一步加剧基础设施缺口。文章称，智能体不会只生成一次回答就停止，而是会规划、执行多步骤任务、调用外部工具、协调其他智能体，并在系统间传递输出，这会成倍放大网络数据流量。Gartner预测，到2026年底，40%的企业应用将集成任务专用智能体；IDC预计到2027年智能体使用量将增长十倍，令牌和API调用量将增长数千倍。

文章还指出，推理正以传统广域网和数据中心网络架构未设计应对的方式放大南北向流量。麦肯锡发现，多数企业广域网目前无法支持AI数据流量模式，必须演进，AI已成为第二高的基础设施投资优先级。突发流量同样构成压力：智能体工作负载并非稳定水流，而是来去猛烈的暴雨，一次编排事件可同时触发数十个下游API调用。按平均负载配置的网络在智能体大规模协调时会触及容量上限，造成延迟和可靠性问题，使企业AI试点在进入生产前崩溃。

文章认为，建设面向推理的架构要从最基础的硬件层开始。CPU对规划、调度、工具调用协调以及定义智能体工作负载的多步推理循环至关重要。AI训练热潮期间，行业对GPU市场的关注掩盖了CPU在AI推理工作负载中的必要性。随着推理规模扩大，CPU从辅助角色转向关键角色，充当编排层的主要过滤器。从纯智能体角度看，高核心数服务器CPU能比GPU加速器更经济地处理工作负载，但两者缺一不可，推理仍需要GPU功能，只是CPU容量变得关键。