据SiliconANGLE报道，就在旧金山Dreamforce大会就"是否应放缓人工智能部署"展开争论的同一周，一场聚焦AI基础设施的峰会在以南约一小时车程的圣克拉拉举行，来自亚马逊云科技、甲骨文、博通、高通和d-Matrix等公司的技术负责人到场，介绍各自如何尽可能快地搭建AI的支撑设施。

高通数据中心与AI业务执行副总裁兼总经理托尼·皮亚利斯在本周三的演讲中称，"每瓦token数已成为这场AI战争的新关键指标"，"我们显然无法维持这一趋势，基础设施一侧必须做得更好"。报道称，AI既耗电又吞噬内存，对许多企业而言，token成本目前正在失控。

算力结构的变化是讨论重点之一。2025年大部分时间里，训练AI模型需要大量图形处理器算力，而今年对推理的关注使token用量激增，并催生对让中央处理器参与进来的更异构基础设施的需求。亚马逊云科技高级副总裁彼得·德桑蒂斯表示，"大部分算力将用于服务推理"，"推理将是一个巨大的工作负载"。该公司的核心策略是自研的64位Arm架构CPU系列Graviton，并于今年6月推出Graviton5 CPU，用于支持实时AI推理和多步任务编排。德桑蒂斯称，目前AWS上绝大多数工作负载在Graviton上运行成本更低、速度更快，并认为AI将解锁更多软件专业化，由此产生"一整波通用工作负载"。

内存问题同样突出。据SiliconANGLE分析师记录，一台典型AI服务器所用内存约为传统服务器的8倍，AI服务器内存支出预计将从2025年的350亿美元增至2027年的1750亿至1900亿美元，增幅约为五倍。围绕如何满足这一需求，业界出现了分歧。

高通过去一年将重心从传统的高带宽内存HBM转向名为高带宽计算（HBC）的自研架构。高通估计，在大批量情况下，HBC每瓦带宽是HBM的6倍，每瓦容量是静态随机存取存储器（SRAM）方案的200倍。皮亚利斯称，瓶颈在于数据移动而非运算，解决办法是让计算更靠近内存，"我们实际上把数据搬进了计算所在的同一栋公寓"。

计算初创公司d-Matrix则选择了DRAM路线，将更高吞吐的3D DRAM集成进其下一代芯片架构Raptor。该方案将多层存储单元垂直堆叠，以提高存储密度和性能。公司创始人兼首席执行官西德·谢思在演讲中称，"我们比SRAM好得多"，"实际上也比HBM好得多"，"我们为无限推理的世界准备了很久"。上周，该公司公布了与英伟达的合作，将Raptor纳入后者的机架参考架构NVLink Fusion，面向AI实验室、超大规模云厂商和新型云服务商部署超低延迟的高端token服务。谢思表示，公司决定直接搭上这套基础设施。