微软10月12日发布第三代自研人工智能芯片Maia 300,并计划从2027年起将其投入生产AI工作负载,目标是使其成为微软产品和服务的主要AI推理系统,从而减少对英伟达和AMD等公司芯片的依赖。

据The Verge报道,Maia 300面向最新推理模型和代理式任务。微软云业务执行副总裁斯科特·格思里称,该芯片预计每兆瓦可输出的token数量比领先的GPU系统多40%,在由96个加速器组成的完整配置中,机架级token吞吐量最高可达Maia 200的7倍。格思里表示,微软将从2027年开始把Azure Maia系列扩展到多吉瓦部署。

Maia 300是Maia 200的后续产品,后者今年1月才发布,并已在Microsoft Copilot、GitHub Copilot、Microsoft Foundry及微软自研模型的生产AI工作负载中运行。格思里称,按AI服务真实指标衡量,Maia 200是微软集群中性能最好的AI基础设施。微软AI首席执行官穆斯塔法·苏莱曼表示,微软必须在全栈一直向下到芯片层展开工作,并需要拥有一个与自身模型协同设计的平台,因此让微软AI模型运行在Maia芯片上是团队的关键重点。

微软采用新的芯粒架构以提升能效。据The Verge报道,Maia 300基于台积电N2P制程,将计算、内存控制器和输入输出功能分离,以增加用于计算性能的硅面积。TechRadar报道称,Maia 300采用“推理优先架构”,使用八组HBM4内存,峰值带宽为18TB/s,热设计功耗950W;一个机架包含96个加速器,功耗包络167kW,HBM总容量27.6TB,聚合HBM带宽为每秒1.7PB。微软称,低精度格式支持可降低内存和带宽需求,帮助系统在相同功耗下运行更大上下文窗口并提高吞吐量。

据CNBC报道,微软生产Maia 300从2027年开始,但负责相关业务的总经理阿利斯泰尔·斯皮尔斯拒绝提供多吉瓦部署的时间表,称公司保留一定选择余地,因为行业变化很快,希望在合适时间部署合适的芯片。微软预计每个数据中心机架装入96枚Maia 300,是Maia 200的两倍。Evercore ISI分析师在给客户的报告中估计,到2027年第一季度,Maia将占微软AI芯片支出的约10%,并建议买入微软股票。

英伟达仍将是微软AI布局的重要部分。据CNBC报道,微软在训练模型方面与英伟达和AMD合作;英伟达首席执行官黄仁勋上周还出现在微软宣布一款搭载英伟达处理器的Surface笔记本的活动上。与谷歌TPU或亚马逊Inferentia、Trainium不同,微软的加速器不能按小时租给其他公司。Moor Insights and Strategy首席执行官帕特里克·穆尔黑德表示,目前还没有人在微软之外测试过这些芯片。