据SiliconANGLE报道，微软10月12日发布其最新自研人工智能加速器Maia 300。该芯片面向推理任务优化，微软估计其每兆瓦电力可处理的token量比“领先的GPU系统”高出40%，这一表述很可能指向英伟达产品。微软称，Maia系列芯片将随时间推移成为其推理算力的主要来源。

Maia 300包含四颗计算芯粒，采用台积电最新的2纳米制程制造。芯粒两侧为八个HBM4内存模块，合计容量288GB，与英伟达旗舰Rubin加速器相同；但Maia 300的内存带宽比Rubin低约20%。内存带宽衡量的是数据在内存与计算电路之间传输的速度。

AI芯片执行推理时通常需要在计算电路与内存电路之间反复搬运数据，这种持续的数据移动会拖慢处理速度。微软称，Maia 300采用数据流架构以尽量减少数据移动：在条件允许时，计算芯粒将信息保留在内部SRAM缓存中，而不发送至HBM堆栈。在必须使用HBM的情况下，计算芯粒将数据送往物理位置更近的内存堆栈，这比传输到芯片另一端的HBM堆栈更快。此外，Maia 300将数据压缩为MXFP4等轻量格式，更小的体积使数据在芯片内部移动得更快。

微软高管拉尼·博尔卡和绍拉布·迪格在博客中写道：“更窄的表示形式减少内存占用和数据移动，使系统能在相同功耗范围内支持更大的模型、更长的上下文和更多并发会话。”

Maia 300的计算与内存模块由微软所称的设备控制芯粒支持，负责管理向处理器核心部件供电、采集遥测数据等任务。另有两只辅助芯粒管理进出加速器的数据流。

部署方面，微软计划将Maia 300装入每托盘四颗加速器的托架，再置入共装96颗加速器的液冷机架。微软预计该机架提供的token吞吐量约为上一代Maia 200系统的七倍。Maia 200于今年1月发布，目前已投入生产使用。

微软计划将Maia 300机架组成总计12288颗加速器的“超级舱”，各芯片通过定制的基于以太网的网络栈互联。该网络可调整分配至机架内流量的带宽与用于机架间通信的带宽，从而针对不同工作负载调整配置。通常，芯片会因是否处于同一机架而采用不同的数据交换方式，在两种网络模式间切换需要借助宿主服务器的CPU或独立网络芯片；Maia 300对两类任务使用“相同的通信语义”，因此无需额外硬件，集群效率更高。博尔卡和迪格解释称：“作业可以跨机架边界使用容量，从而在负载规模与物理机架配置不匹配时减少闲置加速器。”

微软计划明年开始在生产环境中部署Maia 300。