亚马逊云科技(AWS)周一发布名为TorchNeuron的开发工具,使AI初创公司只需修改一行配置,就能把基于PyTorch的人工智能应用迁移到亚马逊自研AI芯片Trainium上运行,无需重写代码。据TechCrunch AI报道,这是亚马逊迄今对英伟达软件优势发出的最大挑战。
TorchNeuron与PyTorch兼容。PyTorch是免费开源工具包,用于构建、训练和运行AI模型。亚马逊称,约85%的AI应用使用PyTorch编写。该框架最初由Facebook开发,自2022年起由Linux基金会维护。
英伟达多年来确保其CUDA软件无缝支持PyTorch应用,使其硬件默认深度嵌入这一工具包。TorchNeuron改编自PyTorch,熟悉PyTorch的开发者可直接使用。亚马逊并非首个尝试简化芯片迁移的公司,PyTorch用户也可通过简单配置更改,将应用迁移到AMD GPU或苹果芯片。
亚马逊认为,迁移至Trainium不仅简便,还能让AI初创公司使用AWS整套云服务。AWS Annapurna Labs技术软件副总裁Colin Brace在邮件中对TechCrunch表示,“你是在AWS上构建,而不是押注单一用途的计算提供商,再围绕它拼凑其他一切。”他称,在AWS上,从原型到生产的基础设施已经就绪,创始人可以快速推进并按需扩展。AWS还称,对初创公司而言,这比使用与英伟达及其硬件绑定的新型云服务商更合适。
AWS表示,Trainium同一芯片同时处理训练和推理,并与初创公司所需的云基础设施紧密集成,因此即使AWS不提供最低的每token价格,也能为客户省钱。Brace称,Trainium的价值在于性价比,以及训练和推理同处一个平台,从而改善完整工作负载的经济性。他以Deepgram为例称,后者使用原生PyTorch支持迁移到Trainium,每美元处理音频量提高70%,并保持生产级准确率。Deepgram是AI语音应用提供商,竞争对手包括ElevenLabs。
亚马逊还表示,将推动PyTorch减少对英伟达的自动绑定,并向PyTorch主项目贡献相关代码。公司在宣布该工具的博客文章中称,其做法不限于自家硬件,正与PyTorch社区合作移除将框架与特定芯片绑定的代码,目标是让PyTorch对全体开发者更硬件无关,而不只是服务Trainium用户。
报道指出,这类做法有利于销售与英伟达竞争硬件和云服务的厂商,但PyTorch原本意在隐藏AI代码在硬件上运行的复杂环节。亚马逊能否如其所言为开发者带来更多选择和更低成本,还是增加配置麻烦,尚待观察。报道称,如果亚马逊成功将PyTorch与英伟达深度解耦,其对GPU巨头的影响可能超过芯片层面的竞争。Brace称,真正的问题是移除使开发者无法真正选择的锁定。