据SiliconANGLE报道,博通与AMD高管在VMware Explore大会上表示,企业把人工智能从试点推向生产时,最大的难点已不再是模型本身,而是底层基础设施。为了在规模化部署中控制成本、数据隐私与token经济,越来越多企业将生产型AI工作负载放回本地数据中心;博通希望用“交钥匙”式自动化,降低从硬件到模型的部署复杂度。

博通旗下VMware Cloud Foundation部门首席营销官兼副总裁Prashanth Shenoy说,许多客户正考虑在本地私有云中大规模部署生产AI,但实际操作极其繁琐。“搭建GPU、服务器、网络、Kubernetes、容器、AI软件栈,还要测试和验证模型选择,整个过程需要大量人工。”他说。Shenoy认为,运营自动化只是博通AI工厂方案的一半,另一半是硬件选择的灵活性,因为多数企业已经在同一平台上运行传统应用和容器工作负载,并不希望再为AI维护另一套并行基础设施。“VCF已经内置AI工厂,”他说,“我们把它自动化,让部署更简单。”

AMD企业副总裁Raghu Nambiar介绍了AMD在计算层面的配合:针对刚起步的企业,AMD最近推出MI350P PCIe加速器。AMD目前通过主要服务器厂商提供超过1600款vSAN ReadyNode节点。容量规划建议也按模型规模区分:100亿参数规模可以用CPU,1000亿参数规模选择MI350P,超过1万亿参数则需要MI355X。

AMD加速的VMware Cloud Foundation基础设施通过验证,使企业能够在已有应用旁边部署AI模型。该方案试图将GPU、服务器、网络和软件栈从人工拼接变为自动化交付,从而为私有云中的“AI工厂”提供类似装配线的流程。上述高管是在VMware Explore大会期间与theCUBE Research分析师交流时透露这些信息的。