企业人工智能部署正从试验阶段转向必须交付稳定业务结果的生产系统。据SiliconANGLE旗下直播媒体theCUBE对Supermicro开放存储峰会和CoreWeave Fully Connected活动的报道,数据如何存储、供给和管理,正在影响AI部署的性能、成本与可行性。
theCUBE Research的Rob Strechay表示,当前取得进展的组织关注模型本身较少,更多关注运营化落地,把数据团队、基础设施团队与业务相关方围绕可衡量的结果和可重复的部署策略对齐。Scality负责AI与联盟合作的高级副总裁Greg DiFraia说,需要尽可能提高利用率,因此必须改变思路,在数十乃至数百PB、甚至EB级别的数据规模下,不可能全部放在闪存中,存储策略要在性能层与容量层之间做平衡。
随着智能体上下文扩大,推理过程中的键值缓存需求随之上升。当KV缓存超出GPU内存后,需要额外层级在容量与快速访问之间取得平衡。Vast Data AI架构总监Anat Heilper表示,高KV缓存命中率既能节省算力,也能显著降低时延,本质上是用存储替代计算。她提到,Solidigm的闪存盘、Supermicro的集成系统和Vast Data的数据平台共同支撑这一层级结构。
生产级AI还需要面向具体工作负载的系统与运营控制。数据直接网络(DDN)企业AI与数据智能副总裁Moiz Kohari以金融服务为例说,数据处理速度会影响风险评估和资本可用性,如果一家公司账上有万亿美元规模资产、6%至12%的资本被锁定,快速搬运数据完成计算就能释放这部分资本。与Kohari同场发言的Supermicro解决方案架构高级总监Vince Chen表示,企业自建AI专用基础设施存在复杂性,Supermicro的做法是与合作伙伴打造垂直集成、经预先验证的标准化配置供客户选择。Nutanix智能体AI解决方案营销负责人Ruhi Sehgal指出,部署只是运营挑战的开始,从试点转为生产服务后,资源高度受限而用户数量大幅增加,多租户管理、安全保障和性能优化这些基础设施管理员的日常工作,正是AI所需要的。theCUBE报道提出的第三点洞见是,企业数据需要通过访问、编排和治理才能发挥作用。
在模型持续迭代环节,据SiliconANGLE报道,CoreWeave正为智能体生命周期构建全栈AI云。CoreWeave产品高级副总裁Corey Sanders表示,公司已发布连接模型部署、评估与改进的CoreWeave Forge,其强化学习Rollouts能力目前处于预览阶段,支持生成训练响应与更新模型的反复循环。在权重同步方面,CoreWeave让权重以热启动方式载入,而不是每次冷启动,权重不再总是来自对象存储,而是从附近的对等节点获取。CoreWeave AI Object Storage现在支持跨区域写入,使后训练任务可以把结果写回供其他任务使用。
You.com运营自己的网页索引,已加入CoreWeave合作伙伴网络,为智能体提供搜索层。You.com首席产品官Saurabh Sharma说,模型智能已不再是天花板,模型越来越聪明,但决定智能体成败的是其使用工具的能力。两家公司与英伟达合作,使用RL Rollouts,在8小时内以You.com的网页搜索工具完成了Nemotron 3.5 Lightning的后训练。Sharma说,客户因此能以更高准确率和更低总拥有成本运行工作负载,如果8小时就能完成,这不再是只有前沿实验室才能做到的事。