在Supermicro Open Storage Summit系列访谈中,Solidigm、Vast Data和Supermicro的技术负责人共同讨论了智能体AI时代存储架构的变革。随着企业从模型训练转向智能体AI,推理过程中的长上下文和KV缓存正在重塑数据存储需求。

Solidigm技术规划总监Scott Shadley指出,智能体AI时代的数据问题不再是单维度的,数据规模、重要性和流动速度都会影响应用响应速度。他表示,NVMe SSD找到了新的用途,成为介于GPU内存和网络存储之间的“3.5层”存储,这一层在NVMe SSD出现之前无法实现。

Vast Data AI架构总监Anat Heilper表示,KV缓存优化本质上是“用存储替代计算”,因为GPU非常昂贵。高KV缓存命中率既能节省算力,又能显著降低延迟。Supermicro解决方案管理总监Ben Lee介绍了其Context Memory eXtension(CMX)方案,称为G3.5,是AI原生的KV缓存层,旨在填补GPU高带宽内存与网络存储之间的空白。他认为,解决该问题需要整个机架协同,不能仅靠购买更多配备高带宽内存的GPU。

Heilper透露,Vast Data已与Nvidia Dynamo合作测试KV缓存卸载,实现了20倍更快的首Token时间,并节省90%的GPU时间。Solidigm提供了性能型D7-PS1010和容量型D5-P5336 SSD,Supermicro则将其集成到可配置的机架系统中,以满足不同客户的工作负载需求。

Shadley强调,这种分层架构是当前行业参考标准,但仍在持续演进,不同部署可能需要不同的存储层次组合,而非采用统一方案。