据《麻省理工科技评论》报道，随着AI推理规模扩大，企业AI基础设施账单中常被忽视的存储成本正在上升。WD的内部测量显示，一段8秒AI视频虽只向用户返回3.97MB的720p文件，却在后台留下超过500MB关联数据。

报道称，过去AI基础设施讨论多围绕训练模型所需的算力。训练有起点和终点，可以按项目编制预算并在结束后退出；推理则持续运行，每次模型回答提示词都会留下数据。WD的测量中，这些后台数据包括日志、缓存上下文、即时渲染、备份和安全记录，总量达到用户所见输出文件的约130倍。企业若生成更长、更高分辨率的视频，每段片段的后台数据足迹可增至数百GB。

麦肯锡预计，到2030年，AI推理需求将以35%的年复合增长率增长，训练为22%；到本十年末，推理占数据中心总需求的比例将超过40%。由WD赞助的IDC全球白皮书调查了763名IT和业务决策者，近95%的受访者表示过去12个月生成式AI导致数据量增加，约61%的受访者称增幅达到25%或更多。

一家超大规模云服务商的高级产品经理在报告中说：“可以把拥有更多存储视为让GPU保持忙碌的一种优化。最大的挑战是确保GPU不因等待数据而闲置——数小时的GPU闲置时间很快就会变得非常昂贵。”报道据此指出，如果存储支出每年增长25%，而算力预算按更可预测的周期增长，存储最终会超过最受关注的预算线。

计算需求会随训练周期、产品发布和硬件更新起落，但留存数据量不会随计算需求放缓而下降。模型日志、合成输出、推理结果等持续累积，组织保留这些数据的时间也更长。报道称，曾经进入归档、很少被调取的信息，现在可能成为未来AI工作负载的输入；随着更多数据被保留、检索和复用，存储不仅要支持容量增长，还要支持日益动态的访问。同一项WD-IDC调查显示，96%的受访者预计需要更快的归档检索来支持推理或检索增强生成（RAG）。

对于必须长期保留并反复访问的海量数据，报道称HDD可提供高容量和每TB成本优势。对CFO或CIO而言，这意味着“AI基础设施支出”若只限定在算力，范围可能过窄。一个模型因等待数据加载而闲置，成本与因缺少GPU而闲置相近，但存储瓶颈往往在成为问题后才显现，体现在运营成本和检索延迟中，而不是加速器旁边的资本支出项目。

以零售商为产品目录生成AI视频、保险公司用RAG流程处理理赔文件为例，算力成本可按每次生成或每次查询计价，财务可以预测；存储成本则随每个视频、每份理赔处理而累积，因为任务完成后后台数据不会消失。若团队按“算力加存储零头”编制AI预算，可能在12至18个月后发现，这个零头已占项目总成本的显著部分，而这时正值管理层决定是否扩展。

报道认为，应对这一问题需从架构入手，并指出存储策略往往围绕昂贵的热层性能设计，即为需要即时、持续访问的数据服务。