据SiliconANGLE 10月11日报道,两篇文章分别指出,企业在采购AI平台和推进代理工作负载时,普遍低估了数据架构和测试运维成本,相关账单往往在平台上线12至24个月后才集中显现。这正在影响企业生成式AI项目的投资回报。
第一篇报道援引MIT NANDA initiative 2025年报告称,95%的企业生成式AI试点对损益表几乎没有或没有可衡量影响,原因指向AI融入运营的缺口,而不只是模型质量。文章认为,成功试点不能证明企业能在全部数据资产上运行同一套系统。
多数企业AI架构仍假设数据会迁移到新平台所在之处,但企业数据具有“数据重力”。监管规定决定部分记录可存放地点,主权规则把另一些数据集留在特定司法辖区,即便别处算力更便宜;围绕数据建立治理的业务部门缺乏交给新中央存储的动力,有时没有合法路径。为这些数据构建的应用一旦被分离,也可能以昂贵方式失效。
这些问题在概念验证阶段被掩盖。概念验证只运行少量预先清理的数据切片,成本随后才出现。团队需要维护管道,把数据从未为此类流量设计的系统中搬出;在源系统变化时核对副本;在数据存储的任何位置施加同样治理;还要跟踪为开发、测试、分析和训练创建的额外数据集。这些任务单独看都不算灾难,合在一起便成为项目的税,且随规模扩大而更贵。
更危险的是时间点。文章称,这笔成本常在平台采购、团队配备完成12至24个月后出现,此时初期成功指标已经上报。合同已签、团队已招、方向已公开承诺,拆解集中化优先的架构比一开始围绕数据重力设计昂贵得多。文章认为,更深层问题是企业用存储策略解决上下文问题;模型需要找到正确记录、对照政策、遵守访问规则并使用最新信息,这要靠企业级上下文层跨系统和地点发现、连接和检索信息,而不要求每个来源把数据交给中央存储。
第二篇报道指出,代理工作负载打破传统企业系统的三个假设:任务很快完成、重试免费、相同输入总产生相同输出。代理任务可能运行数分钟并超过现有超时阈值;每次对按量计费模型的尝试都消耗算力,宽松质量阈值加自动重试会制造预算事件,而云和模型API按月异步计费,复合重试成本数周后随账单才可见;失败无法复现,没有代理决策、工具调用和API运行的逐步记录,审查只能靠猜测。
文章称,人在交互式工作中充当错误处理者,会阅读结果、发现问题并重试,成本可见,也不需要审计记录。自动代理工作流则无头运行,未记录故障可能破坏下游系统。一个由人逐条检查响应的流程,与调度器一夜触发400次、无人值守的流程表现不同。工程负责人必须在转向自动化生产前,找出人类手动执行的每项任务,并指定由哪个自动检查或系统接管。
文章列出三类风险:看不见的成本,自主AI循环自动重试失败任务并反复调用API,团队应关注每完成单元的成本而非每次API调用成本;报告成功的失败,概率性代理会输出格式正确但数据错误的内容,下游系统接受后不触发警报,需用断言检查、LLM-as-a-judge规则或语义基准等程序化标准衡量质量;无人能解释的事故,若无法说明哪个模型版本、输入和设置产生特定输出,事后几乎无法追溯,因此运行时应记录输入负载、模型版本、时间戳、延迟、重试次数、令牌成本和最终输出物。