据《麻省理工科技评论》10月22日刊发的文章，企业AI的下一阶段竞争优势越来越少取决于选择哪个模型，而更多取决于围绕模型构建的服务工程系统（serving harness）。文章称，这一系统包括架构、内存管理、调度和优化决策，决定模型智能能以多高效率转化为生产能力，也改变企业技术高管应把AI投资放在哪里、应向支撑架构提出什么要求。
文章指出，过去几年AI讨论多集中在模型能力，如更大模型、更好推理、更长上下文窗口和更高基准分数。随着AI从试验走向生产，企业领导者面对的问题已从“模型能做什么”变为“能否可靠、经济、规模化地交付这种智能”。文章认为，答案越来越依赖服务工程系统。
文章建议从工作负载而不是模型出发。面向客户的助手若以快速响应为目标，其需求与可整夜运行的文档处理流水线不同；内部知识应用与高并发客服平台可能使用同一基础模型，却需要不同的服务架构。工作负载定义约束，约束应决定架构。
文章称，概念验证阶段，模型准确率自然主导讨论；进入生产后，延迟、并发、内存压力、GPU利用率、基础设施成本和不可预测流量等约束更难被忽略。一个模型若答案略好，但推理成本翻倍或无法满足应用延迟要求，未必是更好的生产选择。文章写道，并非每个工作负载都需要“法拉利”，更聪明的工程决策可能是选择恰好满足业务性能需求、而不为不需要的能力付费的模型。
文章还指出，AI进入生产后，看似孤立的工程决策会相互影响：服务架构影响内存利用，内存管理影响并发，并发塑造批处理和调度，调度又影响GPU利用率和延迟。只有在此基础上，量化、推测解码或优化注意力机制等技术才能充分发挥价值。
文章以GPU内存为例称，推理时模型权重保持固定，但键值缓存（KV cache）会随活跃请求和上下文长度增长；并发增加时，即使算力仍可用，系统也可能缺少可用GPU内存。若不理解这一瓶颈就增加算力，可能只是让低效系统更昂贵。文章建议先测量再优化，识别主要约束、处理它、测量结果，再判断是否出现新瓶颈；优化目标不是收集所有技术，而是应用能消除最高影响约束并保留业务需求的技术。
文章最后称，今天的领先模型可能不是明天的领先模型，模型会改进、硬件会演进、新的优化技术会出现。围绕工作负载需求、清晰的服务级别目标和可测量的生产经济性构建服务系统，企业才能更容易吸收这些变化，而不必每次技术进展都重建AI平台。