据SiliconANGLE报道，IBM支持的llm-d开源项目于10月20日发布1.0版分布式人工智能推理框架，新增多租户服务质量、零停机升级和面向AI代理的服务模式等运营控制，目标是帮助企业在自有基础设施上可靠运行大模型。该版本在圣何塞PyTorch Conference North America开幕前公布。

llm-d基于Kubernetes构建，协调跨计算基础设施的模型服务。IBM、其子公司红帽以及谷歌是主要维护者，去年与CoreWeave和英伟达共同创立该项目；AMD、思科、Hugging Face、英特尔和Mistral AI等也参与贡献。项目为希望控制推理成本和基础设施选择的企业提供减少对单一模型供应商、云或硬件平台依赖的途径。

1.0版聚焦模型部署后的运营。生产推理服务需应对流量变化、硬件故障、软件更新和用户资源竞争，同时维持可接受的响应时间。新版本增加跨多租户的服务质量支持、零停机运维，以及针对AI代理的服务模式；流控和优先级设置用于防止代理活动突发压垮需要快速响应的服务，例如人员使用的编程助手。IBM研究院杰出工程师、项目联合创始人兼首席维护者卡洛斯·科斯塔表示，该版本“增加了像运行其他关键服务一样运行它的成熟度：稳定的API、多个租户以不同优先级共享同一基础设施，以及不中断运营的升级”。

IBM研究院首席科学家Ruchir Puri在邮件评论中表示，开源大语言模型和llm-d可大幅降低量子纠错硬件设计等计算密集型问题的推理成本，帮助实现11.8倍效率优势；1.0版通过提供企业所需的运营成熟度延伸这些节省。

同一端点上的工作负载行为可能不同。一个代理可能发出许多请求，暂停使用外部工具，再回来发起更多模型调用。该框架可在多轮交互中把请求导向合适的基础设施，增加复用已处理上下文的机会；代理完成任务时会反复查询相同的代码、文档、指令和对话历史。其路由系统把请求发往已持有相关缓存上下文的副本，另一项能力在GPU内存、CPU内存和存储之间移动缓存信息，在GPU容量受限时保留可复用信息。

这些技术此前已存在，1.0版将其与运营控制整合，并加入分离提示处理与响应生成、优化工作批次、把大型混合专家模型分布到加速器上的方法。IBM称，在近期一项代理编程测试中，框架路由器捕获了97%的可用缓存复用。IBM和红帽还表示，他们在自有基础设施上并发运行了3000个软件工程代理，成本比通过托管服务提供同一开放模型低5至10倍。llm-d可与vLLM和SGLang等推理引擎配合，目前在云原生计算基金会作为沙箱项目托管。红帽首席技术官办公室副总裁斯蒂芬·瓦特表示，它“以企业已经熟悉的运营模式，提供企业所需可靠性和规模的高性能分布式推理”。