Google发布llm-d 1.0稳定版：以缓存感知路由统一TPU与GPU推理池

据MarkTechPost 10月21日报道，Google团队在北美PyTorch Conference上发布分布式推理栈llm-d 1.0。这是该开源、Kubernetes原生项目的首个稳定版本，可将vLLM或SGLang模型服务器整合为一个协调的资源池，面向自托管代理与强化学习负载。

报道称，llm-d由Red Hat、IBM、Google Cloud、CoreWeave和NVIDIA于2025年发起，Red Hat、IBM和Google是主要维护方，项目已有来自25个以上组织的500多名贡献者。它于2026年3月12日被接纳为CNCF Sandbox项目，采用Apache 2.0许可证。此前已交付前缀感知路由、KV缓存卸载、预填充与解码分离、宽专家并行和批推理等功能；1.0版本的重点是让这些能力在生产环境中稳定运行，IBM将其称为“第二天运维”。报道指出，这类自托管代理与强化学习负载会使轮询负载均衡失效。

Google公布了一项在1.7万节点、多区域GKE部署上的基准测试。llm-d可运行在Kubernetes上，支持NVIDIA、AMD或Intel GPU以及Google TPU，并通过vLLM或SGLang提供服务。报道称，厂商报告的收益来自缓存感知路由、分层KV缓存卸载和预填充/解码分离；在Ironwood TPU的编码负载上，首令牌时延中位数降低超过85%，吞吐量提升2.4倍。表现最弱的一项是强化学习时间切片，它仅将加速器占空比提升到70%以上，仍有约30%空闲时间。

1.0版本新增多租户服务质量控制，通过优先级和公平性感知的流控，避免突发代理挤占对时延敏感的请求；提供稳定的v1 API和经过加固的请求路径，并已在多个云和加速器上验证。它支持零停机升级，路由器采用热备高可用，DisaggregatedSet可同时滚动预填充池和解码池。面向代理的服务包括会话感知路由、轮次优先级调度和原生Responses API状态；异步推理组件llm-d-async-processor可从Google Cloud Pub/Sub或Redis拉取任务，填入空闲容量。TPU支持也扩展至TorchTPU，使PyTorch模型可在上游vLLM和SGLang中原生运行。

在路由机制上，llm-d路由器基于Kubernetes Gateway API Inference Extension构建。它跟踪哪些副本持有缓存的每个前缀，再权衡负载和预测时延后选择副本；代理调用一个端点，每一步请求落到上下文已存在的副本。当加速器内存占满时，KV缓存会转移到主机内存，再转移到SSD或Managed Lustre，使用vLLM的OffloadingConnector、Mooncake或SGLang的HiCache。预填充和解码作为独立资源池运行，因为预填充计算密集，解码受内存带宽约束。