据MarkTechPost报道，谷歌于2026年10月20日在PyTorch Conference 2026上开源TorchTPU。该原生PyTorch后端由谷歌与Meta的PyTorch团队共同开发，使Cloud TPU与GPU、CPU一样成为PyTorch原生设备，现有代码通过torch.device("tpu")即可指向TPU。谷歌团队称，TorchTPU取代PyTorch/XLA，并建议所有新工作负载使用。
此次发布包含TorchTPU、vLLM-TorchTPU、SGLang-TorchTPU和TorchTitan四个开源仓库，是一套软件栈而非模型。TorchTPU在PyPI上为v0.2.0，要求Python 3.11及以上，采用Apache 2.0许可，运行于Google Cloud TPU，已在v5e起世代测试并扩展至8192颗Ironwood（TPU7x）芯片。它经PyTorch的PrivateUse1接口接入，张量仍是普通PyTorch张量，每个设备运行一个进程，并保留张量视图和原地修改语义。
与记录惰性张量图的PyTorch/XLA不同，TorchTPU提供Strict、Debug和DeferAndFuse三种eager模式。默认Strict按标准PyTorch语义异步分发算子，Debug同步执行并做张量边界检查，DeferAndFuse融合连续eager算子以减少HBM流量；TorchTPU论文称其可比Strict快50%或更多。PyTorch/XLA只支持纯SPMD代码，TorchTPU也处理发散的MPMD执行。torch.compile(backend="tpu")通过TorchDynamo捕获计算图，经StableHLO降至OpenXLA生成TPU机器码，编译产物可跨进程、主机和任务重启缓存；Pallas自定义内核可作标准PyTorch函数调用。分布式使用tpu_dist进程组，支持DDP、FSDP2和DTensor。
谷歌及合作伙伴自报的性能数据显示，TorchTitan在Ironwood上训练Qwen 3 8B达到最高52% MFU，扩展至8192颗Ironwood TPU接近线性。一个微调案例中，单步时间从11.49秒降至2.78秒，仅DeferAndFuse提升1.15倍，完整torch.compile提升3.80倍。谷歌还在eager和编译模式下持续测试约5000个Hugging Face模型。集群服务中，Zenteiq将每1000颗TPU v6e芯片的日输出从14.7亿token提升至59.7亿token；报道称该增益来自GKE上的llm-d路由，而非仅靠TorchTPU。
配套集成包括Hugging Face Transformers v5，可通过device_map="tpu"部署，Diffusers支持eager、torch.compile和张量并行；vLLM-TorchTPU与Inferact构建，保留上游调度器和API服务器；SGLang-TorchTPU与RadixArk构建，保留RadixAttention前缀复用。服务支持FP8 KV缓存以及FP8、MXFP4和NVFP4检查点，推测解码包括MTP和EAGLE-3。TorchTitan提供Llama 3 70B/405B、Qwen 3 8B/32B、Qwen 3 235B MoE和FLUX.1 12B配方，还涉及llm-d 1.0、Ray、TorchRec、VeRL预览和LiteRT-Torch端侧导出。