据MarkTechPost 10月19日报道，NVIDIA已将完整的Run:ai平台作为开源软件发布，源代码以Apache 2.0许可证托管在GitHub，并纳入NVIDIA DSX AI Factory平台。平台团队可检查、分叉和自托管该技术栈，无需付费订阅。
Run:ai是面向Kubernetes的AI工作负载与GPU编排平台，运行在Kubernetes之上而非替代它。其控制平面负责工作负载提交、资源管理和监控，集群服务运行在每个Kubernetes集群上，增加GPU感知调度。用户可通过Web UI、CLI、REST API和面向AI助手的MCP服务器访问。
发布拆分为四个可独立采用的模块。KAI Scheduler是Kubernetes原生调度引擎，采用Apache 2.0许可证，属于CNCF Sandbox项目，支持gang scheduling、基于时间的公平份额、拓扑感知、装箱和DRA。GPU Fractioning Operator把CUDA 13.4原生GPU分片引入Kubernetes，由CUDA驱动对每个工作负载执行硬内存限制，NVIDIA已弃用旧有专有分片方案。KAI Resource Management增加项目、部门、配额和节点池。Workload Map是描述PyTorchJob、RayCluster和KServe等负载类型的Go库，可离线工作，不负责调度、排队或自动扩缩。
本地开发依靠local-dev.sh脚本，从源码在容器内构建约50个Go服务，创建固定Kubernetes v1.32.5的5节点Kind集群，并以模拟GPU操作器模拟8块Tesla-A10，无需GPU硬件。它支持macOS或Linux的amd64和arm64，不支持Windows；Linux需4个CPU、16GB内存和100GB磁盘，macOS Podman虚拟机至少需要12GB内存，一次完整构建会留下约44GB缓存。--gpu-operator参数可切换到真实NVIDIA GPU，该模式需要Linux、Docker和NVIDIA Container Toolkit，且不支持AMD和Intel加速器。
生产部署可从源码或NGC Community Product Helm chart进行。社区版无需付费订阅，但不含NVIDIA企业支持。团队也可通过Crusoe、Mirantis、Nebius、OpenNebula Systems、Rafay、Saturn Cloud、Spectro Cloud和vCluster这8家DSX生态伙伴采用；商业版本继续通过NVIDIA AI Enterprise、NVIDIA Mission Control和部分云市场提供。
同一技术栈还伴随Model Streamer和Grove。Model Streamer将模型权重直接流式传输至GPU内存，vLLM和SGLang可通过--load-format runai_streamer启用；微软公布的基准测试使用8台Azure NVIDIA H100虚拟机，加载速度比默认加载器快3至6倍，吞吐维持在80Gbps，而默认路径约40Gbps。Grove以全有或全无单元启动prefill和decode等多组件推理负载。NVIDIA未公布此次发布的平台级基准测试。