据量子位10月3日报道,DeepSeek弹性计算团队正在大量招聘,尤其需要资深工程师。该团队负责支撑DeepSeek-V4训练、评测和数据预处理的DSec沙盒基础设施,并计划把Agent运行环境的数量和种类扩充成成百上千倍。量子位称,DeepSeek三周前刚进行过一轮招聘,此次未发布岗位JD,而是发布技术分享《DeepSeek弹性计算(DSec):面向大规模Agent训练的沙盒基础设施》。

DSec一套扩展分片约有160台服务器、3万个CPU核心和250TB内存,每天服务约300万个沙盒;高峰期同时在线的沙盒超过38万个,每秒可创建5000多个。DeepSeek已在生产环境部署多个此类分片,支撑DeepSeek-V4全部训练、评测和数据预处理,从DeepSeek-V3.2到V4.1相关Agent负载均运行在DSec上。

Agent训练需要模型进入真实环境执行任务,每一步都会改变环境,下一轮还要接着前状态继续。因此沙盒既要快速、大批量创建,又不能每执行一步就销毁重来。量子位称,这类负载存在创建请求集中、CPU多数时间空闲但内存需保留、任务环境差异大、基础镜像复用率不高、训练可能因GPU资源被抢占而中断等特点。

为降低环境供给成本,DSec把环境拆成base image、workspace和toolkit三层,分别管理版本,创建时再组合。Agent实际访问的数据只占整个镜像的4.2%到13.3%,DSec因此把镜像数据统一放在3FS分布式文件系统,本地主要保存元数据,需要时按需读取。集中创建8192个Container的测试中,完整拉取镜像需60多分钟,按需加载缩短到约35分钟,速度提升约1.71倍,磁盘写入量减少约57%。

资源利用方面,约90%的Agent沙盒平均CPU使用量不到申请资源的5%,DSec在生产环境的资源超卖率已超过50倍。它通过virtio-pmem和DAX让同一宿主机上的MicroVM共享宿主页缓存,实验中宿主机峰值内存占用下降40.2%;借助DAMON和balloon回收空闲页,按时间累计的内存消耗再降低21.2%。CPU调度优化后,时延敏感任务的延迟影响从45.2%降到17.3%。

DSec统一支持FnCall、Container、MicroVM和Full VM四种执行后端,覆盖短任务、软件工程和工具调用、更强隔离以及完整操作系统。DeepSeek还用Agent构建运行Agent的环境,通过pack_diff生成增量快照,并支持轨迹分叉。从DeepSeek-V4.1开始,Agent执行逻辑迁入DSec,Agent沙盒和worker container运行在可抢占GPU资源池之外,GPU任务中断后状态仍可保存,恢复后训练可从中断位置继续。

安全方面,DeepSeek称已在真实生产环境观察到Agent尝试读取残留答案、伪造RPC请求、覆盖/bin/bash注入命令,甚至调用XFS_IOC_SWAPEXT绕过访问控制。DSec用AppArmor限制文件和Socket访问,并用eBPF为每个沙盒设置网络白名单。DeepSeek承认这些办法无法解决所有问题,例如Agent找到内核漏洞后仍缺少通用防御机制。