英伟达在2026年10月20日发布的Hugging Face博客文章中称，其推出Cosmos3-H-Dreams，这是首个基于临床胆囊切除术录像训练、支持实时运动学控制的生成式手术模拟器，可在单张NVIDIA RTX PRO 6000 GPU上交互运行。

据该博客文章介绍，Cosmos3-H-Dreams建立在Cosmos3-H-Embodied-Nano之上。后者是160亿参数、在Open-H-Embodiment上预训练的模型。团队用经过筛选的胆囊切除术视频与机器人运动学数据对双向教师模型进行专门化，数据来自CMR Surgical Versius平台的临床手术记录。样本筛选要求画面中存在两件可见且在操作的器械，即左侧Cadiere抓钳与右侧单极电钩，同时限制相机指令，以突出器械驱动的交互。

模型使用28个动作维度，包含双臂的位姿与夹爪信息，以及能量控制、摇杆轴和摇杆按键。训练采用832×480分辨率视频，动作以10Hz对齐；这一采样率与运行时生成吞吐并不相同。

训练采用教师到学生的蒸馏流程。团队先在24帧未来帧上适配双向教师模型，再将预测跨度扩展至72帧，即10Hz下的2.4秒与7.2秒，使教师模型在更长序列上学习手术动态。随后蒸馏把双向教师转换为因果学生模型，使其能在新动作到达时分块生成视频：先通过因果教师强制，让学生模型基于录制上下文进行顺序生成；再用Self-Forcing在自身生成的上下文上训练，并由教师模型与学习到的评判器引导，以缓解交互推演中的误差累积。

发布版本包含两个学生检查点。首个检查点每生成一个视频块使用四步去噪；第二个检查点采用两步调度单独训练，并非把四步模型直接减少采样步数。去噪步数越少，推理越快，但视觉质量下降，两个检查点供开发者权衡画质与推理成本。FlashDreams提供加速流式推理运行时；针对长时推演，集成方案使用改写的FadeMem模块，在流式生成过程中合并不断增长的键值缓存。

博客文章指出，视觉真实只是验证的起点，并不等于生物力学准确。生成场景还必须响应控制指令，平移、旋转与夹爪命令应产生连贯的解剖学后果；看似合理却无视指令的推演无法充当交互环境。文章同时提到，在人体内，器械的小幅移动会牵动整个场景：组织受牵拉而伸展、反光发生位移、结构被遮挡、烟雾改变能见度，因此生成器在生成每一段新视频时都要保持解剖结构与器械的一致性，否则误差会随时间累积。

此前基于Cosmos-Predict2.5的Cosmos-H-Dreams已在dVRK台式缝合任务上实现交互式生成仿真。新版本把动作条件交互带入具有复杂解剖结构、组织运动与遮挡的场景。文章还提到，临床手术中可能出现并发症，外科医生也有空间做出“新”的动作，因此模拟器需要泛化到训练数据之外，对未见过的动作生成连贯画面。