英伟达发 Cosmos3-H-Dreams：临床胆囊切除录像训出的实时手术世界模型

英伟达 10 月 20 日发布 Cosmos3-H-Dreams，把交互式生成模拟从台式任务推到临床手术：模型在 CMR Surgical Versius 平台的胆囊切除录像与机械臂运动学数据上做专项微调，底座是 16B 参数的 Cosmos3-H-Embodied-Nano，后者预训练用的是 Open-H-Embodiment 数据集。输入只有一张内窥镜初始帧、一小段近期指令历史，以及双臂未来的运动学与控制指令，共 28 个动作维度（双臂位姿、夹爪、能量控制、摇杆轴与按键）；输出是一帧帧接续生成的体内画面。训练视频为 832×480，动作对齐在 10 Hz。

做法是教师到学生的蒸馏。先让双向教师模型分别适应 24 帧与 72 帧（10 Hz 下 2.4 秒与 7.2 秒）的未来窗口，再用因果教师强制加 Self-Forcing 把它变成能边走边生成的因果学生——后者在自己的生成结果上继续训练，专门对付长序列的误差累积。放出两个检查点：每块 4 步去噪与 2 步去噪；两步版是单独训练的，不是把四步版少采两步，代价是画质。流式运行时用 FlashDreams，长序列靠改造过的 FadeMem 模块合并不断变大的 KV cache。整套在单张 RTX PRO 6000 上就能实时跑。

厂商自己在文里划了边界：视觉逼真只是验证的起点，不是生物力学准确的证明；生成画面还必须跟着控制指令走，否则不能当交互环境用。用途写明是策略评测、遥操作式的世界模型探索，以及手术合成数据，用在真机之前。它也明确是「据我们所知第一个用临床胆囊切除录像训练、支持实时运动学控制的生成式手术模拟器」这类厂商口径，尚无第三方复现。权重按 NVIDIA 开放模型许可放出、可商用，模型卡说换成别的控制器需要按自己的数据与控制方式再适配。

原文链接：NVIDIA 官方博客