AI 资讯聚合 · 开源生态

Kyutai 开源 CADRE:世界模型实时可玩

海外开源生态世界模型视频自编码器Kyutai · 2026-10-22 · 约2分钟 · 来源:Kyutai 官方博客
Kyutai 开源 CADRE:世界模型实时可玩

10 月 22 日,Kyutai(与 LIGM/巴黎东部大学、UC Berkeley 合作)开源 CADRE——因果扩散表征自编码器,一套专为交互式世界模型重做的视频编码器。论文挂在 arXiv(2610.30129),代码、自编码器与世界模型权重、以及可自己开车的在线 demo 一并放出。

他们的出发点是世界模型一直用错了压缩器:视频世界模型不在像素上生成,而在视频自编码器的潜空间里生成,这个自编码器决定每帧成本与「动作等多久才生效」;而多数世界模型直接借用文生视频的自编码器——那是为离线整段生成设计的,动作不必等,也不好重训到别的压缩率。CADRE 用 23 个公开视频数据集、约 7.6 万小时训练,在单张 H100 上让世界模型以 20 帧/秒运行、动作反应低于 230 毫秒;对照 Wan 2.2、Cosmos、LTX-2、DC-AE 与 MIRA 的自编码器,官方称它占据延迟—质量前沿的大部分,镜头移动场景尤其明显,同延迟下只有 MIRA 也做得到实时、但画质与运动质量更差。

四条结论都能复算:强压缩下扩散解码比强感知回归更锐利,自蒸馏后一到两步即可解码;把时间压缩放进自编码器(而非在世界模型里拼帧)画质更清晰且不伤动作跟随;镜头是否移动决定压缩方向——机械臂与人类操作这类静止镜头适合把 8 帧打包、把省下的 token 花在细节上,自动驾驶与室内导航这类移动镜头则应保留帧、压缩空间;空间 token 变粗时图像质量几乎不掉、运动先坏——16× 与 32× 空间压缩在同一设定下 FID 只从 8.53 变 8.92,FVD 却从 39.4 恶化到 95.2(约 2.4 倍),动作跟随 ARR 从 0.73 掉到 0.45。

原文链接:Kyutai 官方博客

核验记录
官方博客页 kyutai.org/blog/2026-10-22-cadre/ 的 HTML 只有 Next.js 壳(10,041 字节,正文命中 0),正文经 r.jina.ai 读取(Published Time: Thu, 22 Oct 2026 12:57:58 GMT,页内可见 22 October 2026,内嵌 JSON metadata.date 2026-10-22);arXiv abs 页 citation_date 与 citation_online_date 同为 2026/10/21。HF kyutai org 的 cadre 权重仓 createdAt 落在 2026-09-29~10-05(开发期建仓,早于公告,按 10-16 口径不作定日)。76k 小时、<230ms、20fps、FID/FVD/ARR 均取自官方正文原句。配图取论文 HTML 的 figure(PNG 79,201 字节,裸请求与带站内 Referer 双 200)。未读到:230ms 为官方单机实测,无第三方复现。