Reka 开源 RIDM:用游戏视频学出的逆动力学模型,给真实视频自动打动作标签

10 月 2 日,Reka 在官方新闻页放出 Reka Inverse Dynamics Model(RIDM)的开放权重(Apache-2.0)。它解决的问题很具体:交互式世界模型要按「前进 / 左移 / 转了多少度」这类低层指令生成画面,但真实视频没有动作标注,无法直接拿来训练。RIDM 从相邻帧里反推出按键与镜头角度,等于给无标注视频自动生成「动作字幕」。模型只在游戏录像上训练——1280×720、48fps,引擎给出 11 个按键真值与每帧精确镜头角——但把视觉与运动解耦之后,预测能迁移到真实视频。
两个版本已在 Hugging Face 放出:flow 版(输入 RAFT-small 光流,可训练参数 1,795,337)每 17 帧出一次预测,pixel 版(9,836,063 参数)逐帧出。官方模型卡给出的实测是:真实视频转向判定 flow 版 91.5%、pixel 版 51.1%;游戏素材上分别为 84.9% 与 70.9%。训练数据按运动分池(前进 104,646 段、侧向或后退 53,429 段、纯俯仰仅 1,554 段),转向与侧移的池子最后才加入,用来把「平移」与「转头」区分开。
它改变了什么:世界模型的数据瓶颈从「录更多带标注的视频」变成「拿现成视频跑一遍标注器」,动作标签可以从真实视频里批量产出。边界:四个准确率都是 Reka 自测,真实视频评测集只有 78 段(转向子集 47 段),样本量很小;「游戏训练迁移到真实视频」目前只有定性说明与一个模型卡表格,我们未复现推理,也未确认它是否已用于 Reka 自家的世界模型产品。
原文链接:Reka 官方页面 / HF 模型卡
核验记录
官方新闻页直读 941,445 字节,页内可见 Oct 2, 2026,页面数据里 datePublished 为 2026-10-02T00:00:00.000Z;HF 仓 RekaAI/Reka-Inverse-Dynamics-Model createdAt 2026-10-01T00:24:56Z、lastModified 2026-10-02T18:10:34Z(建仓早一天、权重次日更新),两处同日互证。91.5 / 51.1 / 84.9 / 70.9 四个准确率取自官方页与 HF 模型卡 model-index,均为厂商自测;真实视频评测集仅 78 段。配图取自官方页 og:image(裸请求与带站内 Referer 双双 200、JPEG 2400×1260)。