Reka 放 Rho-1:19B 单网络打通文本、图像、视频与机器人动作

Reka 在 10 月 5 日放出 Rho-1 的研究预览版:一个从零训练的 19B 全能推理模型(omni-reasoning),在同一个神经网络里理解并生成文本、图像与视频,对它们做推理,并输出动作。它的做法是把文本、视觉与机器人动作统一成同一上下文窗口里的 token;而当下多数系统是「中央模型规划 + 各模态专家」的智能体流水线,每次交接都要付延迟,专家也只看得到很窄的一次请求。
官方给出一段未剪辑的五轮会话:画出一座红白条纹灯塔 → 在图上框出灯塔 → 把静帧改成无人机推进的视频 → 改天气并说明改了什么。官方称每一轮都读写同一份 KV 缓存,并把它当作持续演进的世界状态:框选由坐标 token 直接产出,不需要第二个检测模型;视频首帧用的是上下文里原有的表示而非重新编码的图像,所以光照、几何与物体同一性得以保持;回答「改了什么」也不是对导出帧做事后描述,而是读产生该变化的隐状态。速度方面,基础版按中位 0.79× 实时生成视频、约 6 秒起播;蒸馏版把去噪轨迹从 99 步压到 8 步,官方称内部测试里 5.3 秒的视频片段约 1 秒返回、图像速度追平最快的专用图像模型。
它改变了什么:多模态的瓶颈从「模态之间怎么拼管线」挪到「一个上下文能不能同时承载理解、生成与动作」——Rho-1 把「同一份 KV 缓存即世界状态」当作可被对话、实时控制或电机策略三种方式驱动的东西,指向交互式仿真与具身控制。边界:全部性能数字均为 Reka 自测、本轮未复现;「研究预览」阶段的可用性官方只写「通过联系申请」,RekaAI 在 Hugging Face 上没有 Rho-1 权重仓,即权重未开源。
原文链接:Reka 官方页面
核验记录
一手:reka.ai/news/rho-1-collapsing-the-multimodal-stack 直读 200(485,836 字节),页内可见 Oct 5, 2026(三处)+页面数据 date 2026-10-05T00:00:00.000Z。官方正文用的是相对时间词「Today, we are releasing」,故另找绝对时间戳互证(两处同日);同页 data-framer-ssr-released-at=2026-10-02T13:38:59Z 是页面构建时间,未用作发布日。权重未开源:HF RekaAI 组织按 createdAt 倒序最新仍是 10-01 的 Reka-Inverse-Dynamics-Model,无 Rho-1 仓。性能数字(0.79× 实时、约 6 秒起播、99→8 步、5.3 秒片段约 1 秒)全部为厂商自测。配图官方 og:image(framerusercontent CDN,裸请求与带站内 Referer 双 200,JPEG 97,653 字节)。