AI 资讯聚合 · 大模型

NAVER 世界模型用语言统一跨域训练

海外大模型世界模型潜空间NAVER AI Lab · 2026-10-20 · 约1分钟 · 来源:NAVER AI Lab 项目页
NAVER 世界模型用语言统一跨域训练

NAVER AI Lab 联合佐治亚理工、布朗大学与 Mila 发布 LaLa-World:一个用语言描述动作的潜空间世界模型(JEPA 路线),把数值动作和画面变化统一写成语言,于是一个预测器就能在仿真、机器人轨迹、图片与视频这些异构数据上联合训练,不必再为每个域单独训一个世界模型。规划时它把语言指令当条件,直接在潜空间里推演未来,再由 MPC 选出动作。

官方给出的对照是在同一设定下与基于 RAEv2 的视频生成式世界模型比:达到相当的规划性能,训练成本只要对方的 1/6,规划速度快 13.9 倍;联合训练多个域之后,平均规划性能还高于「按域各自训练」的潜空间世界模型,加入图像与视频数据后对动作措辞的鲁棒性也变好。作者同时强调,用语言而非数值描述动作,是让不同动作空间能放进同一张表的关键。

预训练的 LaLa-World 还能当初始化,微调成 LaLa-Policy,同时预测动作与未来视觉表征:在 LIBERO 与 RoboCasa 上与 Cosmos Policy 表现相当,推理最快 5.5 倍。项目页放出论文、代码与幻灯片,但未见权重发布,分数均为作者自测,因此「同等性能只花六分之一算力」这一条目前只在它自己的实验设置下成立。

原文链接:NAVER AI Lab 项目页

核验记录
定日取 arXiv 官方字段:abs 页 citation_date 2026/10/20(v1 提交)、citation_online_date 2026/10/21,项目页本身无可见日期。GitHub junha1125/LaLa-World 建仓 2026-10-12(早于论文 8 天,按 10-16 口径只留痕、不作定日)。作者单位取项目页署名:1 NAVER AI Lab / 2 Georgia Tech / 3 Brown / 4 Mila & Université de Montréal。全部数字逐字取自 arXiv HTML 全文与摘要:6x less training cost、13.9x faster planning(对照 RAEv2 视频生成基线)、LaLa-Policy 在 LIBERO 与 RoboCasa 上 up to 5.5x faster inference;未见权重发布,分数为作者自测。配图 og.jpg 裸请求与带站内 Referer 各一次均 200 / JPEG 1200x630 / 80,326 字节。