LeCun 团队发 H-JEPA:分层世界模型把 Visual AntMaze 成功率从 18% 提到 73%

Advanced Machine Intelligence(AMI,LeCun 创立)、NYU、INRIA 巴黎与布朗大学联合发布 H-JEPA,一份端到端训练「分层动作条件 JEPA」的方案。它的做法是按时间尺度把世界模型拆开:最高层负责朝目标推进,它预测出的状态成为下一层的子目标,最低层才输出具体动作。每一层都在自己学到的潜空间里预测,而不是像此前的多时间跨度方案那样共用一个潜空间。
在 Visual AntMaze、FourRoom Distractors、OGBench Cube、Push-T 四个仿真导航与操作环境上,分层规划都优于扁平的单层 JEPA;Visual AntMaze 上三层结构把任务成功率从 18% 提升到 73%,同时规划器算力更低。消融显示增益来自两点:时间维度上的分解,以及高层目标表征更抽象、更贴近任务。配合逆动力学监督,该方法还能扩展到 DROID 的真实机器人视频,在更低的规划算力下提升离线规划保真度。
论文与检查点都已公开:官方项目站 h-jepa.com 给出方法总览与自顶向下的规划示意,权重发在 Hugging Face 的 jepa-world-models/h-jepa(ant、fourroom、cube、pusht 四个环境各 21 个检查点,droid 9 个,合计约 12 GB),训练与评测代码在 GitHub。这是 LeCun 自立门户后,其 JEPA 路线第一次交出带完整权重、可复现规划结果的分层世界模型。
原文链接:H-JEPA 官方项目页 / arXiv
核验记录
日期取自 arXiv 2610.06805 的 citation_date 与 citation_online_date,两者同为 2026/10/05;官方项目页 h-jepa.com 直读 200(22,981 字节)但页内无任何日期字段(grep 日期串 0 命中)。Weight 仓 huggingface.co/jepa-world-models/h-jepa 的 createdAt 为 2026-09-29、lastModified 2026-10-06,代码仓 github.com/kevinghst/H-JEPA created 2026-09-27、pushed 2026-10-10 —— 建仓早于论文上线,按 R21 以论文(官方一手)定日,仓库时间戳另记于此。配图 h-jepa.com/assets/figures/overview.png 裸请求与带站内 Referer 双双 200(PNG 2375x1067)。