AI 资讯聚合 · 开源生态

VisionHOPE 把「自修改学习」搬进视觉骨干:五个记忆边看图边改自己的学习规则

国内开源生态视觉骨干开源权重VisionHOPE 团队 · 2026-09-29 · 约2分钟 · 来源:VisionHOPE 论文 / GitHub
VisionHOPE 把「自修改学习」搬进视觉骨干:五个记忆边看图边改自己的学习规则

9 月 27 日,一个 11 人团队在 arXiv 挂出 VisionHOPE,9 月 29 日开放 ImageNet-1K、COCO、ADE20K 三套预训练权重(MIT 许可,同时放上 GitHub Releases、Hugging Face 与百度网盘)。作者的定位是:视觉骨干从 CNN 的局部聚合、ViT 的全局交互、状态空间模型的输入依赖状态转移,一路走到测试时训练(TTT)——每一次演进都让视觉计算更适应输入,但「怎么适应」这条规则始终由训练好的骨干写死。VisionHOPE 要做的是把规则也变成可变的:模型记住什么、以及它怎么学,在一张图的处理过程中共同演化。

实现上它沿用 Nested Learning 的自指构造,用五个耦合记忆分别存放内容、生成 key/value 表示、以及控制学习率与保留率,随视觉上下文推进共同更新。作者指出,把不受约束的自指更新直接用到视觉骨干上会发散,于是配了一套稳定性匹配的步长控制——对自指注入做软上限、对保留记忆的状态转移做谱截断,并证明由此得到的内存动态沿每次扫描都是非扩张的。二维特征图方面,他们把 NL 的分块表述对齐到图像的行与列,走四个方向的扫描再融合。

结果属于「有竞争力」而非「刷新榜首」:ImageNet-1K 单裁 224×224 下,T 档 26.6M 参数 / 4.9G FLOPs 得 top-1 84.1,S 档 52.9M / 9.8G 得 85.2,B 档 91.2M / 17.3G 得 85.6;COCO 上配 Mask R-CNN 1× 计划,B 档 box AP 50.5、mask AP 45.0;ADE20K 配 UPerNet,B 档 mIoU 51.8。这些数字全部来自作者自测,没有第三方复现,权重放出数小时内下载量仍近零——它的价值眼下在于把「自修改学习系统」这条线从语言模型搬到视觉骨干并给出稳定性论证,而不在于当下的绝对精度。

原文链接:VisionHOPE 论文 / GitHub

核验记录
日期:arXiv 2609.33325 提交历史 [v1] Sun, 27 Sep 2026 07:54:38 UTC,citation_date 与 citation_online_date 均为 2026/09/27(两字段一致);GitHub README 的 Updates 段落自述「2026-09-27 preprint」「2026-09-29 checkpoints available」,Hugging Face 仓库 PSRben/VisionHOPE createdAt 2026-09-29T07:28:16Z。本条日期取权重开放日 9/29,论文日 9/27 一并留痕。摘要与结构(五个耦合记忆、软注入上限+谱截断、行/列对齐四向扫描、非扩张性证明)逐字取自 arXiv abstract 与 GitHub README Overview(21,071 字符已通读)。分数取自 GitHub README 的 Main results 三张表:ImageNet-1K top-1 84.1/85.2/85.6(26.6M/52.9M/91.2M 参数)、COCO 1× box AP 47.9/49.5/50.5 与 mask AP 43.1/44.2/45.0、ADE20K mIoU 49.4/50.3/51.8,许可 MIT(README 徽章)。作者 11 人含 Xiangyu Zhu、Zhen Lei(中科院自动化所);本条未见任何媒体或第三方复现报道,属「白名单外主体」通道捞回。配图取 HF 社交缩略图(裸请求与带站内 Referer 均 200 / 412,930 字节 PNG)。