VisionHOPE 把「自修改学习」搬进视觉骨干:五个记忆边看图边改自己的学习规则
9 月 27 日,一个 11 人团队在 arXiv 挂出 VisionHOPE,9 月 29 日开放 ImageNet-1K、COCO、ADE20K 三套预训练权重(MIT 许可,同时放上 GitHub Releases、Hugging Face 与百度网盘)。作者的定位是:视觉骨干从 CNN 的局部聚合、ViT 的全局交互、状态空间模型的输入依赖状态转移,一路走到测试时训练(TTT)——每一次演进都让视觉计算更适应输入,但「怎么适应」这条规则始终由训练好的骨干写死。VisionHOPE 要做的是把规则也变成可变的:模型记住什么、以及它怎么学,在一张图的处理过程中共同演化。
实现上它沿用 Nested Learning 的自指构造,用五个耦合记忆分别存放内容、生成 key/value 表示、以及控制学习率与保留率,随视觉上下文推进共同更新。作者指出,把不受约束的自指更新直接用到视觉骨干上会发散,于是配了一套稳定性匹配的步长控制——对自指注入做软上限、对保留记忆的状态转移做谱截断,并证明由此得到的内存动态沿每次扫描都是非扩张的。二维特征图方面,他们把 NL 的分块表述对齐到图像的行与列,走四个方向的扫描再融合。
结果属于「有竞争力」而非「刷新榜首」:ImageNet-1K 单裁 224×224 下,T 档 26.6M 参数 / 4.9G FLOPs 得 top-1 84.1,S 档 52.9M / 9.8G 得 85.2,B 档 91.2M / 17.3G 得 85.6;COCO 上配 Mask R-CNN 1× 计划,B 档 box AP 50.5、mask AP 45.0;ADE20K 配 UPerNet,B 档 mIoU 51.8。这些数字全部来自作者自测,没有第三方复现,权重放出数小时内下载量仍近零——它的价值眼下在于把「自修改学习系统」这条线从语言模型搬到视觉骨干并给出稳定性论证,而不在于当下的绝对精度。