蚂蚁百灵开源 LBS-27B:只用 GUI 合成数据,练出会「先放大再看」的通用视觉
inclusionAI(蚂蚁集团)在 Hugging Face 放出 LBS-27B,Apache-2.0 许可,基座是 Qwen3.8-27B(config.json 里 architectures 为 Qwen3_5ForConditionalGeneration、hidden_size 5120,仓库 12 个权重分片、约 55GB BF16)。LBS 是 Learning to Look Beyond Screens 的缩写,模型本体是一套「观察策略」:它输出纯文本的 crop_image 动作,客户端负责裁剪并把图像与坐标映射回传,多轮推理;每轮最多请求两次独立裁剪,一次任务总共三次裁剪预算。最终 GUI 坐标以 [x.xx,y.yy] 归一化到原图 0-1000。
训练数据只有 GUI 定位(grounding)的合成样本:约 1 万条冷启动 SFT,接着 80 步 GRPO(batch size 64、每个 prompt 8 次 rollout),没有通用域数据,也没有 VQA 问答。关键结果不是屏幕上的分数,而是迁移:这套只从屏幕定位学来的「先局部放大再看」被直接用到通用视觉问答与高分辨率感知上,模型卡给的是 ScreenSpot-Pro 81.15、OS-World-G(Refine)84.57、PerceptionBench 59.67、HR-Bench 4K 89.13、HR-Bench 8K 87.75。
它的意义在于把「视觉 agent 该怎么看」和「它懂不懂这个领域」拆开了:观察策略可以由合成数据单独练出来,再带着走。这也是可复跑的一条路——权重与项目软件都是 Apache-2.0,评测脚本在同一仓库的 LBS 分支里。边界要一起读:模型卡自述所有分数都是带 agentic zoom-in 的完整跑分,PerceptionBench 用自托管的 Deepseekv4-flash-0731 当裁判,图表里对照模型用的是不同推理配置(PerceptionBench 侧是 GPT-oss-120B),因此跨模型比较「未受控」;官方 UI-Venus 仓库的 News 段最新停在 2026/09,还没有 LBS 这一条。