AI 资讯聚合 · 开源生态

蚂蚁百灵开源 LBS-27B:只用 GUI 合成数据,练出会「先放大再看」的通用视觉

国内开源生态视觉语言模型GUI 智能体蚂蚁集团 / inclusionAI · 2026-10-26 · 约2分钟 · 来源:inclusionAI HF 模型卡 / GitHub
蚂蚁百灵开源 LBS-27B:只用 GUI 合成数据,练出会「先放大再看」的通用视觉

inclusionAI(蚂蚁集团)在 Hugging Face 放出 LBS-27B,Apache-2.0 许可,基座是 Qwen3.8-27B(config.json 里 architectures 为 Qwen3_5ForConditionalGeneration、hidden_size 5120,仓库 12 个权重分片、约 55GB BF16)。LBS 是 Learning to Look Beyond Screens 的缩写,模型本体是一套「观察策略」:它输出纯文本的 crop_image 动作,客户端负责裁剪并把图像与坐标映射回传,多轮推理;每轮最多请求两次独立裁剪,一次任务总共三次裁剪预算。最终 GUI 坐标以 [x.xx,y.yy] 归一化到原图 0-1000。

训练数据只有 GUI 定位(grounding)的合成样本:约 1 万条冷启动 SFT,接着 80 步 GRPO(batch size 64、每个 prompt 8 次 rollout),没有通用域数据,也没有 VQA 问答。关键结果不是屏幕上的分数,而是迁移:这套只从屏幕定位学来的「先局部放大再看」被直接用到通用视觉问答与高分辨率感知上,模型卡给的是 ScreenSpot-Pro 81.15、OS-World-G(Refine)84.57、PerceptionBench 59.67、HR-Bench 4K 89.13、HR-Bench 8K 87.75。

它的意义在于把「视觉 agent 该怎么看」和「它懂不懂这个领域」拆开了:观察策略可以由合成数据单独练出来,再带着走。这也是可复跑的一条路——权重与项目软件都是 Apache-2.0,评测脚本在同一仓库的 LBS 分支里。边界要一起读:模型卡自述所有分数都是带 agentic zoom-in 的完整跑分,PerceptionBench 用自托管的 Deepseekv4-flash-0731 当裁判,图表里对照模型用的是不同推理配置(PerceptionBench 侧是 GPT-oss-120B),因此跨模型比较「未受控」;官方 UI-Venus 仓库的 News 段最新停在 2026/09,还没有 LBS 这一条。

原文链接:inclusionAI HF 模型卡 / GitHub

核验记录
日期取自 HF 官方仓的两个提交:initial commit 2026-10-26T05:36Z、权重上传 commit 2026-10-26T11:15Z(12 个 safetensors 分片);GitHub UI-Venus 的 LBS 分支最后提交 2026-10-27T07:41Z。官方仓库 README 的 News 段最新停在 2026/09,本机未读到官方公告页,故按 R21 降级链用权重上传时间定日,置信度中高。基准全部为厂商自测,模型卡自述 PerceptionBench 用自托管 Deepseekv4-flash-0731 作裁判、对照模型推理配置不同,跨模型比较未受控。模型卡内的 benchmark 图在 raw.githubusercontent.com 本机直连两次 SSL 握手超时(经本机代理 200 / PNG 3200×1560),故配图改用 HF 模型页官方社交缩略图(裸请求与带站内 Referer 双 200 / PNG 1200×648)。