OpenBMB 开源 Trident:文本、图片与图文融合放进同一排序空间的 2B 检索模型
OpenBMB(面壁智能)10 月 12 日放出 Trident-Qwen3VL-2B 权重,MIT 许可,模型卡写明 LoRA 已合并、不必再挂 PEFT;基座是 Qwen3-VL-2B-Instruct,训练集 Trident-Train 与代码仓一并开源。它的用途是混合模态检索:把文本、图片、图文融合三种输入映射到一个共享空间,一句文本查询就能对纯文本、纯图片与融合文档在同一个列表里打分排序。论文《Chaos in the Text》为 arXiv 2610.11816。
论文指出的问题比模型本身更值得记:稠密检索器在单模态语料上表现很好,一旦语料里文本、图片与图文融合文档共存就会显著退化——把图片文档逐步替换成语义对应的文本时,性能呈明显的 V 形曲线。更反直觉的是同为干扰项,无关文本造成的退化比无关图片更严重,作者把这一现象称为 Chaos in the Text,并归因于模态偏好:文本表示系统性地拿到更高相似度,无关文本足以把真正相关的图片挤下去。
Trident 的改动落在训练目标上:每篇文档同时构造文本、图片、图文融合三种视图,把它们当作同等正例,用多正视图 InfoNCE 同时优化相关性判别与正例视图之间的平衡。论文称该做法在 CLIP 类与 VLM 类两种架构上都改善了混合模态检索,降低了对模态构成与文本干扰项的敏感度,单模态检索平均分也有提升。需要提醒的是,论文在公开页只给方向性结论、未给可比的具体分数,权重也刚放出,属研究件而非可直接上生产的选择。
原文链接:OpenBMB 官方模型卡 / 论文
核验记录
日期链:HF 仓 OpenBMB/Trident-Qwen3VL-2B createdAt 2026-10-12T10:25:38Z(= 北京 18:25),GitHub OpenBMB/Trident created 2026-10-08、pushed 10-12(MIT、3 star),论文 arXiv 2610.11816 published 2026-10-08T12:21Z、updated 10-14T09:15Z。取「权重公开」日 10-12(R21:模型卡为官方发布件);论文 10-08 亦在 7 天窗内。模型卡全文直读 5,599 字节(含 license/base_model/datasets 字段齐全),arXiv 摘要直读全文。配图 opengraph.githubassets.com/1/OpenBMB/Trident 在「直连/经代理 × 裸请求/带站内 Referer」四种组合均 200、39,994 字节 PNG(R3/R45)。★ 未读到任何厂商新闻稿:OpenBMB 官网无对应条目,本条的「发布」= 权重仓 + 论文同时可见,不是官方公告。
← 上一篇LightOn 开源 ColGrep-Agent-2B:替编码智能体找文件,token 省约三分之一下一篇 →Datalab 用 70 步 RL 把 OCR 从第 23 名推到第 3:增益几乎全来自对齐榜单格式