Datalab 用 70 步 RL 把 OCR 从第 23 名推到第 3:增益几乎全来自对齐榜单格式
Datalab 10 月 12 日在 Hugging Face 放出一个研究检查点 Surya ParseBench RL,只为回答一个问题:一个 OCR 模型的 ParseBench 分数里,有多少来自「读懂页面」,有多少来自「命中这个基准的输出约定」。做法是把 650M 参数的 Surya OCR 2 拿去做 70 步强化学习,训练数据不含任何 ParseBench 文档。
结果分两半:名次从第 23 名升到第 3 名(四个非图表维度的均值),但内容忠实度这一项——最接近「模型有没有把页面读对」的指标——只移动了 0.4 个百分点。作者在模型卡里直接写明「几乎全部增益都来自格式」,并把结论写成一句提醒:分数里有多少是读页面的能力,需要单独测。
这条对读者的价值不在 OCR 本身,而在榜单怎么读:一个不接触领域数据、只优化输出约定的模型能挤进前三,说明榜面上的名次可能主要在反映格式匹配而不是识别能力。团队明确标注「这是研究检查点,不是产品模型」,权重与训练细节随仓库一并放出,方便别人复核这个判断。
原文链接:Datalab 官方模型卡
核验记录
HF 模型卡 huggingface.co/datalab-to/surya-parsebench-rl 直读(createdAt 2026-10-12T02:48Z、lastModified 2026-10-12T11:11Z、likes 0),正文逐字自陈「This is a research checkpoint, not a product model」「from 23rd to 3rd on the ParseBench leaderboard」「Content faithfulness ... moved 0.4 p」与「Almost all of the gain came from formatting」。★ 我未直读 ParseBench 榜单本身(run-llama/ParseBench 本轮未拉取),名次与分数为官方口径。
← 上一篇OpenBMB 开源 Trident:文本、图片与图文融合放进同一排序空间的 2B 检索模型下一篇 →Character.AI 申请 Chapter 11:法院监督下求售,Disney 2000 万美元接手部分资产