AI 资讯聚合 · 榜单评测

Datalab 用 70 步 RL 把 OCR 从第 23 名推到第 3:增益几乎全来自对齐榜单格式

海外榜单评测OCR榜单口径Datalab · 2026-10-12 · 约1分钟 · 来源:Datalab 官方模型卡
Datalab 用 70 步 RL 把 OCR 从第 23 名推到第 3:增益几乎全来自对齐榜单格式

Datalab 10 月 12 日在 Hugging Face 放出一个研究检查点 Surya ParseBench RL,只为回答一个问题:一个 OCR 模型的 ParseBench 分数里,有多少来自「读懂页面」,有多少来自「命中这个基准的输出约定」。做法是把 650M 参数的 Surya OCR 2 拿去做 70 步强化学习,训练数据不含任何 ParseBench 文档。

结果分两半:名次从第 23 名升到第 3 名(四个非图表维度的均值),但内容忠实度这一项——最接近「模型有没有把页面读对」的指标——只移动了 0.4 个百分点。作者在模型卡里直接写明「几乎全部增益都来自格式」,并把结论写成一句提醒:分数里有多少是读页面的能力,需要单独测。

这条对读者的价值不在 OCR 本身,而在榜单怎么读:一个不接触领域数据、只优化输出约定的模型能挤进前三,说明榜面上的名次可能主要在反映格式匹配而不是识别能力。团队明确标注「这是研究检查点,不是产品模型」,权重与训练细节随仓库一并放出,方便别人复核这个判断。

原文链接:Datalab 官方模型卡

核验记录
HF 模型卡 huggingface.co/datalab-to/surya-parsebench-rl 直读(createdAt 2026-10-12T02:48Z、lastModified 2026-10-12T11:11Z、likes 0),正文逐字自陈「This is a research checkpoint, not a product model」「from 23rd to 3rd on the ParseBench leaderboard」「Content faithfulness ... moved 0.4 p」与「Almost all of the gain came from formatting」。★ 我未直读 ParseBench 榜单本身(run-llama/ParseBench 本轮未拉取),名次与分数为官方口径。