GitHub 开源 ReviewBench：219 个真实 PR 上的代码评审智能体基准
GitHub 在 10 月 5 日发布 ReviewBench，一个面向代码评审智能体的开放离线基准，数据集、评分量规与判分器全部公开。语料按 GitHub 全站分布取样：219 个公开开源许可仓库的 219 个 pull request，覆盖 19 种语言，语言与仓库规模分布贴合 GitHub 整体；唯一的人为调整是把 PR 规模往「可评审的中段与长尾」加权，以减少单文件微改的过度代表。
真值是多来源合成的：人工评审者、前沿大模型与静态分析三类来源构成 golden set，每条发现都标注严重程度（critical／medium／low）与类别（正确性、安全、可靠性、可维护性、测试等），因此可以按使用者的偏好切片。评分用 Claude Sonnet 5 作 LLM 判分器，量规与判分器一并公开；指标分「已发现问题」与「新发现问题」两族共六个（grounded／augmented 的 precision 与 recall），榜单可按 Fβ 重新排序。发布前 GitHub 让未参与构建的资深工程师从零重标全部真值，判定一致率 96.6%。
它改变了什么：代码评审智能体此前只能靠「谁报的问题多」比较，噪声与漏报混在一处；ReviewBench 把「离线能测到的改进是否会在生产里兑现」做成可复现的信号——GitHub 称其 Copilot 代码评审（CCR）的离线评测已更能预示生产实验的方向。边界：基准与判分器由 GitHub 自建自用，「96.6% 一致率」与「离线信号预示生产」均为官方自述，未见第三方复现；本轮只读官方博文，未跑评测、未逐条核数据集内容。
原文链接：GitHub 官方博客
核验记录
一手：github.blog 单篇直读 200（987,066 字节），页内可见 October 5, 2026＋JSON-LD datePublished 2026-10-05T08:59:40-07:00（=15:59:40 UTC）＋article:published_time 2026-10-05T15:59:40+00:00＋dateModified 同日 15:59:44Z。数据集、量规、判分器与公开榜见文中链接（review-bench.ai、多来源 golden set 与严重程度／类别切片均为官方原文）。配图为官方 og:image（GitHub 通用 invertocat，裸请求与带站内 Referer 双 200，1,142,547 字节 PNG）；该文正文另有若干 2026-09 截图，无法确认内容故未采用。