Sakana AI 发 LLM 评审系统：核心论断错误检出率从 14.81% 提到 73.43%
Sakana AI 发布 Beyond Imitation，一份把 LLM 辅助评审从「模仿人类评审文本」扭向「能不能查出错误」的框架与基准。基准的做法是向会议论文里合成植入逻辑矛盾，从而得到没有歧义的评判目标：1,164 处矛盾，横跨 257 篇论文、5 个会议；评测只看系统能找出多少。
配套的 Multi-Layered Review（MLR）用三个基于 Claude 的评审代理组成三遍链条，核心改动是「先完整读懂原稿再生成评审」。四次评审合起来检出 73.43% 的核心论断级（距离 0）矛盾、全部矛盾口径 40.95%，单次评审也有 60.79%；与人类评审分数的相关性 0.586，四项中最高。作为对照，此前最强的 AgentReview 距离 0 只有 14.81%，LLM-Review 14.56%、AI Reviewer 11.17%。作者说增益同时来自底层模型的选择与系统设计。
论文也给出两条边界：面对真实撤稿论文里的错误，MLR 的精确匹配只有 16.11%；在隐藏的提示注入攻击下，包括它在内的全部评审系统都会被带偏。作者因此强调，用错误检出率而不是文本相似度来评测，是这类工具能负责任落地的前提。论文 2026-10-08 上线 arXiv（2610.11087）。
原文链接：Sakana AI / arXiv
核验记录
日期取自 arXiv 2610.11087 的 citation_date 与 citation_online_date，两者同为 2026/10/08；班底与数字（1,164 处矛盾 / 257 篇 / 5 会议 / 73.43% / 40.95% / 60.79% / 14.81% / 0.586 / 16.11%）分两处核过：arXiv 摘要原文 + 第三方对论文表格的转载（thetechbriefs、oossa 等，均标注「数字来自作者自评」）。**未直读的一环**：TMLR 的正式刊出日期只有第三方来源（oossa 称 Oct 10 2026），本机未直读 TMLR 页面，故正文只写 arXiv 日期、不写期刊日期。配图：HF 论文缩略图 papers/2610.11087 返回 404；sakana.ai 首页 og:image 是站点通用品牌图（sakana_ogp.png，12,882 字节）而非本文配图，故本条 img 留空，交给站点占位块兜底，不用通用 banner 冒充本文配图。
← 上一篇Odyssey 发布 Odyssey-3：14B 世界模型实时生成可交互环境，Physics-IQ Verified 登顶下一篇 →UCL 与华为诺亚发 Memento 3：冻结 LLM，用反思规则书通关 ARC-AGI-3 全部 25 款游戏