Epoch AI 家具组装基准:GPT-6 Astra 准确率 80% 登顶,10 个月前同一榜单只有 28%

FAB 的做法很直接:拍摄三件宜家家具的组装过程照片,每个阶段都故意埋进错误,再让模型对着说明书与照片指出所有出错步骤并描述问题所在。2025 年 11 月榜首是 Claude Opus 4.5 的 28%,十个月后 OpenAI 的 GPT-6 Astra 以 80% 拿下第一,Claude Fable 5.1 与 Claude Opus 5 分别为 70% 与 61%。
速度上的差距比分数更明显:Astra 每张照片的中位耗时是 3 分钟,是所有受测模型中最快的,比此前领先的模型快 2 到 10 倍。榜首自始至终由闭源模型占据,而中国开放权重模型落后前沿约七个月——Kimi K3 发布时在通用能力上只差 4.4 个月,在 FAB 上这个差距被拉开。
值得注意的是得分与家具复杂度之间没有明显关系,Epoch 因此认为错误本身的细微程度、拍摄角度以及组装进度才是主因。换句话说,这套基准测的不只是「能不能看懂说明书」,而是模型能不能在缺���视角的图像里定位具体做错的那一步。
原文链接:Epoch AI 官方报告
核验记录
Epoch AI 官方 publication 页可见日期 Sep. 23, 2026,且页内 og:image 与本文所用配图一致(1230x693 PNG,裸请求与带站内 Referer 均 200)。数据为该站原文:Astra 80%、Fable 5.1 70%、Opus 5 61%,2025 年 11 月 Opus 4.5 28%。未直读 OpenAI 官方页,it之家 9/26 18:18 转述与之一致
← 上一篇Simate 亮出首版通用物理快系统 Simate-beta:登顶 RoboDojo,平均分 33.95、成功率 27.96%下一篇 →牛津博德利图书馆藏书被曝用于 OpenAI 训练:12.5 万份论文扫描件进了训练集,校内教职工提出反对