FRI 复盘四年 AI 预测：基准能力被系统性低估，IMO 金牌比专家中位数早 5 年

9 月 22 日，预测研究机构 FRI 发布系列第一篇《How Accurate Have AI Progress Forecasts Been So Far?》，把 2022 年中以来跨项目收集的专家与超级预测者预测逐条对照已发生的事实。结论分三块：基准能力上系统性低估；采用与扩散上有高有低、总体偏低估；对宏观经济增长、就业与重大 AI 伤害的预测，目前还不足以判断准不准。

最清楚的例子在数学。2022 年的 XPT 研究里，超级预测者给「MATH/MMLU/QuALITY/IMO 金牌四项实际结果」的平均概率只有 9.7%（领域专家 24.6%）；AI 于 2025 年 7 月拿到 IMO 金牌，比专家中位数预测早约 5 年、比超级预测者中位数早约 10 年。研究团队自己也承认，这批预测给出时 ChatGPT 还没发布，但更晚收集的预测同样偏低。

生物风险侧：2024 年 11 月至 2025 年 2 月的研究里，专家中位数认为 AI 要到 2030 年才能在「VCT」故障排查基准上追平顶级病毒学家团队（超级预测者 2034 年），FRI 认为 2025 年 4 月可能就已做到。经济侧：专家给「2026 年底最高 ARR 的 AI 公司」中位数 200 亿美元、经济学家 160 亿、超级预测者 250 亿，而 FRI 判断该题当前值可能已到 1,000 亿美元。

反方向也有，FRI 自己标了出来。2025 年中的一项随机对照试验里，生物安全专家中位数预测 22.5% 的受试者能在语言模型帮助下完成危险生物任务（病毒学家 40%、超级预测者 16.2%），实际只有 5.2% 全部完成，与只给互联网的对照组没有可测差异；专家对 2027 年自动驾驶网约车份额的中位数也被认为明显偏高。方法学偏差写得同样直白：低估只要现实越过门槛就立刻显形，高估要等截止日才能确认，所以这类中期盘点天然偏向发现低估；部分未解问题还用 GPT-5.5「high」档做投影。边界：这是 FRI 对自家研究的汇总，问题取舍带主观性，无第三方复现。

原文链接：预测研究机构 FRI 官方页