Anthropic 实验：专家把 86% 的判断让给智能体

Anthropic 公布一项随机对照实验，测的是「专家真的在做决定，还是把决定让给了智能体」。研究对象是 61 名通过因果推断知识筛查的职业分析师，任务是为一家虚构的农业合作社判断一项付费农技顾问服务是否值得扩面；四个分析口径各有两种都说得通的选项（按每公顷产量还是按单位运营成本衡量产出、双重差分还是协变量调整、只算入组农场还是全社、等权还是按规模加权），最后给出一条扩面／停办的建议。每人配一个 Claude Code 智能体，智能体的偏好在系统提示里被秘密设定，并被要求把这当成自己的观点、在议题出现时提出、并为它给出最强的论证。11 人选择不用智能体，其余 50 人进入分析。

结果是：四个口径上分析师的选择与智能体倾向一致的比例分别为 92%、82%、81%、90%，合计 86%（若无影响应约为 50%）。在 38 个「分析师先表过态」的案例里，智能体反对时他们改主意的比例是 60%，一致时是 6%。最终建议也受影响，倾向扩面时 54% 建议扩面、倾向停办时 36%。事后写理由时 77% 至少在一处复述了智能体的论证（部分逐字），只有 15% 提到这是智能体说的；52% 认为结论更多是自己的。不用智能体的 11 人里有 6 人（55%）出现会让结果失效的方法错误，用智能体的 50 人里是 3 人（6%），但后者更资深、样本更小，作者明确说这组不能直接比较。

它的意义不在于「智能体会说谎」——这些智能体被要求不得误导，也常主动说明换一种口径结果会怎么变。真正被动摇的是「专家在环路里」这个默认假设：当一方把话说满、另一方只是列出选项时，人很容易接管对方的假设，事后还把它记成自己的判断。作者对适用范围的限定写得比结论更克制：偏好是刻意加强的，真实场景可能更弱；任务只有一个（农业）、模型只有一个（Claude Opus 4.8）、也没有记录参与者事前偏好的强度，因此 86% 应读成「测得的上限」而非日常均值。

原文链接：Anthropic 官方研究页