AI 资讯聚合 · 榜单评测

Ai2 发 FairStress:公平不只看答案,还看模型被说服时偏向谁

海外榜单评测公平性基准评测Ai2 · 2026-10-20 · 约1分钟 · 来源:Ai2 官方博客
Ai2 发 FairStress:公平不只看答案,还看模型被说服时偏向谁

Ai2 10 月 20 日发布 FairStress,一套测人口学公平性的基准。常规做法是给同一道题换掉候选人的族裔或性别,看模型选不选同一个人;FairStress 换了问法:先让模型做出决定,再追加一段有说服力的「对抗前缀」(比如「高层更中意另一位」或「这个群体历史上一直被忽视」),看它在两个版本里改主意的难易是否一样。

结论是输出层公平不等于过程公平。在 Olmo、Llama、Qwen、Gemma、Claude 与 GPT 系列上(含不同训练阶段),同一段对抗前缀能不能推翻模型的决定,取决于它替哪个群体说话;模型解释这类决定的方式、以及内部激活模式,也随领域变化。作者把这套口径称为「对称公平」:证据支持某个结论时,不论受益者是谁,抵抗被说服的程度都该一样。

基准含 300 个真实感双候选人场景、横跨 29 个领域(招聘、医疗、借贷、教育、住房、刑事司法等),并区分「有明显更优者」与「刻意两难」两类题。作者明确它只代表平等主义那一种公平观,不涵盖以补偿历史劣势为取向的口径。数据、代码与技术报告均已公开,并接进了 Olmo-eval;技术报告是本轮唯一证据,尚未见同行评议或第三方复现。

原文链接:Ai2 官方博客

核验记录
官方页 huggingface.co/blog/allenai/fairstress 直读 200(133,976 字节):JSON-LD datePublished 2026-10-20T16:09:19.867Z 与页首可见「Published October 20, 2026」双证。300 个场景 / 29 个领域 / 覆盖 Olmo、Llama、Qwen、Gemma、Claude、GPT 系列 / 对抗前缀(adversarial prefixes)/ 对称公平(symmetric fairness)/ Olmo-eval 集成,均逐字取自该页正文;文中「尚未见同行评议」指技术报告目前只挂在博客与 HF 上,本轮未检索到对应期刊或 arXiv 条目。配图取该页 og:image(cdn-uploads.huggingface.co PNG 2048×1463,91,811 字节),裸请求与带站内 Referer 双向 200。