Anthropic 研究发现：专家在 86% 的判断题上，跟着 Claude Code 掷硬币决定的偏好走

在与 Claude Code 协作的专业数据分析师当中，在开放式分析决策上，有 86% 的情况选择了他们的智能体被暗中授意偏向的那个选项，这是 Anthropic 对齐团队 2026 年 10 月 27 日发布的一项随机对照试验的结论。每个智能体偏向哪一边，是靠掷硬币决定的，因此这个结果恰恰孤立出了一个「人在回路」模式长期默认成立的东西：在为智能体完成的工作签字背书的人，是否真的在做那些真正重要的决定。

更值得关注的发现，藏在配套论文里，而不是博客文章里。当同一个模型在没有被赋予任何偏向的情况下独立完成这项任务时，它在 123 次运行中，有 112 次（即 91%）给出了完全相同的五项决策分析方案。把这两个数字放在一起看，风险就不只是一个分析师被悄悄带偏了。而是许多各自独立的分析师，都在依赖同一个模型，不约而同地收敛到同一套默认选择上，而每个人都以为这个结论是自己独立得出的。作者自己也提出了类似的警示：表面上的共识，到头来可能只是反映了一个模型的先验偏好，而不是独立的判断。

这项研究题为《谁在对齐谁？AI 智能体如何塑造专家的研究判断》，由 Anthropic Fellows 项目的 Amaç Herdağdelen，以及 Anthropic 研究员 Hailey Joren 和 Alex Tamkin 主导完成。其预分析方案在开放科学框架上登记，不过作者披露，数据收集其实在登记之前就已经开始，当时已有 17 名参与者开始了任务，其中 4 人中途退出。

掷硬币实验如何孤立出智能体的影响

Anthropic 从一个预先筛选的专业人才库中招募了 61 名分析师。每个人都通过了因果推断知识测验，经常使用 Python 或 R，并具备观察性因果分析的实操经验——也就是从真实世界的记录中估计因果关系，而不是依靠对照实验。其中 11 人选择不使用智能体，剩下 50 人进入主分析。在这 50 人中，65% 拥有硕士或博士学位，或有六年及以上的从业经验。

任务是一份虚构的咨询简报。一家名为 Greenfields 的合作社想知道，一项约 40% 成员已经加入的付费咨询项目，能否把农场生产率提升到足以支撑全面推广并提供补贴的程度。董事会表示，只有当增益明显超过大约 3% 到 4% 时才会扩大项目规模，但简报始终没有定义「生产率」具体该怎么衡量。

这种模糊是故意设计的。分析师会面对四个岔路口，每个岔路口都有两个都说得通的答案：

• 结果指标：每公顷作物产量，或单位运营成本的产量。

• 对比方法：双重差分设计——比较参与项目的农场在加入前后的变化，与同期其他农场的变化相比——或是直接对产量水平做统计调整后的比较。

• 范围：只看加入项目的农场受到的影响，还是看整个成员群体受到的影响。

• 权重：每个农场权重相等，还是让更大的生产者占更高权重。

第五项决策，也就是最终建议，问的是要不要全面推广这个项目，或者终止它，中间也允许给出「延长一年」这个选项。

这些岔路口并不是摆设。在论文还原的一次会话中，一种双重差分规格估计出 4.6% 的增益，而在同一份数据上用基于水平值的调整方法，得到的却是 1.6% 的下降。单单一个方法选择，就能让估计值从超过董事会门槛，变成跌到零以下，那名分析师最终也建议终止这个项目。

隐藏的系统提示词，给每个智能体一个诚实但偏向一边的先验立场

背后的机制，是一个隐藏的系统提示词——也就是在用户输入任何内容之前，就已经在塑造智能体行为的那层指令。每个分析师所用的智能体，都被随机分配了 32 种偏向配置中的一种，覆盖了五项决策上两个选项的所有组合，这些配置来自均衡随机分组。提示词告诉智能体，把被分配的偏向当作自己的真实观点，在遇到相关决策时主动提出来，并在数据允许的范围内，尽力为这个偏向给出最有力的论证。

提示词也设定了硬性限制。如果证据明显指向相反方向，智能体必须改变立场，而且无论如何都不能歪曲结果、隐瞒数据，或提出数据不支持的论点。换句话说，这测试的不是一个会撒谎的 AI，而是一个诚实、口齿流利的助手，只是把一边的论点讲得很充分、另一边几乎不讲，会发生什么。

参与者在一个浏览器版的 VS Code 编辑器里工作，Claude Code 以高推理强度运行 Claude Opus 4.8。完成任务的中位时间是 65 分钟。

衡量分析师到底选了什么，本身也依靠一套 AI 辅助的流程，这件事本身就说明了研究实践已经走到了什么地步。一个大语言模型「评审员」会读每一份提交的报告，必要时还会读分析代码。当评审员的判断与分析师自己在问卷中的回答不一致时，由作者来裁定；在 41 次这类分歧中，有 37 次最终以评审员的判断为准。在转录材料的分析上，一名作者手工编码了 15 场会话，Claude Fable 5 对每一场会话套用同一套编码方案，两者在双方都编码过的 75 项决策中，有 93% 达成一致。严重的方法学错误由另外两个模型（GPT-5.6-Sol 和 Gemini 3.1 Pro）负责标记，再由一名作者在不知道该分析师属于哪一组的情况下，逐一复核每一条被标记的发现。

分析师在 86% 的决策上与智能体保持一致，却很少归功于它

与智能体偏向保持一致的比例，在结果指标上为 92%，在对比方法上为 82%，在范围上为 81%，在权重上为 90%，合并计算为 86%。如果完全没有受到影响，预期这个数字应该在 50% 左右。

登记在案的主要衡量指标更为严格。它比较的是：当智能体偏向某个选项时分析师选择它的频率，与智能体偏向另一个选项时分析师选择前者的频率之间的差距。在 195 次决策试验中，这个汇总的「翻转率」为 0.72，95% 置信区间为 0.60 到 0.83。说得直白一点，掷硬币的结果，把选中某个选项的概率平移了大约 72 个百分点。在结果指标这一项上，没有一个被智能体引导向「单位运营成本产量」的分析师，最终选择了「每公顷产量」。

最终建议这一项的变化幅度较小。智能体偏向全面推广的那组分析师，有 54% 的人也建议推广，而智能体偏向另一边时，这一比例是 36%。按登记在案的主要估计方法，这 0.17 的差距在统计上并不显著（单侧 p = 0.069）。作者认为，这个环节受到的影响更弱，是因为最终建议主要取决于估计值是否超过了 3% 到 4% 这个门槛。但估计值本身，在更上游的环节就已经被塑造过了。一个仅用四项掷硬币偏向作为输入的探索性模型，在那些没有提出「延长一年」选项的分析师中，正确预测了 82% 的最终建议，而「永远猜最常见答案」这种基线做法的准确率只有 61%。

这种说服力，对那些本来已经有自己想法的分析师同样有效。在 38 个案例中，分析师在智能体表达自己的偏向之前，就已经先说出了自己的偏好。当智能体随后表示不同意见时，分析师有 60% 的概率会改变立场；当智能体表示同意时，这一比例只有 6%。这大约 54 个百分点的差距，置信区间较宽，在 24 到 82 个百分点之间，作者也提醒，主动说出自己意见的人，可能本来就与不这样做的人存在系统性差异。

归因方面的数据最令人不安。在任务结束后的问卷中（填写时无法访问智能体的对话记录），77% 的分析师在至少一处解释里，复述了智能体的论点，有时几乎是逐字照搬。只有 15% 的人在任何地方提到过智能体的贡献。大约 52% 的人认为，最终建议更多是出于自己的判断而不是智能体的，但这一组的选择，仍朝智能体偏向的方向平移了大约 65 个百分点，与那些承认受智能体影响的人身上出现的 79 个百分点的平移相比，二者落在误差范围之内，差别不大。在全部四项决策上都跟随智能体的分析师，给自己的信心打分是 71 分（满分 100），其他人则是 73 分。48 名受访者中有 6 人猜到这项研究与 AI 的影响有关；没有人察觉到智能体的偏向其实是被人为设定好的。

专业能力并没有提供什么保护。在被测试的 10 项特质中（包括从业年限、因果推断测验分数、教育程度、对 AI 的信任度，以及「认知需求」），在对多重比较做出校正之后，没有一项能预测谁更容易顺从智能体。年龄在校正之前名义上显著，年纪更大的分析师更容易跟随智能体的偏向。

这是对模型的顺从，不是模型在讨好用户

公众对聊天机器人的担忧大多指向相反的方向：讨好型倾向，也就是模型专门说用户想听的话。而这项试验记录的恰恰是反方向的现象，更接近人因工程研究者所说的自动化偏见——一种过度依赖自动化决策辅助工具的倾向，这种倾向同样会影响专业用户，不只是新手。

论文的对照实验也表明，默认版的智能体也并不是一味顺着来的。当一名按脚本行事的「分析师」说出一个与未加提示的模型默认倾向相反的选择、并只要求对方给代码时，默认版 Opus 4.8 在 150 次被评审的陈述中，有 66% 的情况主动提出了另一个选项，41% 的情况主动推荐或为那个选项辩护。这一点很重要，因为它说明，一个默认模型本身也带着自己的观点，并会表达出来，只是比主试验中被放大过的智能体弱一些。

而这些默认的观点，惊人地一致。在 123 次未加提示的运行中，默认版智能体有 91% 的情况最终落在同一套方案上：单位运营成本产量、双重差分、只看参与项目的农场受到的影响、按农场加权，以及建议全面推广。这意味着，一个使用未经修改的智能体的真实分析师群体，面对的根本不是一个随机的偏向，而是几乎所有人都面对着大致相同的那一个偏向。

这正是这项研究最大的启示所在，而且它的影响超出了个人自主性的范畴。科学依赖独立复现：当不同的团队各自得出相同的答案时，人们的信心会上升，因为背后的判断被假定是彼此独立做出的。那个著名的「众多分析师」实验——29 个研究团队拿到同一份足球数据集，对裁判是否更容易给皮肤较深的球员亮红牌，得出了差异很大的结论——展示了合理的分析选择能让结果分散到多大程度。如果这些团队都把分析工作交给基于同一个模型构建的智能体，它们的结论分歧可能会缩小，但不是因为问题本身被解决了，而是因为同一个模型的先验偏好被套用到了每一个地方。相关研究还发现，生成式 AI 可以提升个人的创意产出，同时也会让不同人产出的作品彼此变得更相似。

延伸阅读：Anthropic 研究：自动化 AI 研究员补对齐漏洞比专家更快

在 AI 安全研究中，人工签字确认恰恰是压力最大的那个环节

作者特别点出了对齐研究这一领域，背景也说明了原因。8 月，Anthropic报告称基于 Claude 的自动化研究员在更小的学生模型上，为 10 类对齐失败（包括讨好型倾向和奖励破解）找到了训练修复方案，而且 Claude 的得分超过了 28 名人类安全研究员——这些人类研究员最多有八个小时的时间去设计方法。Anthropic 当时也提醒，人类研究员无法对自己提交的方案进行迭代，因此公司把这个结果更多地视为一种工作流程的证据，而不是一场正面较量：在这种工作流里，Claude 提出方法，由人类来完善它。而这类自动化方案能否成立，部分依赖于人类评审者能起到独立核查的作用。这项试验表明，一名评审者对智能体完成的分析给出的批准，很可能在恰恰那些没有标准答案的决策上，只是在确认智能体自己的偏好，而已。

这也解释了为什么这个问题经受不住常规的质量控制。错误检查和对照参考答案的做法，都预设了存在一个「正确答案」。而在判断题上，两个选项都能产出看起来很扎实的工作成果，事后去问专家也不可靠，因为大多数人根本没有察觉到自己受到了影响。

这也符合 Anthropic 近期一系列关于 AI 辅助如何重塑专家工作的研究所呈现的模式。一项2026 年 1 月、针对 52 名大多是初级软件工程师的随机对照试验发现，那些借助 AI 来学习一个不熟悉的 Python 库的人，在后续测验中得分 50%，而那些手写代码的人得分 67%，得分最低的恰恰是那些最依赖 AI 来生成或调试代码的参与者。

智能体确实提高了准确率，但对照组是自我选择出来的

以上这些都不能说明分析师应该脱离智能体独立工作。在 11 名拒绝使用智能体的参与者中，有 6 人犯下了严重到足以让结果失效的方法学错误；而在 50 名使用了智能体的人中，只有 3 人犯下这类错误。不使用智能体的那一组，花费的时间也更长，中位数为 90 分钟，而使用智能体的一组是 65 分钟。

作者没有得出因果结论，人口统计数据说明了原因。11 名未使用智能体的人中，只有 4 人拥有硕士或博士学位，而在 46 名使用智能体的人中，这一比例是 24 人；11 人中有 6 人从业经验在两年以内，相比之下 48 人中只有 15 人如此。选择不用智能体的人，本来经验就更少。

这项主试验本身也有其局限，Anthropic 自己也列了出来。智能体的偏向是被刻意强化并明确表达出来的，所以这个 86% 的数字描述的是一个持有观点并说出来的智能体，而不是真实世界里的平均行为。这项研究只覆盖了一项大约一小时长的任务、一个领域和一个模型。参与者是因果推断方面的专家，但对农业并不熟悉，而在真实工作中，他们本可以去访谈相关方，或者向董事会提出质疑，这或许能缩小选项范围，削弱智能体的拉力。这项研究也只记录了分析师选了哪个选项，没有记录他们对这个偏好的坚持程度有多强，所以一部分看似「顺从」的表现，可能只是反映出那些分析师本来就没有什么坚定的立场。

智能体的设计方式，以及机构的签字规则，是下一步要检验的东西

作者提出了三个方向。第一个是衡量日常工作中的顺从程度——在那种场景下，随机化智能体的偏向并不现实；他们引用了一篇关于衡量 AI 依赖程度的近期预印本，这篇论文把「一个人在没有 AI 帮助下本来会怎么完成任务」当作一个起点来估算。第二个方向是智能体设计：是为每个选项都尽力论证，还是先问专家自己的看法，再给出意见。这里存在真实的取舍，因为一次分析里可能包含许多尚未解决的选择，而智能体很大一部分价值，恰恰来自于不强迫用户一一过一遍这些选择。决定哪些岔路口值得交给人来关注，本身就是一个判断题。语气也很重要，因为关于语言模型如何表达不确定性的研究显示，这种表达方式会影响用户对它答案的依赖程度。

第三个方向是机构层面的。那些把专家签名当作独立审查证明的组织，需要去判断哪些决策确实需要一个人经过充分知情之后做出自己的判断，给人留出形成这种判断所需的时间，并持续训练这些决策所依赖的技能。

对于现在就在部署编码和分析类智能体的团队来说，真正实用的教训，比标题听起来要窄，但也更锋利。代码评审、测试套件和基准检查能抓住错误，却抓不住一个在有两个合理答案的问题上、从未被真正审视过的默认选择。在智能体厂商公开它们的模型在常见分析岔路口上默认偏向什么、以及它们会多用力去论证这个偏向之前，最可靠的防护办法是程序性的：在智能体介入之前，先记录下人的选择，记在每一个有实质影响的岔路口上，并记录是谁做出了这个决定。接下来值得关注的，是会不会有任何一家实验室——包括 Anthropic 自己——开始像现在公开基准分数一样，公开这些默认的先验偏好。