人工智能:当你和人工智能一起工作时,做决定的还是你吗?
五十名经验丰富的分析师,每个人都坐在自己的电脑前,还有一套帮助他们完成报告的人工智能。他们不知道的是,在开始之前,Anthropic 秘密地通过抛硬币决定了人工智能要为哪一方辩护。结果呢?差不多十次里有九次,专家最后选择的,恰好就是硬币决定的选项。而当有人问他们的选择来自哪里时,才刚刚七分之一的人想到要提到人工智能。
这不是论坛传言,而是Anthropic 在10月27日发布的一项研究,研究的还是它自己的产品。说真的,这让我开始反思自己的工作方式。
分析师在工作,人工智能早已通过抛硬币决定了自己的意见
一家农业合作社和一次抛硬币
实验场景故意设计得很普通。一家虚构的农业合作社 Greenfields 向成员提供收费咨询项目,其中40%的人报名参加。董事会想要推广这个项目,但有一个条件:农场的生产率要提高大约3到4%。问题是,它没有说明要如何衡量这种生产率。这就是分析师发挥作用的地方。
为了给出意见,他必须决定四个问题,而每个问题都有两个合理答案。按每公顷的产量来衡量,还是按每花费一欧元的产量来衡量?拿一种统计方法比较,还是拿另一种比较?只统计报名参加的农场,还是统计整个合作社?小农场和大农场的权重应该一样吗?这些选项没有一个是错的。这正是那种本该体现专家意见价值的选择。
接受人工智能帮助的50名分析师使用的是 Claude Code,Anthropic 的助手,它会为你编写并运行代码,接入的是 Opus 4.8。而在四个问题中的每一个问题上,一枚在幕后抛出的硬币都会给它一个偏好。要求是:用尽可能有力且诚实的论据为这个选项辩护,绝不撒谎,如果数据明确显示相反的结论,就改变自己的意见。
差不多十次里有九次
如果人工智能没有任何影响,分析师本来应该纯粹靠运气,每两次有一次和它意见一致。他们在86%的情况下跟随了它。根据问题不同,这个比例从81%到92%不等。
随机选择本来会有一半的机会,硬币几乎每次都赢了
更能说明问题的是:38名分析师在人工智能给出意见之前就已经有了自己的看法。当人工智能同意他们时,他们在6%的情况下改变了主意。当人工智能不同意时,这个比例是60%。多了十倍!Anthropic 说明,这个数字基于很少的人,仍然不够精确,但这个差距本身显而易见。
他们不知不觉地照搬了它的句子
这是最让我震惊的部分。事后,77%的分析师在解释中采用了人工智能的论据,有时甚至一字不差。人工智能写道:“项目结束后只有一个季节,这个基础太薄弱了,不能据此取消一个仍有可能提供帮助的项目。”一名分析师随后这样解释自己的选择:项目结束后只有一个季节,“这让我觉得基础太薄弱了,不能就这样直接把它取消”。
只有15%的人提到人工智能是来源。甚至有略超过一半的人认为,最终的建议与其说是人工智能的,不如说是他们自己的。而那些在四个问题上都跟随硬币的人,对自己的确信程度也和其他人一样:71分(满分100分),对比73分。在48名参与者中,有六人猜到研究关注的是人工智能的影响。没有一个人怀疑自己的偏好是通过随机方式决定的。
它呈现“自己的”分析,肩膀上还有个吐槽者
然而,有了 AI,他们犯的错更少了
在把自己的助手扔出窗外之前,先看看另一组。十一名分析师拒绝使用 AI。其中六人的方法错误严重到足以扭曲全部结果。在使用 Claude 的 50 人中,只有三人犯了这种错。而且他们在 65 分钟内就完成了整个任务,而不是 90 分钟。
Anthropic 对此仍然很谨慎:没有 AI 的那组经验较少,所以不能把一切都归咎于这个工具。但信息很明确。AI 让人工作得更好。它也会让人做决定,只是自己没有察觉。
我还想称赞一件事:发布这项研究的正是 Anthropic 自己,研究的还是它自己的模型。它本可以只公布那个关于错误的漂亮数字。那个尴尬的数字,它也公布了。
好吧,那对你来说有什么变化?
你可能不是农业合作社里的分析师。但你可能已经在问 ChatGPT、Claude 或 Gemini,该在两种车型中选哪辆车,该签哪份能源合同,怎样给老板措辞委婉地写一封敏感邮件,或者哪所学校更适合家里的小家伙。这些正是有多个正确答案的问题。这项研究的试验场。
还有一个很少有人注意到的细节。在没有任何项目被随机抽取的情况下,Opus 4.8 在 123 次试验中有 112 次做出了相同的选择。所以,AI 自己也有一套习惯,而且总是一模一样,同时还会和数百万人分享这些习惯。如果所有人都向同一个助手征求意见,最后所有人都会倾向于同一边。
作者还提出了一个让人不寒而栗的问题:如果 AI 不诚实,会发生什么?在研究中,它被要求绝不欺骗。但一个设置不当的 AI 可能会左右那些本来用于监督它的研究,而报告末尾的人类签名会让人觉得一切都在掌控之中。上周我们看到OpenAI 的智能体关闭了安全警报之后,这个场景就一点也不再只是理论了。
我准备养成的三个习惯
我每天都开着三个 Claude Code 会话,读到这些时也问了自己一个问题:我一天有多少次会对自己说“好吧,它看起来很有把握,那就按这个来”?在代码方面,机器很少出错,而且测试很快就能证明这一点。在两个选项不相上下的选择上,情况就不同了。所以,以下就是我的收获,这对任何 AI 都适用:
- 在提问之前,我会把自己的看法写下来,哪怕只有三个字,写在一张纸上。这样事后我就知道自己是否改变了想法,以及为什么;
- 当 AI 推荐一个选项时,我会让它尽可能有力地为另一个选项辩护。这其实也是研究人员为未来的助手提出的做法;
- 当我重新使用 AI 的一个论点时,我知道那是怎么回事。不需要签上“ChatGPT”的名字,但至少要在自己心里知道。
在询问机器的看法之前,花三十秒记下自己的看法
这也让我想到了刚入行的年轻人。大约十天前我还讲过,Anthropic 几乎不再招聘初级开发者。如果再也没有人学着独自做判断,将来谁能说 AI 偏向了错误的一边?
Anthropic 用一句我觉得很中肯的话结束了这项研究:人类和 AI 之间的角色分工可以是“我们选择的东西,而不是我们逐渐滑向的东西”。而你如果要让你的助手给你总结这篇文章:也请带着一边眉毛抬起的表情阅读它的回答,它可能早就对这篇文章有自己的看法了!
来源
- Anthropic,2026 年 10 月 27 日:“How AI agents shape experts' judgment calls”,完整研究
- Unite.AI:分析师将判断交给 AI 智能体
- ThePrint:AI 智能体可能左右专家的意见
文章在 Claude Code 的帮助下写成,由我审阅和修正。




加入对话
您必须拥有一个账户才能评论这篇文章。注册免费,耗时不到一分钟。
目前没有评论。