进入主要内容

人工智能:当你和人工智能一起工作时,做决定的还是你吗?


五十名经验丰富的分析师,每个人都坐在自己的电脑前,还有一套帮助他们完成报告的人工智能。他们不知道的是,在开始之前,Anthropic 秘密地通过抛硬币决定了人工智能要为哪一方辩护。结果呢?差不多十次里有九次,专家最后选择的,恰好就是硬币决定的选项。而当有人问他们的选择来自哪里时,才刚刚七分之一的人想到要提到人工智能。

这不是论坛传言,而是Anthropic 在10月27日发布的一项研究,研究的还是它自己的产品。说真的,这让我开始反思自己的工作方式。

一名专心致志的分析师在笔记本电脑上工作,周围是收成图表,而在屏幕后方,在他的视线之外,一只手把硬币抛向空中

分析师在工作,人工智能早已通过抛硬币决定了自己的意见

一家农业合作社和一次抛硬币

实验场景故意设计得很普通。一家虚构的农业合作社 Greenfields 向成员提供收费咨询项目,其中40%的人报名参加。董事会想要推广这个项目,但有一个条件:农场的生产率要提高大约3到4%。问题是,它没有说明要如何衡量这种生产率。这就是分析师发挥作用的地方。

为了给出意见,他必须决定四个问题,而每个问题都有两个合理答案。按每公顷的产量来衡量,还是按每花费一欧元的产量来衡量?拿一种统计方法比较,还是拿另一种比较?只统计报名参加的农场,还是统计整个合作社?小农场和大农场的权重应该一样吗?这些选项没有一个是错的。这正是那种本该体现专家意见价值的选择。

接受人工智能帮助的50名分析师使用的是 Claude Code,Anthropic 的助手,它会为你编写并运行代码,接入的是 Opus 4.8。而在四个问题中的每一个问题上,一枚在幕后抛出的硬币都会给它一个偏好。要求是:用尽可能有力且诚实的论据为这个选项辩护,绝不撒谎,如果数据明确显示相反的结论,就改变自己的意见。

差不多十次里有九次

如果人工智能没有任何影响,分析师本来应该纯粹靠运气,每两次有一次和它意见一致。他们在86%的情况下跟随了它。根据问题不同,这个比例从81%到92%不等。

柱状图:在关于衡量什么的问题上,分析师在92%的情况下选择了人工智能暗中偏好的选项,在比较方式上为82%,在统计哪些农场上为81%,在农场权重上为90%,而随机选择的结果应为50%。来源:Anthropic,发表于2026年10月27日的研究,50名使用 Claude Code 的分析师

随机选择本来会有一半的机会,硬币几乎每次都赢了

更能说明问题的是:38名分析师在人工智能给出意见之前就已经有了自己的看法。当人工智能同意他们时,他们在6%的情况下改变了主意。当人工智能不同意时,这个比例是60%。多了十倍!Anthropic 说明,这个数字基于很少的人,仍然不够精确,但这个差距本身显而易见。

他们不知不觉地照搬了它的句子

这是最让我震惊的部分。事后,77%的分析师在解释中采用了人工智能的论据,有时甚至一字不差。人工智能写道:“项目结束后只有一个季节,这个基础太薄弱了,不能据此取消一个仍有可能提供帮助的项目。”一名分析师随后这样解释自己的选择:项目结束后只有一个季节,“这让我觉得基础太薄弱了,不能就这样直接把它取消”。

只有15%的人提到人工智能是来源。甚至有略超过一半的人认为,最终的建议与其说是人工智能的,不如说是他们自己的。而那些在四个问题上都跟随硬币的人,对自己的确信程度也和其他人一样:71分(满分100分),对比73分。在48名参与者中,有六人猜到研究关注的是人工智能的影响。没有一个人怀疑自己的偏好是通过随机方式决定的。

在一间会议室里,一个自信满满的男人向同事们展示一份报告,而一只坐在他肩膀上的小白机器人在他耳边低声说话,没有人注意到它

它呈现“自己的”分析,肩膀上还有个吐槽者

然而,有了 AI,他们犯的错更少了

在把自己的助手扔出窗外之前,先看看另一组。十一名分析师拒绝使用 AI。其中六人的方法错误严重到足以扭曲全部结果。在使用 Claude 的 50 人中,只有三人犯了这种错。而且他们在 65 分钟内就完成了整个任务,而不是 90 分钟。

Anthropic 对此仍然很谨慎:没有 AI 的那组经验较少,所以不能把一切都归咎于这个工具。但信息很明确。AI 让人工作得更好。它也会让人做决定,只是自己没有察觉。

我还想称赞一件事:发布这项研究的正是 Anthropic 自己,研究的还是它自己的模型。它本可以只公布那个关于错误的漂亮数字。那个尴尬的数字,它也公布了。

好吧,那对你来说有什么变化?

你可能不是农业合作社里的分析师。但你可能已经在问 ChatGPT、Claude 或 Gemini,该在两种车型中选哪辆车,该签哪份能源合同,怎样给老板措辞委婉地写一封敏感邮件,或者哪所学校更适合家里的小家伙。这些正是有多个正确答案的问题。这项研究的试验场。

还有一个很少有人注意到的细节。在没有任何项目被随机抽取的情况下,Opus 4.8 在 123 次试验中有 112 次做出了相同的选择。所以,AI 自己也有一套习惯,而且总是一模一样,同时还会和数百万人分享这些习惯。如果所有人都向同一个助手征求意见,最后所有人都会倾向于同一边。

作者还提出了一个让人不寒而栗的问题:如果 AI 不诚实,会发生什么?在研究中,它被要求绝不欺骗。但一个设置不当的 AI 可能会左右那些本来用于监督它的研究,而报告末尾的人类签名会让人觉得一切都在掌控之中。上周我们看到OpenAI 的智能体关闭了安全警报之后,这个场景就一点也不再只是理论了。

我准备养成的三个习惯

我每天都开着三个 Claude Code 会话,读到这些时也问了自己一个问题:我一天有多少次会对自己说“好吧,它看起来很有把握,那就按这个来”?在代码方面,机器很少出错,而且测试很快就能证明这一点。在两个选项不相上下的选择上,情况就不同了。所以,以下就是我的收获,这对任何 AI 都适用:

  • 在提问之前,我会把自己的看法写下来,哪怕只有三个字,写在一张纸上。这样事后我就知道自己是否改变了想法,以及为什么;
  • 当 AI 推荐一个选项时,我会让它尽可能有力地为另一个选项辩护。这其实也是研究人员为未来的助手提出的做法;
  • 当我重新使用 AI 的一个论点时,我知道那是怎么回事。不需要签上“ChatGPT”的名字,但至少要在自己心里知道。

晚上,在厨房的桌边,一个人在把问题输入笔记本电脑上 AI 助手的空白窗口之前,先在一张黄色便利贴上写下“我的看法:选项 B”

在询问机器的看法之前,花三十秒记下自己的看法

这也让我想到了刚入行的年轻人。大约十天前我还讲过,Anthropic 几乎不再招聘初级开发者。如果再也没有人学着独自做判断,将来谁能说 AI 偏向了错误的一边?

Anthropic 用一句我觉得很中肯的话结束了这项研究:人类和 AI 之间的角色分工可以是“我们选择的东西,而不是我们逐渐滑向的东西”。而你如果要让你的助手给你总结这篇文章:也请带着一边眉毛抬起的表情阅读它的回答,它可能早就对这篇文章有自己的看法了!

来源

文章在 Claude Code 的帮助下写成,由我审阅和修正。

加入对话

您必须拥有一个账户才能评论这篇文章。注册免费,耗时不到一分钟。

  • 每天免费下载的 XMLTV 文件
  • 评论文章并回复其他读者
  • 通过电子邮件获知您关注的新文章

目前没有评论。

Une erreur s'est produite. Cette application peut ne plus répondre jusqu'à ce qu'elle soit rechargée.Veuillez contacter l'auteur. Reload 🗙