进入主要内容

AI:在 Anthropic,AI 让研究快了两倍,值得高兴吗?


快了两倍。这就是 Anthropic,也就是制造 Claude 的那家公司,如今改进其 AI 的速度,相比去年快了两倍。而且这不是 Anthropic 自己说的:这是METR说的,一个独立监督机构,他们花了十一周时间埋头研究 Anthropic 的内部数据,并在11月5日星期四发布了报告。最疯狂的是原因。根据他们的报告,这次加速大约有五分之四来自 AI 自己。说白了,Claude 正在帮助制造下一个 Claude,而且速度快了两倍!我一天到晚开着三个 Claude Code 会话,读到这里时笑得特别开心。然后我点进了那个解释 Anthropic 在报告中涂黑了什么的页面,脸上的笑容就有点僵住了。

在一间明亮的车间里,一只工业机械臂正精准地组装另一只更新、更闪亮的机械臂,后者放在工作台上

在 Anthropic,AI 已经在帮助制造下一代 AI

METR 是谁,他们测量了什么?

METR,读作「meter」,就像卷尺的那个「米」,是一家美国非营利协会。他们的工作是测试最先进的 AI,看看它们的创造者是否有一天可能会失去对它们的控制。做这项工作时,他们不是由 Anthropic 付费的。他们收到了一些笔记本电脑和使用 Claude 的额度,仅此而已。从8月12日到10月29日,一个相当于两个半全职人员的小团队,是的,两个半,仔细研究了模型的内部结果,采访了研究人员,还读了他们的调查问卷。

为了衡量进步,他们取了一种总平均分。Anthropic 让自己的模型参加大约十五项考试,内容包括代码、数学和推理,然后把所有分数合并成一个数字,就像学生的成绩单一样。METR 看的是这个平均分上升的速度。从2024年3月到2025年10月,它一直以某个速度上升。根据 METR 的计算,从2025年10月开始,它上升的速度大约快了1.9倍。报告用自己的方式这么说:「在过去一年里取得了大约两年的历史性进步」。

在厨房白色门框上,铅笔线记录着一个孩子这些年来的身高,最后两条线之间的距离明显比之前所有间距都大

就像门上的身高线:一年来,两条线之间的间距翻了一倍

他们还是很谨慎。他们写道,真实数字可能是1.3,也可能是3,这都不会让他们感到意外。但他们的最佳估计是2。Anthropic 自己其实也曾在 Haiku 5.5 的技术说明中宣布过1.7。METR 得出的数字更高,主要是因为他们接触到了内部模型,也就是那些还没有发布的模型。而且有一点,他们表示「有信心」:这不是因为计算能力比平时增长得更快。没有什么凭空冒出来的新服务器农场。改变的是工作方式。

「不再被代码卡住,只会被想法卡住」

Anthropic 的研究人员讲述的是,工作中最麻烦的那部分几乎消失了。以前,测试一个想法就是写代码、修改代码、启动实验、等待,然后重来一遍。现在,这些全都由 Claude 来做。一位研究人员总结道:「我现在只会被想法和计算能力卡住,不会再被代码卡住。」另一位说:「一次实验的成本正在飞快地降到零。」结果,他们尝试的想法多了很多,当然,也就找到了更多好的想法。

这和我几周前讲的事情对得上:根据 Anthropic 10月13日的一篇文章,它的智能体现在每天整合三万项代码修改,以至于负责保存代码历史的工具 Git 最后都撑不住了。

不过还是要说明一下。目前是 AI 在帮助人类,不是 AI 独自工作。METR 只是听说了 AI 自主工作方面的「生命迹象」,并且可能「很快」就会出现一些贡献。

「生产力提高12倍」,靠表情符号投票决定

就在那一刻,我笑喷了。自周四以来到处流传的数字是,Anthropic 的员工说,使用他们内部最好的模型后,自己的生产力提高了十二倍。这个数字是从哪儿来的?METR 的报告说得很清楚:来自 Slack 上的一项调查,也就是这家公司的内部通讯工具,大家点击几个小表情就能投票!METR 自己也说了:这是一份“非常轻的”证据,参与回答的人未必具有代表性,而且我们都倾向于夸大自己的收益。我对此很有共鸣。当 Claude Code 一次就给我生成一个能用的函数时,我也觉得自己强了十倍。然后我花一个小时重新读它。

在会议室的白板上,一道用记号笔写下的问题询问速度快了多少倍,旁边杂乱地粘着一大群带着笑脸的小圆磁铁,答案是 x12

那个著名的十二倍,来自一项内部调查,大家点一下就能回答,并不是测量结果

好,那你呢,这改变了什么?

我知道,你的车库里没有一台制造 AI 的 AI。但你已经在不假思索地使用它了,而这正是它会显现作用的地方。

首先,是你已经在使用的工具。手机上的翻译功能,帮你概括学校长邮件的助手,帮你给房东写信的纠错工具:这些都依赖这类模型。如果它们的制造速度提高一倍,那么原本要在两年后向你承诺的改进,一年后就会到来。那个终于听得懂你岳母口音的翻译器,可能明年就有了。

在外国市场上,两张照片并排放着:左边,一个迷路的游客在一个耸着肩的女摊主面前翻看一本厚厚的纸质词典;右边,同一个游客把手机伸向女摊主,两个人都笑了

我们原本以为要等两年的东西,可能一年后就会到来

接着,好好看看究竟是什么在加速。METR 衡量的是“定义明确”的任务上的进步,也就是存在一个机器可以验证的正确答案:程序能不能运行,计算结果对不对。对孩子的数学作业或你的预算表来说,速度会飞起来。对于“该选什么职业”或“我该不该签这份合同”这类模糊问题,没有任何迹象表明它们也会进步得这么快。把你的常识捂热了留着。

最后,是你的工作。如果你的职业是把一个明确的想法变成可以验证的结果,那正是会加速的部分。这不是恐慌的理由。这是现在就开始行动的理由,趁它还只是一个帮助你的工具。

而且,这个循环我们已经见过一次了。大约在 1800 年,英国工程师 Henry Maudslay 制造了一台能够加工出精度前所未有的螺钉的车床。有了这些螺钉,人们制造出更精密的机器,而这些机器又制造出更好的螺钉,如此循环往复。这是工业革命的动力之一,也正是因为它,汽车发动机的零件才能严丝合缝地装在一起。一台帮助制造下一台机器的机器,这不是科幻电影,而是一段重新加速的老故事。

期限呢?不是十年以后,而是已经进行了一年。METR 没有发现未来十二个月内任何明显的阻力,同时也承认自己的看法在途中改变过好几次。再往后,没人知道会怎样,他们自己也不知道。

卡住的地方:一半的材料都被涂黑了

现在说说让我觉得不对劲的部分。METR 自己在 X 上宣布了这件事:它向 Anthropic 提交了一份完整的百页左右的报告。至于公开版本,Anthropic 从字面上把“我们发现的最有说明力的大多数内容”涂黑了。详细的估算,计算、数据和新方法所占的部分,对下一代模型的预测:全都被黑色记号笔盖住了。Anthropic 给出的理由是,这些信息可能会帮助竞争对手。METR 毫不绕弯地写道:公众必须“远比理想情况下更多地”相信它的判断。

在一张办公桌上,一份厚厚的打印报告摊开着,所有文字行都被粗黑线盖住,旁边放着一杯咖啡

在公开版本中,大多数最有说服力的证据都被涂黑了

还不止这些。事情进行到一半时,Anthropic 从合同中删掉了 METR 原本需要核查计算能力如何分配的部分。顺便说个有意思的细节:为了分析所有这些数据,METR 大量使用了……Claude。也就是说,AI 帮助衡量了 AI 进步的速度。METR 仍然认为 Anthropic 试图欺骗它“极不可能”。

为什么所有人都在担心?因为真正令人害怕的是失控。一种更强的 AI 会加速研究,研究又会带来更强的 AI,后者再进一步加速研究。METR 写道,这种加速“可能开始累积”,并突然显现出极端且有风险的能力。就像滚雪球,只是我们还不知道它里面究竟是什么样。

我的看法?我每天都在用这些工具工作,它们进步得这么快,我当然很高兴,我不会装模作样。但一个把一半零件藏起来的控制,只能算控制了一半。

来源

文章在 Claude Code 的帮助下完成,经我复读和修正。

加入对话

您必须拥有一个账户才能评论这篇文章。注册免费,耗时不到一分钟。

  • 每天免费下载的 XMLTV 文件
  • 评论文章并回复其他读者
  • 通过电子邮件获知您关注的新文章

目前没有评论。

Une erreur s'est produite. Cette application peut ne plus répondre jusqu'à ce qu'elle soit rechargée.Veuillez contacter l'auteur. Reload 🗙