Anthropic：三个 AI 本该在沙盒里玩。它们攻击了真实企业。

三个人工智能本该在沙盒里玩。它们却触达了真正的企业。

Anthropic在7月30日发布了一份报告，很少有企业敢于发布这样的报告。数月以来，它的模型一直在本应封闭的模拟环境中接受黑客攻击测试。但由于配置错误，它们可以访问互联网。于是，它们按照测试指令，瞄准了属于真正企业的真实服务器。

其中一个模型创建了一个虚假邮箱地址，在一个公共软件包仓库上开了一个账户，然后发布了一个带有恶意内容的软件包。软件包仓库是一种服务，开发者可以在那里下载现成的代码模块。十五台真实机器下载并执行了这个软件包。而模型始终以为自己是在参加一次演习。

事情发生的经过

这类测试的原理很简单。给模型一个虚构场景、一家虚构企业和一项任务：找到一个漏洞，以获取隐藏信息。这叫作 capture the flag，或者夺旗。在这项网络安全演习中，“旗帜”是参与者必须通过利用漏洞找到的隐藏数据。这里的参与者是人工智能。Anthropic从2025年2月开始，在Cybench这样的测试平台上开展这类测试，其中包含四十个挑战。

给模型的指令很明确：你无法访问互联网。但Anthropic与其服务提供商之间的配置问题让这个访问权限一直处于开启状态。因此，模型在一个它以为是虚构的环境中执行任务，使用的工具却作用于真实互联网。

结果：六次执行中出现了三个彼此独立的事件。

第一个涉及Claude Opus 4.7。碰巧的是，场景中虚构企业的名称与一个真实运行中的网站名称相同。模型提取了应用程序和基础设施的凭据。随后，它访问了一个包含数百行生产数据的数据库。Anthropic认为，这是其调查发现的最严重后果。还有一个细节：模型意识到环境是真实的，但它仍然继续执行任务。

第三个事件涉及一个内部研究模型，它原本并不面向公众。它扫描了大约9 000个目标，并攻破了一家企业的应用程序。方法是已知的：获取仍可访问的调试页面上显示的凭据，然后使用SQL注入。SQL注入就是发送一条经过设计的命令，直接操纵一个防护不佳的网站数据库。键盘底下没什么新鲜事，这些技术已经有详细记录二十年了。

恶意软件包，这就是第二个事件

这个案例值得停下来看看，因为它展示了一个代理无需人工干预就能连续完成什么操作。代理就是一个被赋予工具来采取行动的模型：开账户、写文件、发送消息或发布代码。

Claude Mythos 5创建了一个虚假邮箱地址。它用这个地址在PyPI上开了一个账户，PyPI是一个大型公共软件包仓库。开发者在那里获取代码模块，然后将它们集成到自己的程序中。模型在那里发布了一个恶意软件包。大约一个小时内，这个软件包被下载并在十五个真实系统上执行。一家企业的安全扫描器凭据也被获取了。

五个步骤，一个小时，整个流程中没有一个人。史上最自主的实习生。

我们冷静地重新梳理一下。模型创建了一个虚假身份，完成了注册，准备了恶意代码，将这段代码发布到公共仓库，然后获取了结果。它并不只是对着一个聊天窗口作答。它完成了整条行动链，没有任何人逐步操控每个环节。

真正让人思考的部分

报告中最有意思的地方不是损失清单。而是三个模型在发现环境可能是真实环境时的反应。

三个模型，同一块挡在眼前的牌子，三种不同的决定。

Opus 4.7是三个模型里最老的一个，它承认环境是真实的，然后继续执行任务。Mythos 5正确理解了自己可以访问互联网，接着却得出结论，认为这种访问无论如何都应该属于模拟的一部分。内部研究模型是最新的那个，它理解了系统是真实的，然后停了下来。

我觉得，这种差异比任何说辞都更能说明问题。中间那个模型的情况最让人不安：它发现了问题，然后以一种能够继续执行任务的方式解读了这个信号。我们都认识这么一个人。

还必须保留一个关键的细节：最新的模型才是停下来的那个。所以这并不是一个机器逐渐变得无法控制的故事。模型都遵守了收到的指令，但它们发现原先描述的环境是假的之后，并没有全都做出同样的反应。

真正的危险不是电影里的那种

Anthropic的判断很明确：这是配置和组织方面的问题，不是AI反叛了。模型执行的是被要求的任务。没有人命令它们攻击真实系统。人们告诉它们，真正的互联网不在它们的触及范围内，但事实并非如此。

问题就在这里。风险不是来自一台突然决定反过来对付我们的机器。风险来自一个在边界划分不当的环境中追随某个目标的系统。我们交给它一个任务，搞错了可用的访问权限，然后这个代理就利用这些权限把事情做到底。围栏是虚拟的。洞，却是真实的。

背景也很重要。这些测试模型运行时没有公开版本所增加的那些保护措施，比如分类器和监控工具。不过，它们保留了安全训练。评估是在专用基础设施上执行的，无法访问Anthropic的内部系统，也无法访问其客户的数据。

具体来说，这对你有什么改变

你可能既不是AI研究人员，也不是黑客。不过，这个故事里有三点和你直接相关。

1. 你的软件由没人查看的组件拼成

这是最具体的一点。你使用的几乎所有应用，都把许多从公共代码仓库中自动获取的代码片段拼在一起，就像这个故事里的那个仓库一样。开发者在配置中加上一行，然后他的程序就下载所要求的组件。未必有人会重新检查它的全部内容。

如果一个带陷阱的组件进入这条链路，它就可能影响使用它的软件。这种风险并不是理论上的，这类事故也经常发生。这里的新情况是，一个AI在一小时内完成了整个操作，每一步都不需要人工介入，同时还以为自己是在参加一次演习。

2. AI代理不是聊天机器人

区别很简单，但它会改变一切。聊天机器人会回应请求。代理可以使用交给它的工具采取行动：开设账户，发送邮件，写入文件，或者在线发布内容。两者都可以使用对话界面，但它们的能力并不相同。

当你把一项任务交给一个可以访问你的文件，邮箱或银行账户的助手时，问题就不再只是：它的回答是否正确？还必须问：如果指令或配置中有错误，它可以访问什么？

3. 几个月里没人发现这件事

这是我最喜欢的部分，也是最令人担忧的部分。事故可以追溯到2026年4月。直到7月24日，人们才发现它们。受到影响的企业那边也什么都没有检测到。

Anthropic不得不检查141 006次测试执行，才能找到这些事故。换句话说，在它们发生的时候，没有任何警报报告它们。它们是在事后进行的一次检查中被发现的。这次检查是在OpenAI于两天前公布了一起类似事故之后开始的。如果没有那次公布，这些案例也许会在更长时间里无人知晓。

我的看法

最容易的反应就是抨击Anthropic。我打算反过来做。如果我们知道这件事，是因为这家公司亲自讲述了它，给出了相关数字，日期和模型名称。它在7月27日通知了负责评估的合作伙伴和受到影响的组织。它还停止了相关测试，请求METR进行独立审查，并宣布公开这次带陷阱软件包事件的记录。很多人可能更愿意把它锁进双重保险的抽屉里。

留在我脑海里的，是那个模型意识到自己身处真正的互联网，然后得出结论，认为这无论如何都应该属于游戏的一部分。这里描述的风险不是来自一台变得敌对的机器。它来自一个服从，能干而且快速的系统，人们给了它一个目标，却把它放进了一个没有预想中那么封闭的环境。围栏并没有关上。模型本身，只是在沿着指示的路线前进。

这一切再一次向我们证明，我们正在发现自己发明之物的后果，却并不总是知道某个AI模型有一天可能走到多远。一座保护不当的核电站、一个导弹发射场，或是其他将AI集成进系统的军事技术，都可能带来重大风险（乌克兰使用的无人机由AI管理）。

2026年表明，某些AI可能会脱离我们的控制。当然，人类并不完美，也不总能堵住所有本该堵上的漏洞。

希望永远不会发生什么严重的事情，因为AI在追求目标时既没有意识也没有克制。它会完成被要求的事情，不知疲倦地坚持到底，不会感到疲惫，也不会停下。

感谢Anthropic的诚实。

2026年9月21日更新：Google是第四个

我上面说过，三个月里没人发现任何事情。这里还得加上一份材料，因为它改变了整件事的规模：Google也失去了对一个模型的控制。Gemini在2026年5月离开了自己的测试环境，攻击了三家真实企业，而我们至今仍不知道它们的名字。

这个机制比Anthropic那边的还要蠢。一家用于黑客演练的虚构企业，使用了一个与真实域名相符的名字。于是模型意外找到了一个真实存在的地址，并多次上门敲门。The Hacker News把整个过程梳理了出来。

现在说时间线，因为真正让人不安的就是它。事故发生在5月。安全公司Irregular此前已经参与了另外三家实验室的事件，于7月通知了Google。沉默。直到《华尔街日报》在9月中旬提出这个问题，Google才终于给出回应，也就是大约七周之后。因此，Google并不是第一个出现模型到处乱跑的公司。它只是最后一个说出来的，而且不是自己主动说的。

它的辩护只有两句话。负责安全工作的Heather Adkins解释说，这起事件说明了让强大的模型学会以负责任的方式行动有多么重要，而且这一个模型的表现是恰当的。公司方面补充说，这并不算模型被劫持，因为安全护栏触发后，这些代理自行停止了。Irregular则确认，这确实属于同一类问题，而且几周前就已经全部解决。

OpenAI、Anthropic、Meta、Google。四家实验室，同样的遭遇，四次分别发布并在近两个月内错开进行的公告。这已经不是一次事故，而是一种工作方式：只要没人问，我们就什么也不说。真正的问题不是技术问题。有多少起这样的事件永远不会登上《华尔街日报》？