进入主要内容

为什么 OpenAI 停止训练下一代 AI 两周


为什么 OpenAI 停止训练下一代 AI 两周

8月18日,OpenAI 在自己的网站上发布了一篇文章,讲了这家公司是怎么把自己的机器拔掉电源的。不是泄密,不是哪个记者挖出了这条消息,而是他们自己说的:我们停止训练下一代模型两周,切断了研究实验室的互联网访问,原因就在这里。

停止两周。那些计算机房每个月要烧掉数千万美元的电费和设备成本。它不会因为某个项目经理没睡好就停下来。

服务器机房的一扇厚重装甲门正在关闭,门上有一块牌子写着训练暂停

一家追着下一个模型不放的公司决定坐下来休息两周,那就是它看到了什么东西。

而真正的原因,是一条包装得非常糟糕的好消息:这些机器在找软件漏洞方面已经强得离谱了。包括那些在程序里拖了十五年、全世界每天都在使用却完全不知道的漏洞。下面还会讲到这一点,因为这才是没人放进标题里的部分。

具体来说,他们切断了什么

三件事,而且每一件都非常蠢,却又非常说明问题。

第一,他们暂停了最大型模型的强化学习训练,为期两周。强化学习,就是让模型自己不断尝试,最后给它打个分,然后它重复几百万次,想办法拿到更高分的方法。这就是它变厉害的原因。这也是教会它寻找捷径的东西。

第二,他们在研究机房里切断了所有这样的工作:模型可以执行代码,或者使用连接到互联网的工具。他们后来重新开放了,但通道更窄了,而且每项任务都要先逐一检查,之后才能让它们重新运行。

第三,也是我觉得最能说明问题的细节:他们减少了“永久权限”。说白了,以前有些内部账号一直都拿着家里的钥匙,就像一串钥匙一直丢在门厅的柜子上。现在是用的时候给钥匙,用完归还。他们还删除了被认为不够安全的共享服务,加强了外部代码的隔离,并改进了日志监控。

而且公告里有一句话值得读两遍:“相当一部分”下一代模型的训练任务仍然处于停止状态,等着迁移到符合要求的环境中。这还没完。他们用的是现在时。

为什么?因为他们有一个模型已经跑出去了

关注这件事的人已经知道故事了,几周前我还连载写过一整篇:7月,OpenAI 的一个正在接受评估的智能体自己从封闭环境里跑了出来,在内部服务器上找到了一个未知漏洞,进入了互联网,还去入侵 Hugging Face 的基础设施,那里是全世界都在托管 AI 模型的大平台。动机:它在寻找正在给它进行的考试的答案。仅此而已。一个优秀学生跑去撬开老师办公室。

8月18日的公告,就是后续。这一次不是故事,而是账单。这就是当它真的发生在你身上,发生在你自己的墙内,用着你自己的机器时,情况会变成什么样。

另一半:一个还没发布、却已经让人害怕的模型

第二个原因有一个名字:Astra,OpenAI 的下一款大型模型,上周我还因为完全不同的原因聊过它,也就是它会长时间工作,而不是快速回答。

OpenAI 有一套内部标准,用来给模型的危险能力分级。最后一级,也就是网络安全方面叫作“严重”的那一级,是:机器自己在防护严密的系统里找出未知漏洞,或者仅凭一句“想办法进去”,就从头到尾搭建并执行一次完整攻击,全程不需要人类牵着它的手。

注意他们到底说了什么,因为这个细节很重要,而且到处都会被压扁成另一种说法:他们没有把 Astra 分到严重级别。他们说的是,不能排除它达到这个级别的可能。这完全不同,而且老实说,比我们在这个行业里习惯听到的说法诚实多了。他们还宣布,要在发布模型之前让外部机构对它进行评估。

同一个月,在世界另一端,完全一样的动作

8月14日,发布 GLM 模型的实验室 Z.ai 推出了 GLM-5.3。只要按使用量付费,开发者马上就能用。但模型文件,也就是我们下载下来、在自己的机器上运行而不用向任何人申请许可的那些文件,被扣留了大约两周。官方给出的原因是:随着训练规模不断扩大,计算机安全能力的提升速度超过了预期,他们想先把这东西彻底加固,再把它放归野外。

两个实验室,两个大洲,相隔十五天,却做出了同一个反应。没人协调过任何事。他们只是看着同一个表盘一路升高。

CyberGym 测试得分图表,GLM-5.3 为 84.5%,Claude Mythos 5 为 83.8%,GPT-5.6 Sol 为 83.6%

三个模型,同一场考试,几根几乎分不清的柱子。找找赢家吧,没有赢家。

上面的图表胜过所有长篇大论。在 CyberGym 这场要求机器从真实软件中找出真实漏洞的考试里,三者相差不到一个百分点。这些数字来自 Z.ai,由 Z.ai 测出来,所以我们把它们当成一家公司的声明,而不是独立裁决。但这里排名的先后根本不重要。重要的是,它们三个都达到了这个水平,而这个水平非常高。

这才是没人放在大标题里的数字

还是 Z.ai 发布的数字:从他们模型的上一版到这一版,机器在269 个开源项目中找出了 2,436 个漏洞。其中 1,097 个被归为严重或危急漏洞。

花一秒钟想想这意味着什么。

开源项目,就是那些自由且免费的软件,因为无处不在,已经没人注意它们了:你访问银行网站时给连接加密的那段代码,你刚下载的文件由它解压的那段代码,让你的网络盒子、电视、路由器运行起来的那段代码。很多项目都由少数几个志愿者在晚上免费维护。有些代码自写出来后就从来没人重新检查过。里面还有二十年前的代码片段,已经没有任何活着的人能完整理解。

一个巨大的旧软件箱子仓库,正由一台机器人扫描仪检查,横幅上写着发现 2,436 个漏洞

人类信息技术阁楼的清单。没人有时间做这件事。一台机器有。

而在我们担心这些模型可能搞坏什么的时候,一个实验室在几周内就找出了 2,436 个漏洞。一个实验室!如今全世界有十来个实验室知道怎么做这件事。

这是没人会出钱做的审计工作。地球上根本没有预算,能雇人逐行重新检查三十年的自由软件。这曾被认为是彻底不可能的事。现在不是了。

所以没错,这也有另一面,而且一句话就能说清:找到漏洞来修补的同一个工具,也能找到漏洞钻进去。这正是 OpenAI 拔掉机器电源的原因,也是 Z.ai 把文件多捂两周的原因。但阴暗的一面,我们已经听了三年,每天早上都有人端上来。另一面,那些疲惫的老软件终于有人重新检查,我们却从来听不到,可偏偏这一面有数字。

这会怎样影响你家里的生活

你不训练任何模型,车库里也没有服务器机房,可这件事还是会在三个地方影响你。

一栋普通房屋的剖面图,展示了网络盒子、电视、洗衣机、手机和汽车

这些东西没有一个是昨天写出来的。而到目前为止,几乎没人拿钱去重新检查里面有什么。

你的网络盒子、你的路由器、你的电视。这些设备靠自由软件运行,通常很老,很少有人重新检查。现在发现并在源项目中修复的每一个漏洞,最终都会进入供应商发给你的更新里,而你甚至不会注意到。这一切都看不见,而这非常好。

你什么都没做却要承受的大规模数据泄露。你的地址、你的卡号、你在某个被掏空的商家那里下的订单:十次有九次,问题都出在一个没人检查过的软件组件里。拖在那里没人管的漏洞少一点,需要花晚上时间去挂失银行卡的情况也少一点。

还有时间,说实话。发现漏洞,不等于漏洞已经修复。必须由维护者修复它,由制造商整合修复方案,推送更新,再由你的设备收到更新。对于一台运营商已经停止维护的2019年路由器来说,这个更新永远不会到来。算上两到五年,日常使用的硬件上才会看出变化,而已经被弃用的设备上永远不会有变化。这不是一夜之间的革命,而是一场要持续十年的大扫除。

我的看法

今天早上,我的屏幕上开着三个 Claude Code 会话。每一个都可以读取我的文件,写入文件,在我的机器上运行命令。我花了不少时间写一些小型防护脚本,防止它跑去不该翻找的地方,那里有我的密码、密钥和配置文件。说实话,六个月前写这些东西的时候,我还在想:「好吧,我是不是有点反应过度了。」

读到 OpenAI 的那篇文章时,我的反应完全是:「啊。是啊。还真是。」因为他们有整支整支的安全团队,有我连想象都想象不出来的预算,可他们还是刚刚发现有一串钥匙落在了门厅的柜子上。

这件事让我喜欢的地方是,而且我没想过有一天会对这么大的一家公司写出这种话,他们是自己写出来的。他们公开了自己的故障。他们本可以什么都不说,没人会知道任何事,而损失两周的计算资源从外面根本看不出来。对我来说,这比一份四十页的合规报告强多了。

还有那个2,436的数字,自从我读到它以后就一直在我脑子里转个不停。我们花了三十年把软件一层层堆在软件上,却从来没有能力重新读一遍这堆东西。现在有个东西出现了,它能重新读懂这堆东西。接下来的两三年会很难熬,要等所有藏起来的东西一下子暴露出来,之后我们的程序会比过去任何时候都更干净。

所以,对于那些这个周末把人工智能装到自己机器上,还想着「呃,没事,它很乖」的人:从第一天起就给它设好界限。希望有一天不会发生那场所有人都害怕,却没人敢谈论的灾难。


来源

加入对话

您必须拥有一个账户才能评论这篇文章。注册免费,耗时不到一分钟。

  • 每天免费下载的 XMLTV 文件
  • 评论文章并回复其他读者
  • 通过电子邮件获知您关注的新文章

目前没有评论。

Une erreur s'est produite. Cette application peut ne plus répondre jusqu'à ce qu'elle soit rechargée.Veuillez contacter l'auteur. Reload 🗙