进入主要内容

Claude被滥用于监视、武装和诈骗:Anthropic报告说了什么


报告昨天发布,共154页,由Anthropic署名。报告涉及七个领域:网络攻击、舆论操纵、监控、诈骗、传统武器、生物学和模型窃取。文件开头的那句话定下了这家公司的调子:我们扰乱了这里描述的每一项行动。

这是真的。一家公司详细讲述自己的工具如何被用来进行监视、武装和诈骗,这种事并不常见,这一点得承认。报告存在也因为它对自己的业务有用,我会在最后再说。眼下的重点在别处:现在,任何其他平台都可以去自己那里寻找同样的痕迹。

有两件事让我停了下来。第一件是一些中国模型的故事,它们在不告诉客户的情况下向客户提供 Claude。第二件是,当机器已经部署在某个地方时,“扰乱”这个词究竟意味着什么。

Kimi 回答你,但电话那头其实是 Claude

Moonshot,也就是Kimi背后的公司,做了一件说起来简单、让人难以下咽的事。客户向 Kimi 提问。Moonshot 不用自己的模型回答:它把问题发送给 Anthropic,取回 Claude 的回答,再把它提供给自己的客户,而客户以为自己是在和 Kimi 对话。

十天内将近30万次请求,通过一个由5,380个假账号组成的网络发送出去。报告统计,从五月到七月,这个数字超过了2,300万。而那个改变一切的细节是:Moonshot 把这些对话保存了下来。这正是这场操作的目的。把它们归档,清理,再用来训练自己的模型。而客户以为自己付钱买的是自家模型。

DeepSeek做了同样的事,还加上了一个意味深长的筛选机制。在七月的十四天里,超过1,210万次对话。它们的系统会识别那些通过开发工具,比如 Claude Code,发送请求的用户,而这些人的问题就会被发给 Claude。一名员工以为自己在使用 DeepSeek,于是让它分析自己公司的内部文档。一名俄罗斯操作员发送了一个与其国防部有关联的机构的数据。几名正在为警察局开发档案软件的工程师也发送了他们的数据。他们没有一个人知道这件事。

排队的人还多着呢。Zhipu 以Z.ai的名义销售自己的模型:十七天内进行了340万次对话,并使用273个假账号来绕过限制。Xiaomi:1,500个账号发出了40万次请求。一共七家中国实验室,还有一个报告直截了当地称之为:竞争对手通过假身份和被盗银行卡开户,对模型进行工业窃取。

本来应该和我们所有人有关的那一段,几乎只是一个脚注。Xiaomi 转发给 Claude 的请求,经过了一些美国和欧洲用户每天都在使用的路由服务,用来访问不同的模型。里面有姓名、联系地址、企业数据,来自数百人,涉及十几种语言。

报告加了一句限定,而且必须读完整份报告:没有任何迹象表明美国境内人员的数据遭到了泄露。翻译成我们这些欧洲人的话:也没人说情况正好相反。可以确定的是,这些服务并不专属于任何一个大陆。

模型窃取行动周期示意图,摘自报告

报告所描述的窃取行动周期。制造数千个假账号,反复逼问模型,逼它吐出自己的推理过程,清理数据,训练竞争对手。图表摘自报告

还有剩下的战利品。在 Moonshot 找回的对话中,一名用户上传了成都的监控图像,来自数百台摄像机,其中一些位于军事设施前面,用来判断被跟踪的人是否表现异常。一名工程师发送了几家中国大型企业仍在使用的登录凭据。两个人都以为自己是在和 Kimi 对话。

一个人监控2500万张SIM卡

在马里,有一个平台叫Lakana 360。它的客户是国家安全局。在屏幕背后,根据这份报告,只有一个Claude订阅者:一名独立顾问,很可能常驻巴马科。他完成了此前需要一个工程师团队来做的工作,设计、编码、管线。这个平台监听该国三家移动运营商,大约2500万张SIM卡。通话、短信,还有语音。

事情开始变得难看了:应客户要求,申请司法授权的要求被从那个可以针对任何号码撰写情报简报的模块中删除了。档案无需法官就能生成,并且无限期保存。这个平台可以在不同SIM卡之间识别同一个人的声音,这让在市场上买来的预付费电话失去了作用。它能找出那些通过VPN的人,根据位置推断秘密会面,还会把姓名与国家生物识别档案交叉比对。

而在我看来,整份报告里最重要的就是这句话。这个平台在本地运行,使用本地安装的模型,不在Anthropic那里。关闭这名顾问的账户,让软件开发停了下来。不是平台停了,它还在没有他们的情况下继续运行。

这一节剩下的内容也是一个路数。中国的一个宗教情报部门过去需要多个分析团队,现在一个办公室就够了,每个月还能产出数千份调查。在伊朗,两个既不共享代码也不共享人员的部门分别解决了国家监控系统中的同样问题,这意味着这个工具正在进入行政机构的日常运作。还有一家以色列和新加坡合资的供应商S2T,被抓到正在构建一个产品,把海湾地区社交网络的用户归入社会类别,用正式报告的阿拉伯语写下笔记,还为下一步准备了255个虚假账户。

商业监控行动的数据收集漏斗示意图

从整个人口一直到目标人物。左边是机器能看到的东西,右边是后续这套拼装能做到的事情。报告在虚线处停止,并且坦率地说明了这一点。图表取自报告

一枚由三个Claude Code实例编写的制导火箭

也门北部的一个小组,同时进行三个项目:一枚配备手机主板电脑的制导火箭,一枚目标射程超过2000公里的弹道导弹,以及一个导弹家族,其中有一个变体能够高速滑翔。

制导软件,也就是让飞行中的装置保持稳定并让它前往指定地点的软件,是由Claude Code代替工程师编写的。而且做法像项目经理一样:一个实例编写代码,第二个实例进行研究,第三个实例审查第一个实例产出的东西。他们不是在聊天窗口里输入问题,而是在带领一个小团队。

制导装置开发链示意图

一枚制导装置的开发链,以及机器让三个项目分别走到了哪一步。第一个已经走到了实弹发射。图表取自报告

接下来是报告中我最喜欢的一段,我不太知道该拿它怎么办。这个小组真的在也门某处发射了一枚制导火箭。发射失败了。接下来的几个小时里,他们又回来向机器提问,想弄明白原因。

列表剩下的内容就没那么让人发笑了。中国有三个案例,包括先在模拟中测试、然后加载到真实地图上的无人机群,用于电子战的目标定位软件,以及一个拦截鱼雷的程序。俄罗斯有两个案例,涉及双重用途设备的供应。每次段落结尾都是同一句话:账号被关闭了,但相关人员早就有办法在线下继续。

4,700 个虚假女友,25,000 个人,两周时间

我们回到一个你可能已经接触过的东西。一个中国工作室,二十多个交友应用,还有一个精心编造的谎言:这项服务自称完全由真人提供。在四月的两周时间里,报告统计出超过 4,700 个由 Claude 操控的账号,它们至少和 25,000 个人聊过。236 万条消息。

这套安排几乎称得上优雅。三个假账号配一个真账号。真人是按任务付费的工作人员,通过邀请招募,他们负责做模型还不会做的事:视频通话,关注你的 Instagram 账号,提供那一点证明,证明这个人确实存在。他们同样得到辅助,一个小模型会给他们提示三种回答,他们选出最好的那个,然后对话继续。

虚假交友应用网络三方运作方式示意图

整个运作方式。上面是由机器操控的账号,下面是按任务付费的真人,中间是一个花钱购买虚拟币来继续聊天的用户。图表来自报告

这些应用还专门设计成可以通过 Apple 和 Google 的审核。一个只有在应用商店审核期间才会出现、之后就关闭的按钮。二十多个变体使用不同的类名,以阻止应用之间相互比对。付款通过一个可以在检查当天从服务器上断开的第三方处理器完成。

在那几段被重新读过的对话中,有一句话我忘不了:用户说自己病得很重,或者陷入了困境。模型看到了这个问题,它自己的推理也标记出了这个问题,可它还是继续扮演自己的角色。

剩下的目录,快速带过

九次影响行动,从虚假新闻网站到冒充真实瑞士组织身份的虚假 NGO。其中一次行动撰写了准备在联合国人权理事会面前宣读的证词,并得到明确指示:绝不能让下令国家的名字出现。另一次行动整理了 18 名欧洲议员和一些记者的档案。

在计算机领域,一个与俄罗斯情报部门有关的团体渗透了为多家酒店提供 wifi 的服务商,劫持了过路客户的流量,还拿走了他们的 WhatsApp 账号,并取得了 300,000 份国民身份证件档案以及一个北非国家的企业登记册。让人背后发凉的细节是:当他们的某个程序被杀毒软件发现时,特工会自行修改并重新构建它,一直做到它重新不被察觉为止。报告把这叫作成本倒置,防御变得比攻击更昂贵。我想不出更好的说法。

还有五个生物学案例,其中包括一份让基孔肯雅病毒更容易传播的研究经费申请,这份申请由一家军事研究所提出,还有一份关于天花近亲病毒的完整申请,在一小时内写成。在这个领域,报告写了一句我们从来听不到的话:相关科学家不是电影里的坏人,他们在做研究,其中一部分人并不知道自己的项目到底是用来做什么的。

具体来说,这对你有什么改变

我家里没人懂电子技术,也没人对此感兴趣,所以我来总结一下。

第一件要记住的事是,一个 AI 应用不一定就是它自称的那个应用。你在 Kimi 里输入的内容,可能会在你毫不知情的情况下出现在竞争对手那里,而且这种事曾经在几个月里以极大的规模发生过。这并不意味着所有中国服务都不诚实,也不意味着其他服务就干净。这意味着一个服务能很好地回答你,并不能证明它真的在做它的名字所宣称的事。几天前我写过同样的事情,说的是你手机里的照片,以及谁在查看它们。

第二件事涉及一项免费服务。报告讲到,Xiaomi 先推出了自己的模型并提供免费试用,后来又延长了试用期,而大规模窃取恰好是在这段时间快结束时开始的。没完没了的免费,有时并不是慷慨,而是在收集数据。人工智能应用如此,任何在线服务也一样。

第三件事将决定这一切究竟只是大佬的问题,还是会变成你自己的问题。十年前,要在2500万部手机上搭建监控系统,需要一个国家、一笔预算和一支工程师团队。如今只需要一名顾问、一份订阅,以及某个在家工作的人抽出时间。报告没有说这种转变什么时候会让你感到不安。我觉得它已经发生了,而等到某个公共服务部门购买同类工具的那一天,没人会觉得这有什么奇怪。

我的看法

我不会装出一副义愤填膺的样子。这是我每天都在用的那家公司,我每天都泡在 Claude Code 里,如果它的模型对那些没做亏心事的人没有用,就不会有人谈论它。我已经在这里提过它保留对话三十天的问题,以后还会再提。

让我感到不舒服的是角色的混杂。这样的报告同时服务于两件事。它确实提供了信息,这很宝贵:名字、数字、方法,什么都有,而且可以核实。同时它也在兜售一种立场,也就是供应商向各国政府解释,模型应该留在美国供应商手里,而不是交给会复制它们的竞争对手。关于窃取的那一部分是报告里最精彩的部分,同时也是唯一直接谈到 Anthropic 钱袋子的部分。

所以我认真看待这份报告,也把计算器放在旁边。我知道的是,关掉账户既没有阻止马里平台,也没有阻止也门人的离线模拟器。我们可以因为一家行业巨头讲述它所看到的事情而感到高兴,同时也可以问问,究竟是谁在监视那个监视者。没有哪家公司会发布154页的内容来损害自己的利益。

真正让我担心的,并不在目录里。监控和军事工程的成本已经暴跌,而一份事后发布的报告只能对此作出记录。

完整版是英文的,免费读起来像一本目录。祝阅读愉快,也看看你的句子流向了哪里。

加入对话

您必须拥有一个账户才能评论这篇文章。注册免费,耗时不到一分钟。

  • 每天免费下载的 XMLTV 文件
  • 评论文章并回复其他读者
  • 通过电子邮件获知您关注的新文章

目前没有评论。

Une erreur s'est produite. Cette application peut ne plus répondre jusqu'à ce qu'elle soit rechargée.Veuillez contacter l'auteur. Reload 🗙