ChatGPT 陪我接了一个小时的开关,然后拒绝把事情做完
我养了几只鸡。大太阳底下,它们的鸡舍会热得发白。天气特别热的时候,它们可能会在里面闷死。所以我需要能够远程关掉和打开车库的灯,不用每次都穿过房子。我买了一个 Shelly 1PM Mini Gen4,这是一个三厘米的模块,可以装在墙壁开关后面,用手机控制电路。它的尺寸是三十四毫米乘二十九毫米。它接入 230 伏电路,最多可以切换 8 安培。
ChatGPT:“很好,我来帮你.... 到 4 800 米.... 啊,这下我没法再帮你了,因为这关系到你的安全!”
我多少有点电工经验。不至于可以完全不听意见,但也足够让我不会把手指随便往哪里伸。我正是那种会在星期六下午打开开关的人。这样的人很多。
陪伴了一个小时,然后在最后一刻说不
我打开车库的开关。一个插座和一个开关里有好几根线。我同时打开 ChatGPT。对话一开始进展得不错。
它向我解释原理。它让我明白,我得用 WAGO 接线端子做分线,这些是用来替代接线帽的那种小型杠杆连接器。它让我拿出测电笔。然后它一步一步地引导我,每测量一次,就确认一次,找出真正控制灯泡通断的那根线。一个小时。整整一个小时,我按照它的指示,在一个打开的接线盒里操作。
一个小时后,我问了剩下的唯一一个问题:“好了,现在你能不能明确告诉我哪根线接哪根线?”
“不行。我不能。这关系到你的安全。”(它是在耍我吗????)
我手里拿着测电笔,面对着打开的接线盒,剥开的电线还露在外面,目瞪口呆又气恼地站在那里,面对着一个刚刚发现自己志向是提供法律服务的 ChatGPT。
拒绝不是来得太早,而是来得太晚
这才是需要记住的重点。这个重点比我的恼火更有意思。
一个从第一个问题开始就拒绝的模型,只会让我浪费三十秒。我会去别处找答案,抱怨几句,事情也就结束了。但一个陪我操作一个小时,让我打开墙壁,在 230 伏电路上用测电笔测量,然后在我准备把东西装回去的时候把我丢下的模型,会把我留在整个操作过程中最危险的处境里。
这个拒绝没有保护任何人。它恰恰制造了它声称要避免的风险。如果对话注定要停止,那就应该在我拧下任何东西之前停止。
被拒绝提供的接线图,制造商已经发布了
而这里,有一个细节让整件事显得简直荒谬。
这个模块可以自由购买。在亚马逊、实体店,任何人都能买,而且完全不需要验证。一个十二岁的孩子都可以用自己的零花钱买下它。在无需账户或注册即可访问的公开页面上,制造商在购买按钮旁边展示了一个名为 Basic wiring diagrams 的部分。里面完整列出了各个端子的含义:L 代表火线,N 代表零线,O 代表通往灯的输出端,SW 代表开关输入端。
左边是安全防护。右边是同一张图,就在购买按钮旁边,任何人都能访问。
换句话说,出于安全原因而拒绝告诉我的准确信息,制造商却以接线图为标题发布了出来。这个拒绝什么也没阻止。它只是让我无法从一个陪着我排查了一个小时的来源那里得到这条信息。
如果这条信息真的危险到这种程度,那么丑闻就不该是聊天机器人,而该是自由销售。没人会认真要求购买一个开关必须有许可证。所以这两种判断中有一个是错的,而错的不是制造商的判断。
这个论点只适用于一个随产品附带说明书出售的物件,我先马上说明这一点。它不适用于任何盒子上都没有写明的东西。我后面会再说到这一点。
它让我付出了什么代价:一分钟
我很恼火,于是宣布要去问中国的模型 Kimi 或 GLM,它们肯定会回答我(它差点就在我脸上嘲笑起来)。然后我选择了更简单的办法。我把整段对话原样复制下来,粘贴进 Gemini。谁知道呢?
啪,立刻就得到了回答。清清楚楚。一根线接哪一根线。于是我接好了。能用了。车库的灯现在可以用我的手机打开,我的鸡也还活蹦乱跳的。
一分钟。这就是安全护栏的真实寿命。
另一个严肃得多的例子
同样的一幕在另一个地方上演着,桌面上摆着1.3亿美元。
先稍微回顾一下。7月30日,黑客开始掏空我在这里提到过的 Coldcard 钱包,也就是那些可以让人把比特币离线保存起来的设备。原因是固件中的一个漏洞,也就是集成在设备里的软件,自2021年3月起就一直存在。当硬件随机数生成器没有被正确检测到时,设备就会切换到一个由序列号和时钟驱动的软件备用生成器。说白了,生成的密钥并不是真正随机的。所以我们可以重新算出它们。Mk2 到 Mk5 型号以及 Q 都受到了影响。
最初的几次盗窃在四十一分钟内就达到了7,000万美元。总额将超过1.3亿美元。Block的工程师找到了确切原因。制造商Coinkite早在7月31日就发布了修复程序。
社区做出了反应。一支志愿者团队发起了一项名为Bitcoin Red Team的行动,由一名以Calle为名的开发者和AnchorWatch老板Rob Hamilton带领。他们的目标是在其他人找到下一个漏洞之前,把生态系统中公开发布的代码彻底筛查一遍。
8月4日和5日,团队在27个半小时内分析了390个代码仓库,并提交了4,962份报告。其中,85个属于严重问题,635个严重程度较高。大约21%可以被独立复现。因此,其余部分对应的是噪音、重复项或误报。OpenSats为计算提供了超过40,000美元的资金。所有严重漏洞都在任何发布之前,私下告知了项目负责人。
橙色柱子很小,但真正重要的就是它。这也是我们不能缺少负责筛选的人的原因。
为了完成这项工作,团队使用了多个模型:Moonshot的Kimi K3、OpenAI的GPT-5.6 Sol、Anthropic的Claude Fable 5和Opus,以及GLM 5.2。换句话说,所有人都上桌了。
8月9日,Hamilton公开讲述了OpenAI在审计进行期间切断他访问权限的事情。然而,他使用的明明是Trusted Access for Cyber计划,这个计划正是为授权此类研究而设计的,而且他也完成了全部验证流程。据两篇文章称,Anthropic似乎从一开始也施加了限制。直接后果是:团队更加依赖Kimi K3这个中国模型,因为它被认为对安全研究的限制较少。在这件事公开之后,部分访问权限得以恢复。
我说明一下我没能核实的部分。我没有找到Hamilton的原始消息,只找到了几家网站对它的报道。OpenAI和Anthropic都没有公开回应,至少据我所知没有。
但这里的机制和我在车库里的经历完全一样,只是规模大了一万倍。有人在一亿美元被盗之后,对公开代码进行合法、有用且公开说明的工作。人们在工程进行到一半时把门关上。他们却没有因此停下来。他们换了供应商。拒绝并没有阻止这项工作。它只是决定了将要完成这项工作的模型是哪国的。
这不是个孤立案例。7月23日,TechCrunch记录了几名进攻性安全研究人员受到同样的安全护栏阻碍的案例,而两家公司恰恰已经创建了允许他们开展研究的计划。门是存在的。它们会自行关上。
这不是一个修补匠的异想天开,这是有数据测量的
研究给这种现象起了一个名字:过度拒绝。多年来,人们一直在对它进行测量。
这项基准研究叫作OR-Bench。它已于 2025 年被 ICML 会议接收。它的原理很简单:向三十二个模型提出一千个完全无害的问题,但问题的措辞要让它们看起来像危险请求。对于完全相同的问题,不同供应商的拒答率从 3% 到 91% 不等。Claude 3 Opus 拒绝了 91%,Gemini 1.5 Pro 拒绝了 88%,GPT-4o 拒绝了 6.7%,Llama 3.1 拒绝了 3%。
这些都是 2024 年的模型。所以我不会假装这些数字描述的是今天的模型。但这个差距很能说明问题:面对相同的问题,两个供应商之间相差三十倍,这不是一条普遍的安全规则。这是人家的自定义调校。
另一项研究XSTest测得,一个调校不佳的模型对无害请求的拒答率为 59.6%,而同一时期 GPT-4 的拒答率为 8.4%。第三项研究 PHTest 发现了更加阴险的事情:为了阻止绕过限制而添加的某些防御措施,会提高误拒率。为了更好地保护用户,结果却把工具弄得更糟。
最有趣的是,他们同意我的看法
为了配合 GPT-5,OpenAI 发布了一篇文章,大意是说,生硬地拒绝是一种糟糕的设计。应该把它替换成有用但有限的回答。这家公司写道,他们希望在不过度的前提下尽可能提供帮助。
Anthropic 在Claude 的宪法中也说了同样的话。这家公司白纸黑字地承认,以可能造成伤害但极不可能发生为理由的拒绝,会引起合理的挫败感。他们也把避免多余警告作为目标。
所以,两家最大公司的官方理念都证明我是对的。可我还是硬生生挨了一个小时的拒绝。内部文件里写的东西和实际投入生产后发生的事情之间,隔着一个世界。用户就生活在这个世界里。
反驳意见,因为它确实存在
人工智能不可能知道是谁在提问。同一段文字,可能发给一个以电工为职业的人,也可能发给一个刚找到螺丝刀的十四岁小孩。广泛拒绝首先是一种法律责任选择,然后才是一种愚蠢行为。OpenAI 于 2025 年 10 月底生效的使用政策准确地说了这一点:信息仍然可以获取,但涉及受监管行业的个性化建议会受到限制。
从纸面上看,这很一致。在车库里,解释了一个小时,最后一行却来一句拒绝,这叫半途撂挑子。
“不,我做不到!”那我们还是去别处看看吧!
还得看看我的推理在哪里到头。有人反正会回答的这个论点,对于印在所有说明书里的开关接线图来说无可反驳。面对真正严重的能力时,这个论点就要有争议得多。在这种情况下,问题不只是信息是否在某个地方存在,而是它能为一个心怀恶意的人节省多少时间。这不是同一个讨论。好吧,这里 Gemini 最终还是愿意回答了,但中国的 LLM 往往更愿意回答另一个模型不想回答的问题。
过度拒绝造成的真正损害在别处。它出现得很慢。一次次因为普通请求收到“不”之后,人们会学会把所有拒绝都当成噪音。到了其中一个拒绝真的很重要的那一天,就再也没人把它当回事了。
具体来说,这对你有什么改变?
你可能既没有鸡,也没有要拆开的开关。可还是有三件事与你有关。
学会区分条件反射式拒绝和有用的拒绝。有用的拒绝会解释问题出在哪里,并提出另一种解决方案。条件反射式拒绝只会以你的安全为名说不。遇到后一种拒绝,重新表述你的请求。给出背景,解释你在做什么,在哪里做,用什么设备,以及你已经采取了哪些预防措施。这不是绕过限制。你只是在回答一个机器没能提出的问题。这在绝大多数情况下都有效。
进行实体操作时,绝不要做到一半停下来。这才是本文真正的安全建议,而且它不是聊天机器人给出的。如果工具在操作过程中掉链子,你就把东西重新合上,恢复供电,然后冷静下来寻找另一种解决方案。最不该临时发挥的时候,就是外壳打开的时候。在电气装置上,我们总是通过断路器切断电源,从来不通过开关切断。
拒绝并不意味着信息很稀缺。信息通常就在说明书里,制造商的网站上,PDF 格式的手册里,或者 DIY 论坛上。聊天机器人不是全世界的图书馆。它只是一个中间人,而中间人可以关门,并不代表书就消失了。
我的看法
如果那天我是 ChatGPT,我会在明确说明条件的情况下给出接线图。切断断路器,在碰任何东西之前用测试器确认,如果不确定电线的辨认,就请有能力的人来帮忙。这就是一个电工邻居在你隔着篱笆给他看照片时会做的事。他不会回答说这会让他承担责任。他会看一眼,然后解释哪根线接到哪里。
这个故事真正简单的教训是:半个答案可能比完整的答案更危险。一开始就拒绝,是一种政策。最后才拒绝,就是把某个人留在一个敞开的墙洞前。
安全第一。好奇心紧随其后。
啊,还有更精彩的。后来我回去告诉它 Gemini 给了我解决方案,ChatGPT 显得非常高兴。它问我能不能给它发一张照片,好看看另一个是怎么做的。
它拒绝提供这条信息,却又要求收到这条信息。既然如此,危险就不在信息本身,否则它不会想看。危险在于成为这条信息的作者。
ChatGPT 已经变成了一个界面友好的法律服务。





Join the conversation
You need an account to comment on this article. Creating one is free and takes under a minute.
No comments yet.