被遗忘的证书让 Outlook 和 Teams 中断了22小时。证书是什么?
一个被遗忘的证书让 Outlook 和 Teams 停摆了 22 个小时。证书是什么?
周一晚上,我们这边是 19 点 30 分。成千上万的人发现 Outlook 拒绝打开,Teams 原地转圈,SharePoint 则回复“something went wrong”。微软开了一个编号为 EX1464935 的工单,并写道,他们正在调查“与中央身份验证配置有关的问题”。
漂亮话。下面是未经包装的版本,它出现在那些试图搞清楚情况的管理员的错误日志里:
The cert with thumbprint
19F04B8A233DD9CE916F118056D224A1751729EA is expired翻译一下:编号叫某某的证书过期了。微软的某个人忘了在某个文件到期前续期。于是全世界一半的办公室停摆了将近 22 个小时。
保安没有做错任何事。过期的是他自己的卡。
证书是什么?
它就是机器的身份证。仅此而已。
当你的电脑连接到服务器时,它有一个非常具体的问题:任何人都可以声称自己是微软。所以服务器会出示一个由受认可的机构签署的文件,大意是“我确实是微软的邮件服务器,这是证明我不是冒牌货的数学证据”。这就是浏览器地址栏里的那把小锁。小锁背后, exactement 就是这个。
而且,和身份证一样,这个文件也有一个截止日期。不是因为它恶毒:如果其中一张卡被偷了,我们希望它过一段时间后能自行停止工作,而不必通知全世界。到期日期是一个功能,不是一个 bug。
故障当天只有两个字段重要:名称和日期。剩下的都是数学装饰。
只是,身份证是可以续期的。你会收到市政府寄来的信。服务器却什么都收不到。它乖乖地等着有人来处理这件事,而到了没人处理的那一天,它就不再相信任何人,包括自己的同事。
为什么更换一个文件要花 22 个小时?
这才是真正的问题,有意思的地方也就在这里。
更换证书只需要五分钟。问题在于,这张证书不是用来和客户交流的。它是给微软的服务器彼此识别用的。邮件会问负责管理密码的服务“这个家伙真的是它声称的那个人吗?”,而这个服务会拿着自己的卡来回答。
卡过期了,谁也认不出谁。邮件不再信任密码服务,密码服务不再信任搜索服务,依此类推。问题从 Exchange Online,也就是邮件系统开始。两小时后,微软又开了第二个工单 MO1465074,把 Teams、SharePoint、OneDrive、Purview 和 Defender XDR 也加了进去。甚至连管理空间,也就是管理员本来正要去查看哪里出了问题的地方,某些企业也无法访问。
只是一张过期的卡,整栋楼就不再相信任何人的话。
而且证书更新之后,也没有任何东西会自行恢复。必须一台一台地重启机器,逐个服务检查,然后在撑不住的地方重新来过。这就是 22 个小时的由来。文件本身不是工作。工作是按正确的顺序重新点亮整栋房子。
不只是微软会遇到这种事,而且我有一个有趣的证据
准备这篇文章时,我想打开一个专门罗列那些由证书过期引发的重大故障的页面。你知道的,为了看看历史背景。
网站回复我说,原话是:certificate has expired。
我没瞎编。那个列出证书过期故障的页面,居然因为一个过期证书挂了。我反复读了三遍确认自己没看错,然后真的一个人对着屏幕笑出了声!
这不是巧合,这就是整件事的主题。2018年12月6日,爱立信一款软件里的一个过期证书,让3200万英国人在一天时间里无法打电话和使用4G,这件事还波及了包括日本在内的11个国家。各团队忙了一整晚,直到凌晨3点30分才恢复服务。
最妙的是,微软早就经历过这一套了。2020年2月3日,Teams 曾经瘫了好几个小时。原因:一个没人续期的身份验证证书。六年半之后,又来了一次,而且规模更大。
这从来不是什么复杂漏洞,也从来不是什么窝在地下室里的蒙面黑客天才。这只是日历上一个没人查看的日期。
那你知道这个,对你有什么用?
用处比你想的大得多,因为你家里很可能就有证书,只是你不知道。
你的 NAS,那台用来存照片的硬盘小盒子,就有一个。你的互联网盒子有一个。你的监控摄像头有一个。如果你有个人网站,它也有一个,而且通常每三个月会自动续期一次。自动续期出问题的那天,你不会收到任何警告,也不会注意到它经过,然后某天早上,你的浏览器会显示一块大大的红屏,说你自己的网站不安全。
一个有用的反应只需要一行。当你的手机或浏览器在一个你熟得不能再熟的网站上显示安全警告时,在恐慌或点击“仍要继续”之前,看看日期。十次里有九次,这不是攻击:只是对方那边的证书过期了。如果是你自己的设备,你刚刚省下了半个小时的排查时间。
另一件值得带走的东西,是心理上的轻松。下次你的在线服务挂掉,而错误消息提到“中央身份验证配置”时,你就会知道,很可能只是有人没把便利贴贴在正确的位置。这修复不了任何东西,但能让你不再自责:出问题的不是你的电脑。
我的看法
我不会为了这个原则去敲打微软。要在全球范围的基础设施上管理数万个证书,这本来就是一门真正的专业,而且没人能做到完美。
让我觉得别扭的是另一件事。十五年来,我们一直被推销云服务,理由是专业人士会比我们自己把一切都处理得更好。结果,世界上最大的参与者之一,竟然栽在一次日程遗漏上。这种事情,随便哪个管理员都会用一个十行脚本和提前30天的提醒来监控。
所以如果你管理哪怕一台服务器,就算只是客厅里的一台 NAS,今天也去检查一下你的日期。只要五分钟,这能让你免于在那个文件已经让你损失一整天之后,才发现它的存在!
来源
- Born's Tech and Windows World : EX1464935, M365 outage due to forgotten certificate renewal,2026年8月31日,完整的错误消息和证书指纹
- BleepingComputer : Massive Microsoft 365 outage causes auth issues, service failures,时间线、两个事件编号、受影响服务列表和持续时间
- Techzine : Microsoft 365 outage disrupts Teams and Exchange access globally,微软的官方通告和故障的全球范围
- The Register : Why millions of Brits' mobile phones were knackered on Thursday,2018年12月6日,3200万名用户、11个国家以及持续忙到凌晨3点30分的彻夜抢修



加入对话
您必须拥有一个账户才能评论这篇文章。注册免费,耗时不到一分钟。
目前没有评论。