虚假烟雾报警险些淹没 Jane Street 的纽约数据中心

Jane Street 的一名系统工程师不得不穿过摩天大楼并奔跑，手动拔掉机房中每台服务器的电源线，以防止虚假烟雾报警触发灾难性的洪水。此次事件的发生是因为建筑的安全协议旨在优先考虑灭火而非保护硬件，这导致一个由灰尘引起的报警险些摧毁了该公司唯一的纽约数据中心。

近乎洪水的机制

数据中心的安保基础设施遵循特定的逻辑：如果检测到烟雾，系统将关闭 CRAC 单元，以防止氧气助长潜在的火灾。同时，烟雾报警会发出信号，指示喷淋系统用加压水充满管道。

由于房间里充满了高密度服务器机架，冷却系统的丧失导致内部温度迅速升高。由于喷淋头是热敏型的，即使不存在实际火灾，上升的环境温度仍威胁到触发全屋洪水。

“因此，我的任务变得非常明确：我必须尽可能快地回到 Jane Street，进入机房，并在温度超过 150 F 且喷淋系统摧毁一切之前，拔掉房间里每台设备的电源线。”

— How a false smoke alarm almost drowned Jane Street’s only NYC datacenter

手动干预与风险文化

Jane Street 的风险文化优先考虑“大红按钮”式的手动覆盖，这一理念受到一位具有核潜艇背景的合伙人的影响。这种文化规定机房必须靠近交易大厅，以便员工在紧急情况下能够进行物理干预。

当报警触发时，一名系统工程师奔向现场，逐行、逐柜地移动，拔掉每台设备的电源线。这种手动努力成功将温度控制在 143.6°F（约 62°C），刚好低于喷淋激活点。

遥测与未来防护措施

事件发生后，团队发现了他们监控中的一个弱点：建筑层面的冷却和传感器遥测数据不足以可靠地捕捉“未知的未知”。

为了解决这个问题，团队用 OCaml 编写了一个监控服务，直接查询其机队中的每台 Linux 服务器的板载传感器数据。通过计算这些温度的简单平均值，他们创建了一个更持久的警报系统，无论建筑传感器是否正常工作，该系统都能检测到普遍的冷却故障。