誤報による煙警報がJane Streetのニューヨーク・データセンターを冠水寸前まで追い込む

Jane Streetのシステムエンジニアは、誤報による煙警報が壊滅的な冠水を引き起こすのを防ぐため、超高層ビル内を全力疾走し、機械室にあるすべてのサーバーから手動で電源ケーブルを引き抜かなければなりませんでした。この事案は、建物の安全プロトコルがハードウェアの保護よりも火災抑制を優先するように設計されていたために発生しました。その結果、埃による警報が同社のニューヨーク唯一のデータセンターを破壊しかけるという事態を招いたのです。

冠水寸前のメカニズム

データセンターの安全インフラは特定のロジックに従っていました。煙が検出されると、システムは潜在的な火災への酸素供給を防ぐためにCRACユニットを停止させます。同時に、煙警報はスプリンクラーシステムに信号を送り、配管内に加圧された水を充填します。

部屋が高密度サーバーラックで埋め尽くされていたため、冷却の喪失によって内部温度は急速に上昇しました。スプリンクラーヘッドは熱に反応する仕組みであったため、実際の火災が存在しないにもかかわらず、上昇する周囲温度によって部屋全体の冠水が引き起こされる危険が生じました。

「したがって、私の任務は明確になりました。可能な限り速くJane Streetに戻り、機械室に入り、温度が150°Fを超えてスプリンクラーがすべてを破壊する前に、その部屋にあるすべてのデバイスの電源コードを引き抜くことです。」

— How a false smoke alarm almost drowned Jane Street’s only NYC datacenter

手動介入とリスク文化

Jane Streetのリスク文化は、「大きな赤いボタン」による手動オーバーライドを優先するものでした。これは原子力潜水艦の経歴を持つパートナーの影響を受けた哲学です。この文化により、スタッフが緊急時に物理的に介入できるよう、機械室はトレーディングフロアの近くに配置されることになっていました。

警報が鳴ったとき、システムエンジニアは現場へ走り、列ごとに、キャビネットごとに移動しながら、すべてのデバイスから電源ケーブルを引き抜きました。この手動の努力により、スプリンクラー作動のポイントをわずかに下回る143.6°F（約62°C）で温度上昇を食い止めることに成功しました。

テレメトリと将来の安全策

この事案を受けて、チームは監視体制の弱点を特定しました。冷却およびセンサーに関する建物レベルのテレメトリは、「未知の未知（unknown unknowns）」を捉えるには十分な信頼性がありませんでした。

これを解決するため、チームはOCamlで監視サービスを書き、フリート内のすべてのLinuxサーバーに直接問い合わせてオンボードセンサーデータを取得するようにしました。これらの温度の単純な平均を計算することで、建物のセンサーが正しく機能しているかどうかにかかわらず、一般的な冷却故障を検知できる、より堅牢なアラートシステムを構築しました。