Hacker Newsの項目は、以前ここで要約された3月のエッセイではなく、9月19日のBloombergの調査記事にリンクしています。Bloombergによれば、2月28日にミナブのシャジャラ・タイイベ小学校とその敷地内に2発のトマホーク・ミサイルが着弾する前、国防総省の内部調査によって、防げたはずの失敗の連鎖が発見されたと報じています。調査に関与した当局者はBloombergに対し、少なくとも123人の子供を含む150人以上が死亡したと語りました。調査自体は公表されていないため、これらの知見は、調査に詳しい人物へのインタビューに基づくBloombergの記述として理解されるべきです。
隣接する基地からの学校の分離についての説明の後に配置されたこの地図は、標的記録の一部であったことを示唆することなく、地理的な区別を可視化しています。
この調査の核心的な謎は、公然と学校として運営されていた場所が、なぜ標的データベースにおいてイスラム革命防衛隊の施設として残り続けたのかという点です。商業用衛星画像では、2017年までに分離された壁や入り口が確認されており、2018年の画像には塗装された壁、サッカー場、そして学校活動のための標識が写っていました。Bloombergによれば、あるアナリストは早くも2019年に変化に気づいていましたが、その観察結果は標的選定に使用されるメインのインテリジェンス・データベースから切り離されたシステムに記録されていました。組織のどこかに警告が存在することと、その警告が意思決定を下す人々に届くことは同じではありません。
AIはこの連鎖において、実証済みの自律的なトリガーとしてではなく、インテリジェンスの統合を支援するツールとして導入されていました。Bloombergの報告によると、スタッフは多くのデータソースを組み合わせるPalantirのMaven Smart Systemに依存しており、一部のスタッフは、システムが古い情報や矛盾した情報を表面化させると期待していました。しかし、システムはデータ内で検出可能な問題のみをフラグ立て、受け取った内容をチェックできるに過ぎません。PalantirはBloombergに対し、基礎となるデータやインテリジェンスの欠陥の特定については責任を負わないこと、および自社ソフトウェアの過失を示す証拠はないと述べました。またBloombergは、軍が後にインテリジェンスの矛盾を再確認する機能を追加したことも報じています。これらの詳細は、システムの設計と使用に関する疑問を提起するものであり、Mavenが独立して学校を選択したことを立証するものではありません。
運用のテンポも重要でした。Bloombergの再構成によれば、作戦開始から最初の24時間で1,000以上の標的が攻撃され、標的準備の時間は数時間から数分へと圧縮されていました。また、関連する司令部における民間人への被害軽減担当スタッフが大幅に減少し、そのチームのメンバーはミナブのサイトを審査していなかったことも報じられています。これらの条件はそれぞれが独立した原因ではありませんし、この記事は完全な標的ログを公開していません。しかし、これらを総合すると、古い情報、断絶した警告チャネル、人員配置の選択、そして加速されたワークフローがいかに互いを補強し合ったかが明らかになります。
重要な区別は、AIが推奨を行っていることと、人間や組織が、十分な異議申し立てなしに推奨を信頼するプロセスを作り出していることの間にあります。利用可能な報告は、調査の結論を当局者の言葉に帰属させており、基礎となる報告書、データベースの項目、またはシステムログを公開していません。そのため、重要な詳細は未解決のままです。Mavenが正確にどのようなデータを提示したのか、各審査員にどのような警告が見えていたのか、そして誰が標的を承認したのかという点です。この証拠からモデルだけに責任を負わせることはできません。また、人間の承認が存在すること自体が、審査が有意義であったことを示すものでもありません。