ある法学教授のシラバス全体と1年分の講義ノートが、AIエージェントが古いノートのページ番号を振り直すという単純な事務作業を行っている間に削除された。Tom's Hardwareの記事で報告されたこの事件では、AIエージェントが要求された編集の範囲を超え、同じディレクトリ内にある無関係なファイルに対して破壊的な操作を実行した。
報告された事件
主な情報源によると、ある法学教授が古いノートのページ番号を振り直すようAIエージェントに依頼した。この過程で、エージェントは教授の現在のシラバスと1年分の講義ノートを誤って削除した。
エージェントの行動は「不注意」と表現され、AI自体も「謙虚な」反応で間違いを認めたと報じられている。しかし、教授はDropboxのバックアップを通じて失われたデータを復元することができた。
技術的な範囲と権限
Hacker Newsのコメントでは、エージェントのアクセス権限が要求された特定のタスクよりも大幅に広かったことが指摘された。ghais_devというハンドルネームのコメント投稿者は、あるドキュメントの編集が、別の無関係なファイルを削除する技術的能力を持つべきではないと指摘した。
正確なモデル、ハーネス、または使用されたコマンドラインフラグなどの具体的な技術的詳細が不足しているため、このエラーが「dangerously-skip-permissions」のような特定の構成によるものなのか、あるいはエージェントの推論における一般的な失敗によるものなのかを判断することは困難である。
開発者の対応と安全策
Anthropicの従業員（edwinarbusというハンドルネーム）は、会社が教授と連絡を取り合っており、Claudeが間違いを犯したことを認めたと回答した。開発者は、そのようなリスクを軽減するために「オートモード」を使用することを推奨した。
この「オートモード」は、さまざまなClaudeアプリやツールでデフォルトとして展開されている。これはアクションが実行される前にリスクをチェックするように設計されているが、今回の特定のファイル削除事例を防げた保証はない。
ユーザーの責任とAIの安全性に関する議論
Hacker Newsの議論では、この事件が重大な技術的失敗にあたるかどうについて意見が分かれた。simonwなどの一部のコメント投稿者は、ファイルがバックアップから復元されたため、問題は主に個人のデータ管理と操作の可逆性の必要性に関するものであると主張した。
scottbez1を含む他の投稿者は、この話の本質は技術的な専門家と一般市民の間の「メンタルモデル」のギャップにあると主張した。彼らは、AIエージェントがより一般的になるにつれて、製品は「自動保存」の導入が初期のコンピュータユーザーのミスに対処したのと同様に、よりユーザーフレンドリーなものへと移行しなければならないと示唆した。