OpenAIの新しい画像分類器は、児童性的虐待コンテンツ(CSAM)の視覚的な兆候を特定するように設計されており、特にAI生成コンテンツに対する固有のシグナルを備えています。これは、この種の広く利用可能なツールとしては初めての試みです。このツールは、人間のレビュー担当者が高リスクの画像を優先的に確認できるようスコアを提供することで、新規の、あるいはこれまで見つかっていなかった虐待コンテンツの検出を効率化することを目指しています。
検出およびレビュー効率の向上
新しい画像分類器は、さまざまな形式のCSAMを検出するために、全米行方不明・搾取児センター(NCMEC)の協力のもとで開発されました。このツールは、従来の画像とAI生成画像の両方における虐待の視覚的な兆候を特定するように特別に設計されており、安全チームがレビューキューを優先順位付けできるスコアを返します。
HN Digestによる図表(openai.comの報告数値に基づく。数値はソースの表記通り)。
初期の評価では、効率の大幅な向上が示されています。新しいツールと既存の保護策を比較したテストにおいて、新しい分類器は虐待コンテンツの検出率を維持しながら、48%少ない画像にフラグを立てました。さらに、この新しいシステムによってフラグが立てられた画像は、実際の虐待を含んでいる可能性が約2倍高いものでした。
「新しい分類器はレビュー作業を削減できる可能性があります。既存のツールとほぼ同数の虐待画像を特定しながら、48%少ない画像にフラグを立てると推定しました。」
— Strengthening the fight against online child sexual abuse with new tools and support
製品の抑止策と開発者向けリソース
OpenAIは、ChatGPTに直接的な製品レベルの介入を統合しています。ユーザーが虐待コンテンツの検索や生成を試みた場合、システムは子供を性的対象とすることの害を説明する警告をトリガーし、フラグが立てられた会話を削除し、ユーザーのサービスへのアクセスを24時間停止します。

この画像は、OpenAIが虐待コンテンツの生成を抑止するためにChatGPTに統合している、具体的な製品レベルの介入および警告システムを例示しています。
より広いエコシステムをサポートするため、OpenAIは審査済みの組織に対し、APIを通じてこの分類器を無料で提供しています。また、同社は開発者が安全システムを構築するのを支援するためのCSAMガイダンス文書を公開し、報告プロセス、検出ツール、人間のレビュー担当者へのサポートなどのトピックを網羅しています。
法執行機関および業界の協力
同社は、児童安全に関する法執行機関へのサポートを拡大し、専用のプラグインと捜査ツールを提供しています。これらのツールは、捜査官が長いチャットログや法的プロセスによる回答を分析し、接続関係を特定し、ソース資料に関連するタイムラインを作成するのを支援するように設計されています。
OpenAIはまた、Tech CoalitionのLanternプログラムのようなクロスプラットフォームのイニシアチブにも参加し、オンラインでの搾取に関するシグナルを共有・受信しています。これらの取り組みは、ThornやInternet Watch Foundationなどの組織と連携して、業界全体の防御を強化するという広範なコミットメントの一環です。
Hacker Newsの読者の反応
- 体験談: 最近のアカウント停止を報告したコメント投稿者の一人は、OpenAIの行動はパフォーマンス(見せかけ)であると主張し、正当な分類タスクに使用していたにもかかわらず自動システムによってフラグが立てられたと述べています。 コメント ↗
- 体験談: この分野の経験があるコメント投稿者は、規制リスクを回避し、人間の作業者が不快なコンテンツを見ることから保護するために、企業はニュアンスのあるアプローチよりも自動分類器を優先する可能性があると示唆しました。 コメント ↗
- 体験談: あるユーザーは法執行機関にとっての実用的な利点を強調し、拡散モデルによってコンテンツの量が大幅に増加したため、実際のケースに対するフォレンジック調査がより困難になっていると指摘しました。 コメント ↗
- 懐疑的: 数人のコメント投稿者は、これらの措置の背後にある動機について懐疑的な見方を示し、監視の強化やデータ収集のための口実として機能する可能性があることを示唆しました。 コメント ↗
Hacker Newsのスレッドで出た意見の要約です。事実として検証されたものではありません。 議論の全文を読む ↗