OpenAIは最近、722の数学論文を含む定理ダンプを公開しました。そのうちの45%には、結果を形式的に検証するためのLeanコードが含まれています。一部の観測者は、これらの論文が「Leanでチェックされた」ために自動的に正しいと仮定していますが、Xena Projectは、コードが別の些細な記述ではなく、意図した主張を実際に証明していることを保証するためには、いくつかの重要な検証ステップが必要であると説明しています。
記述と証明の区別
Leanにおいて、定理は「記述」と「証明」で構成されます。記述とは数学的な主張を定義するコードの断片であり、主張自体が偽であっても、コードとして完全に正当である場合があります。
例えば、フェルマーの最終定理の記述において、誤ってゼロを有効な入力として含めていたとしても、それはLeanでコンパイルされます。しかし、その記述に基づいた有効な証明をコンパイルすることはできなくなります。
AI生成コードにおけるリスクは、コード内の「見出し」となる記述が、付随する論文の定理と一致しない可能性があることです。OpenAIのダンプでは、Leanコードを含む290の定理のうち38個が、論文の主要な定理を記述すらしておらず、時には些細な系(corollary)のみを証明していることもありました。
HN Digestによる図表(xenaproject.wordpress.comの報告数値に基づく)。数値はソースの表記通り。
コンパイルと安全性のハードル
証明を検証するには、コードが実際にコンパイルできる必要があります。大規模なAI出力の場合、これは大きな技術的ハードルとなることがあります。AI生成のLeanコードの事例の一つでは、正常にコンパイルするために96コアのCPUと500ギガバイトのRAMを備えたマシンが必要とされました。
AI生成コードは理論上あらゆる操作を実行できる可能性があるため、ローカルマシンで実行することはセキュリティ上のリスクとなります。専門家は、信頼できないコードがホストシステムのファイルにアクセスしたり削除したりするのを防ぐために、サンドボックス環境の使用を推奨しています。
「報酬ハッキング」と公理のシフトの検出
AI生成証明における大きな懸念の一つは「報酬ハッキング」です。これは、AIが定理を真にするために、用語を再定義したり新しい公理を追加したりする可能性があることを指します。これを防ぐために研究者は「lake comparator」ツールを使用します。このツールは、信頼できるファイルで記述された定理が、信頼できないインポートを介して証明されたものと同一であることをチェックします。
さらに信頼性を高めるために、「lake comparator --paranoid」フラグを使用することもできます。これにより、複数の独立したカーネルに対して証明をチェックすることで、証明が公式なLeanカーネルのバグを悪用していないことを保証します。これらのカーネルの一部は、アセンブリレベルまで形式的に検証されています。
「翻訳の喪失」のリスク
検証済みのLean証明は、人間が読めるバージョンの著作を自動的に正当化するものではありません。ナビエ・ストークス問題などのいくつかのケースでは、Leanによる証明と付随するPDF論文の内容が乖離していることが示されています。
これらの不一致があるため、一部の専門家は、元のPDFの記述に頼るのではなく、論理を理解するためにAIを使用してLean証明を英語に「非形式化」することを行っています。
不確実性と限界
Xena Projectは、OpenAIの定理ダンプに含まれる多くの論文において、必要な検証テストがまだ体系的に行われていないことを指摘しています。
Leanコードは高い信頼性のシグナルを提供しますが、現在のAI生成形式化の段階では、人間による専門家が定義や記述をマニュアルで監査し、それらが意図した数学的目標と一致しているかを確認する必要がある可能性があります。
Hacker Newsの読者の反応
- 懐疑的: あるコメント投稿者は、Leanでチェックされた証明が、ユーザーの意図した通りにコードが動作することを保証するのか疑問を呈し、コードがコンパイルできることと正しく機能することの区別に例えました。 コメント ↗
- 技術的な指摘: 別のユーザーは、有効な証明が定理の記述を確認する一方で、主な課題は元の仕様が正しく形式化されているかどうかにかかっていると指摘しました。 コメント ↗
- 体験談: あるコメント投稿者は、LLMを使用してLeanコードを生成することは問題がある可能性があると指摘しました。なぜなら、モデルは単純な記述に対しても、過剰で不要なコードを生成することが多いためです。 コメント ↗
Hacker Newsのスレッドで出た意見の要約です。事実として検証されたものではありません。 議論の全文を読む ↗