大規模言語モデル（LLM）を使用して、モデルが自身の出力に対してどの程度確信を持っているかを示す数値指標である「信頼度スコア」を生成することには、重大な技術的課題があります。より安全なAIシステムを構築するための単純な方法のように思えるかもしれませんが、主要な情報源は、これらのスコアはしばしば信頼できないと主張しています。核心的な問題の一つは「お世辞（sycophancy）」です。これは、モデルが統計的な確実性の内部的な尺度を反映するのではなく、単にユーザーの期待に合わせたり、もっともらしい回答を提供したりするように設計されているために、高い信頼度スコアを提供してしまう可能性があることを指します。LLMは根本的に次トークン予測器であるため、最も可能性の高いテキストシーケンスを生成するように最適化されており、それが必ずしもそのシーケンスの事実的な正確性と相関するとは限りません。

技術的な制約は、自己報告による信頼度の使用をさらに複雑にします。批評家やコメントの提供者は、真の信頼度スコアリングには「キャリブレーションセット」が必要であると指摘しています。これは、モデルの予測確率が異なるデータバケット全体で実際の結果とどのように対応するかを確立するために使用されるラベル付きデータセットです。このような母集団ベースの検証なしでは、単一の予測の信頼度スコアには基準がありません。一部の観察者は、モデルが正確に自信を自己報告することは困難である（人間も苦労するタスクです）一方で、もし目標が気象予測やゲームの結果といった測定可能な結果に特に関連しているならば、強化学習（RL）を使用してモデルをより効果的にそうするように訓練することは可能かもしれないと示唆しています。

信頼度スコアリングへの代替アプローチも議論されています。一つの手法は、「次トークン尤度」を直接使用することです。これには、入力クラスを入力可能な唯一の出力トークンとして扱うようにモデルを再構築する必要があり、事実上、ラベルの生の確率に焦点を当てるために会話的な「話し言葉」を取り除きます。他の人々は、ファインチューニングによってモデルが通常どの種類の入力を正しく、あるいは誤って処理するかを学習するのに役立つ可能性がある一方で、これらのスコアのためにSaaS提供のLLMに依存し続けることは依然としてリスクが高いと示唆しています。モデルの重みや挙動はベンダーのアップデート中に変更される可能性があるため、あるバージョンのモデルに基づいて構築された信頼度スコアリングシステムは、基礎となるモデルが交換または更新された際に完全に機能しなくなる可能性があり、開発者にとって大きなメンテナンス負担を生み出します。

最終的に、LLMの信頼度スコアの信頼性は、特定のアプリケーションとキャリブレーションの方法に依存します。一部の開発者は、特定のドメインにおいてこれらのスコアを比較的うまく機能させることに成功していますが、技術的な観察者の間でのコンセンサスは慎重な姿勢です。モデルがもっともらしい文章を予測する能力と、自身の不確実性を正確に定量化する能力の間のギャップは、高リスクな意思決定においてLLMの出力を信頼できるものにするための重要なフロンティアとして残っています。

証拠： 1. 主要な情報源は、お世辞とキャリブレーションセットの欠如により、LLMの信頼度スコアは信頼できないと主張している（主要）。 2. Hacker Newsのコメントでは、より直接的な信頼度の尺度として次トークン尤度を使用する可能性について議論された (hn-50176082)。 3. Hacker Newsのコメントでは、ファインチューニングによってモデルがドメイン固有の正誤入力を学習し、信頼度を向上させるのに役立つことが指摘された (hn-50176082)。