「この記事では、作者のBaldur Bjarnasonが呼ぶ『LLMentalist エフェクト』について紹介している。これは、ユーザーがチャットベースの大規模言語モデルに真の知能と推論能力があると感じる現象を指す。Bjarnasonは、ソフトウェアビジネスにおける言語モデルの研究から、この感覚はモデルに固有の認知能力によるものではなく、サイキックのコールドリーディングパフォーマンスで使われる心理的メカニズムと同じものによるものだと主張している。彼は、LLMは言語トークンの数学的モデルであり、人間の意味での思考や推論なく、統計的に妥当な応答を生成すると強調している。
「Bjarnasonは、LLMentalist エフェクトがサイキックの詐欺の六段階プロセスとどのように対応しているかを詳しく説明している。第一に、観客はAIの能力を信じる傾向があることで自分自身を選択する。第二に、舞台設定はハイプと期待を通じて行われ、あいまいな出力でも意味があるように見せる。第三に、サイキックはジェスチャーや発言を行い、目に見える反応を引き出すことで人口統計学的に絞り込む。これは、特定のユーザー反応を引き出すプロンプトと類似している。第四に、マークは特定のように聞こえるが統計的に一般的なフォローアップ質問でテストされる。そして重要なことに、第五段階では主観的検証ループが発生する。ここで、検証文――実際には統計的に一般的であり、Forer/Barnum文のような『あなたは自分に厳しい傾向がある』など、消極的な否定や虹色の使い方、統計的推測――は、ユーザーがそれ自身の経験と関連付けるため正確だと受け止められる。
この画像は、記事で述べられている観客選択段階に対応している。AIを信じる傾向があるユーザーは、LLMentalist エフェクトに特に影響を受けやすい。
この画像は、サイキックのコールドリーディングのアナロジーにおける舞台設定段階を示しており、ハイプがユーザーに汎用的なAI応答を個人的に関連づけられるように促す。
この図は、記事でのプロンプトがユーザーの焦点を絞り込み、AIの出力が特定の subset に合わせて調整されているかのように見えるという説明に一致する。
「この分析では、重要なパラドックスが明らかになる。自分を知的あるいは分析的だと考える人々ほど、LLMentalist エフェクトに特に影響を受けやすい。幻想を退けるのではなく、こうしたユーザーはしばしば相当な創造性と知性を使ってモデルの見かけの能力を合理化し、サイキックの能力主張を擁護することで『最大かつ最も儲かる標的』となる。これによりフィードバックループが生まれ、ユーザーが幻想に協力すればするほど時間の経過とともに効果が強まり、Bjarnasonは多くの提案されたLLMのユースケースが、批判者から見ると『境界線上の詐欺疑似科学』のように見えると示唆している。なぜなら、感じられる知能は結局のところ統計的なトリックであり、本当の認知能力ではないからだ。」],
この画像は、記事の検証ループとフィードバック効果の説明を裏付けており、協力的なユーザーが時間の経過とともにLLMentalist エフェクトを強化することを示している。