文章介绍了作者 Baldur Bjarnason 所称的 'LLMentalist Effect' —— 用户认为基于聊天的大型语言模型具备真实智能和推理能力的现象。Bjarnason 基于他在软件企业中对语言模型的研究指出,这种感知并非源自模型内在的认知能力,而是来自与心理学家冷读表演中使用的心理机制完全相同的因素。他强调,LLM 是语言令牌的数学模型,能够生成在统计上看似合理的回复,但实际上没有任何人类意义上的思考或推理。

Bjarnason 详细说明了 LLMentalist Effect 如何对应心理学家骗局的六个阶段:首先,观众通过自身对 AI 能力的预设倾向自行选择;其次,通过炒作和期望铺垫场景,使模糊的输出显得有意义;第三,心理学家通过暗示或语句引发可见反应来缩小人群范围,这相当于提示如何引出特定的用户响应;第四,使用听起来具体但实际是统计通用的后续问题来检验目标;第五,更重要的是,涉及主观验证循环,其中看似具体但实际上是统计通用的验证语句 —— 如 Forer/Barnum 语句(例如 '你往往对自己要求很高')、vanishing negatives、rainbow ruses 以及 statistical guesses —— 因为用户能将其与自身经历联系起来而被接受为准确。

观众选择示意图,显示感兴趣的(黑色)和不感兴趣的(灰色)圆圈,代表那些倾向于相信 AI 能力的人们。
说明了心理学家冷读类比的第一阶段:观众通过自身对 AI 能力的预设倾向自行选择。softwarecrisis.dev

此图对应文章中描述的观众选择阶段,其中倾向于信任 AI 的用户更容易受到 LLMentalist Effect 的影响。

显示各种人口统计圆圈的示意图,上面叠加了词语 Hype 以及表明普遍兴奋氛围的箭头。
展示第二阶段:通过炒作和期望的铺垫,使模糊的 AI 输出在观众眼中显得有意义。softwarecrisis.dev

此图说明了心理学家冷读类比中的场景铺垫阶段,此时炒作使用户倾向于将泛泛的 AI 响应视为与个人相关。

带有模糊圆圈的示意图,表示被排除的人口统计群体;聚焦的圆圈表示被选中的目标受众。
说明第三阶段:心理学家通过引发可见反应来缩小人群范围,这相当于提示如何引出特定的用户响应。softwarecrisis.dev

这与文章所述一致:提示如何使用户的注意力集中,使得 AI 的输出看来是专门针对特定子集的。

分析揭示了一个重要的悖论:自认智慧或具备分析思维能力的个体可能对 LLMentalist Effect 特别敏感。他们并不会驳斥这种幻觉,而是常常动用相当的创造力和智力来为模型表现出的能力找理由,因而成为 '最大且最有利可图的目标',通过捍卫心理学家声称的能力来强化这一效应。这就形成了一种反馈循环:用户越配合这一幻觉,效应随时间变得越强,因而 Bjarnason 认为许多被提出的 LLM 应用场景在批评者眼中如今看起来像 '边缘欺诈伪科学',因为被感知的智能实际上只是统计技巧,而非真正的认知能力。

显示标记(用户)与聊天机器人框框形成循环的示意图,表示用户将泛泛的陈述与自身联系起来的主观验证循环。
描绘第五阶段:主观验证循环,用户因为能将泛泛的 AI 陈述与自身经验联系起来而接受其为准确,从而强化这种幻觉。softwarecrisis.dev

此图支持文章对验证循环和反馈效应的解释:合作的用户会随时间推移加强 LLMentalist Effect。