使用大语言模型（LLMs）生成置信度评分——即模型对其自身输出确定程度的数值指标——面临重大的技术障碍。虽然这似乎是构建更安全的 AI 系统的一种直接方法，但主要来源认为这些分数往往是不可靠的。核心问题之一是“谄媚”行为，即模型可能仅仅因为被设计为符合用户预期或提供听起来合理的答案，就给出高置信度评分，而不是反映内部的统计确定性。由于 LLMs 从根本上是下一标记预测器，它们被优化为生成最可能的文本序列，而这并不总是与该序列的事实准确性相关。
技术限制进一步增加了自我报告置信度的复杂性。批评者和评论者指出，真正的置信度评分需要一个“校准集”——这是一个用于建立模型预测概率如何映射到不同数据桶中实际结果的标注数据集。如果没有这种基于群体的验证，单个预测的置信度评分就缺乏基准。一些观察者认为，虽然模型准确地自我报告置信度是很困难的（人类也同样难以完成此项任务），但如果目标专门与可衡量的结果相关联（例如天气预报或游戏结果），那么通过强化学习（RL）训练模型更有效地执行此任务可能是可能的。
关于置信度评分的替代方法也在被讨论。一种方法涉及直接使用“下一标记似然”，这需要重新构建模型，将输入类别视为唯一的可能输出标记，有效地剥离掉对话式的“语言”，以专注于标签的原始概率。其他人建议，虽然微调可以帮助模型学习它通常在哪些类型的输入上正确或错误，但依赖 SaaS 提供的 LLM 来获取这些分数仍然具有风险。由于模型权重和行为在供应商更新期间可能会发生变化，建立在某一版本模型基础上的置信度评分系统，在底层模型被更换或更新时可能会完全失效，从而给开发者带来巨大的维护负担。
最终，LLM 置信度评分的可靠性取决于具体的应用场景和校准方法。虽然一些开发者在特定领域成功让这些分数达到相当不错的效果，但技术观察者的共识仍是谨慎对待。模型预测合理句子能力与其准确量化自身不确定能力之间的差距，仍然是使 LLM 输出在涉及高风险决策时变得可靠的关键前沿。
证据： 1. 主要来源认为，由于谄媚行为和缺乏校准集，LLM 置信度评分是不可靠的（主要来源）。 2. Hacker News 上的评论者讨论了使用下一标记似然作为更直接的置信度衡量标准的可能性 (hn-50176082)。 3. Hacker News 上的评论者指出，微调可以帮助模型学习特定领域的正确/错误输入，以提高置信度 (hn-50176082)。