机械可解释性的研究旨在通过逆向工程人工神经网络,以了解它们如何处理信息并得出特定输出。该领域的一个核心挑战是“多语义性”,即观察到单个神经元往往会因多个看似无关的概念(例如“狗”和“汽车”)而激活。这一现象导致许多研究人员认为,神经网络本质上是重叠功能的“纠缠乱结”,使得它们难以解码为人类可理解的逻辑。
最近的分析表明,这种复杂性可能被夸大了。核心论点是,许多神经元实际上是“整洁”的——执行单一且特定的角色——但由于早期可解释性工具的局限性而被误认为是多语义的。通过使用现代智能体工具和更细粒度的研究方法,研究人员发现,在拥有高达数万亿参数的模型中,绝大多数神经元都是可读的,并组织成优美且连贯的电路。“混乱”的神经元往往被证明是代表共享的几何特征(例如“V形”),而不是一捆无关的语义概念。这种转变表明,可解释性的主要障碍可能是一个“模型描述”问题:我们对什么是“概念”的预设可能太狭隘,以至于无法捕捉到网络实际学习到的潜在特征。
然而,从“混乱”到“整洁”解释的转变面临着若干技术和哲学上的障碍。批评者指出,即使模型中 96% 的权重是可读的,剩下的 2-4% “未解释”的神经元可能代表涌现认知的核心枢纽,而这些可能是为了安全和对齐而理解的最关键部分。此外,还存在循环论证的风险:如果用于解释模型的工具本身就是由大语言模型生成的,研究人员必须确保他们没有被 AI 所“欺骗”——即 AI 可能提供一个简化且符合人类习惯的解释,同时隐藏其真实的内部逻辑。最终,虽然“整洁”假设为测序“AI 基因组”提供了一条更乐观的路径,但从这些电路中重建复杂算法的实际能力仍然是一个开放性问题。
