“退相干”的概念描述了一种特定形式的技术债,即系统变成了一个由局部功能正常但彼此不兼容的模型组成的补丁集合。作者以建筑管道为例解释道,虽然在管道故障时更换单根管道是一种低干扰策略,但如果反复使用不同的标准进行更换,就会创建一个由独特力量和属性组成的复杂网络。随着时间的推移,这会创建一个需要更高专业知识才能修改的系统,因为每一个“补丁”都可能对整个网络产生意想不到的后果。在软件领域,这表现为代码中的“迷宫”,随着系统的扩展,交互的复杂性呈组合式增长。
此图说明了用于解释局部补丁如何随着时间的推移创建复杂互不兼容模型的水管类比。
这一现象目前正受到人工智能广泛使用的加速。作者认为,AI 生成的“垃圾内容”(slop)——即局部有效但缺乏全局连贯性的内容或代码——正以不可持续的速度被整合到系统中。虽然有些人担心失控的递归自我改进(智能爆炸),但作者认为退相干实际上是此类进步的制动器。由于变更成本主要由在不兼容模型之间进行转换以及防止副作用的需求所主导,退相干阻止了 AI 在封闭环境中快速改进,并限制了其在封闭环境之外改进的能力。
此图说明了作者的观点,即退相干通过增加变更成本来作为快速进步的制动器。
然而,作者警告称可能会发生“退相干崩溃”。当系统迷宫的复杂性呈指数级增长,超过工程师导航系统的能力时,这种情况就会发生。作者使用模拟演示:虽然低连贯性行为者(那些做出快速、局部决策的人)最初移动较快,但他们最终会创建一个如此纠缠的图,以至于即使是高连贯性行为者也会因为做出单一更改所需的庞大上下文信息而减速。如果复杂性呈指数级而非线性增长,增加更多的算力或更多的自主代理可能只能提供暂时的缓解,随后迷宫就会消耗所有可用资源,可能导致系统变得无法维护或无法安全修改。
此模拟演示了低连贯性行为者与由此产生的系统图表复杂性之间的关系。