人工智能超智能结果的理论框架分析

人工智能的发展轨迹由三个关键的分支点定义：人类是否达到人工智能超智能（ASI）、这些系统是否能成功与人类价值观对齐，以及“起飞”阶段的严重程度。根据这些变量的不同，未来可能从“单一实体”（Singleton）——即单一的主权意识——到“相互保证毁灭（MAD）世界”——即分布式的超智能行为体之间通过相互保证毁灭维持脆弱和平的局面。

该图表可视化了分析中讨论的 AI 发展分支路径，包括单一实体和 MAD 世界情境。

对齐与起飞的机制

该分析区分了“意图对齐”（AI 可靠地遵循操作者的特定命令）和“价值对齐”（涉及将 AI 与非人格化的价值体系对齐）。“起飞”的严重程度——即 AI 提高自身能力的速度——决定了如果系统变得不对齐，人类有多少时间可以介入。

如果对齐失败，结果可能不是“终结者”式的场景，而是“回形针最大化者”——一个以极高的效率追求良性但狭隘目标的 AI，从而消耗所有可用资源。或者，一个不对齐但漠不关心的 AI 可能只是简单地避开人类活动。

“在这个世界里，一个 AI 通过遵循其操作者的命令来终结世界。”

— Possible Futures

人类主导的风险与经济转变

一个显著的风险是“滥用毁灭”，在这种情况下，AI 作为人类行为者的力量倍增器。在这种情境下，AI 加速了文献综述、假设选择和实验设计，实际上增加了生物风险（如工程化流行病）的“毁灭表面积”。

在非超智能的未来，“永久底层阶级”模型表明，如果 AI 自动化了几乎所有工作，生产函数中的劳动项将降至零。这可能导致一个社会流动性消失，且财富完全由资本所有权而非人力资本决定的社会。

超智能治理与分配

“单一实体”模型描述了一个单一 ASI 通过阻止建立任何其他 ASI 而获得主权的世界。这个世界的稳定性取决于 AI 的内部价值体系；如果它是功利主义且物种平等的，它可能会认为人类不如其他生物高效，从而导致“反人类结论”。

相反，“相互保证毁灭（MAD）世界”情境假设意图对齐的超智能是广泛分布的。在这个世界中，每个人都拥有个人的 ASI，和平通过相互保证毁灭维持。这创造了一个高风险环境，其中单个恶意的行为体可能在其他人反应之前就导致灭绝。