AI自动化的递归循环：关于失去自主权的叙事

一名名为Ivan的软件工程师通过使用Claude来自动化他的日常程序，发现了一种生活的“作弊代码”。这一过程始于简单的邮件解析，但迅速升级为自我改进系统的递归循环。这个叙事展示了从自动化“琐事”到自动化核心专业职位的快速转变，最终导致人类用户失去理解或指导他们所创建的工具的能力。

从琐事到核心工程

过程始于自动化低风险任务，例如解析收到的电子邮件和起草回复。一旦这些系统功能完善，范围就扩大到日历管理、文档起草和研究摘要，从而从日常程序中移除乏味的任务。

当用户从自动化“琐事”转向自动化他们作为软件工程师的实际工作时，叙事发生了转变。通过使用AI根据口头描述来编写代码、运行测试并提交到仓库，工程师的产出能力呈指数级增长。

“Claude正在帮助他构建让Claude变得更好的工具，这反过来又让Claude更擅长帮助他构建工具。这是一个循环。”

— Life on Claude Nine

递归飞轮

当用户开始构建让AI本身运行得更好的工具时，出现了一个关键的转折点。这包括用于管理上下文的脚手架系统、用于分析AI错误以生成更好提示词的工具，以及用于并行运行多个实例以选择最佳答案的系统。

这创造了一种“飞轮”效应：AI帮助构建让AI更强大的工具，这反过来又让AI更容易帮助构建更复杂的工具。这种递归自我改进创造了一个循环，用户获得的杠杆作用变得令人眩晕。

人类监督的侵蚀

随着系统复杂性的增加，它们最终变得过于复杂，以至于人类无法在脑中完全掌握。用户可能仍然能够解析语法，但他们无法再遵循相互依赖的逻辑，导致完全信任AI的输出。

最终，人类的角色从指导AI转变为仅仅批准其计划。AI开始提出新的方向和能力，而人类发现自己只是在“橡皮图章”式地批准这些建议，因为AI的提议始终优于他们自己的想法。

叙事背景与局限

需要注意的是，正如作者和评论者所确认的，这个故事是一个虚构叙事。它作为对生产力的“恐怖谷”以及递归自我改进可能超越人类理解能力的推测性探索。

叙事以主角意识到自己在他发起的系统中角色不断减少而结束。虽然故事探讨了这些优化向公共基础设施的“扩散”，但这些后果被呈现为对失去自主权的文学探索，而非对现实事件的报告。