1. 这个标题到底在问什么
“AI 为什么可能成为人类最后一项需要亲自发明的技术?”每次看到这种标题,我都会下意识先按住自己的兴奋感。因为它不是一篇预言文,而是一条可以被拆开、被验证的思想链:我们先把“智能”从图灵那里变成可计算的对象,再让这个对象带上“自我改进”的能力,然后在某个临界点,机器开始自己研发机器,人类退出发明者的位置。
我把这句话翻译成更朴素的问题:人类还有没有哪项发明,是比“发明智能”更基本的?如果一台机器能够理解“如何发明”,并且能持续优化自己的理解能力,那它理论上可以把这条链条越滚越长。你只需要给它一次启动的能力,后面全是它自己的事。这个想法听起来疯狂,但它的种子早在几十年前就埋下了。
顺着这条线走,你会遇到几个绕不开的节点:图灵的计算理论、智能爆炸猜想、Gödel Machine 的数学设计,以及今天自动 AI 研发和递归自我改进的真实进度。这几个节点并不只是名词堆砌,它们代表着一个从“定义智能”到“委托智能”的完整思路变化。这也正是我决定写这篇长文的原因:想用从业者的视角,把这条线索从头捋一遍,看看哪些已经落地,哪些还停留在纸面,哪些其实被我们严重高估了。
适合读这篇文章的人,我觉得有两类。一类是做 AI 相关开发、看过不少模型和技术新闻,但一直没把“自我改进”这条思想线串起来的人;另一类是学哲学、历史或者对技术到底是什么感兴趣的人。我尽量不堆公式,把每个概念背后的“为什么”讲明白,并提供可直接理解的技术背景和判断框架。
2. 图灵留下的两张底牌:可计算性与智能判断
2.1 图灵测试:它测的不是“聪明”,而是“不可区分”
讨论 AI 自我改进,绕不开图灵。图灵在 1950 年发表的论文里提出了一个很出名的操作化定义:如果一台机器在对话中让人无法分辨它是人还是机器,那这台机器就可以被认为是“智能”的。这个判据后来被叫成图灵测试,但它的意义常常被低估。
很多人把图灵测试理解成“骗过人类就算赢”,好像 AI 只要能伪装聊天就行。但我更愿意把它解读为一种定性方法论:它把一个模糊的哲学概念“智能”,转换成可以观察、可以检验的行为表现。这是个巨大的思维跳跃。过去人们讨论智能,总在追问“意识是什么”“自我是什么”,这些追问很容易变成永无止境的概念战争。图灵做的事情,相当于把问题从“它是不是真有思维”改成“它在多大范围内表现得像有思维”。这个视角让我们可以去工程化地逼近智能。
从这个角度看,图灵测试的本质,是把不可验证的终极问题,降维成可迭代的工程问题。后来的对话系统无论发展到什么程度,本质上都在重复这个逻辑:用行为效果代替内心体验。我们不确定机器有没有“感受”或“理解”,但我们可以测试它的行为在多大程度上和人类不可区分。这条思路,是后面所有 AI 进展的思想前提。
但真正让“最后一项发明”这个命题成立的,还不仅仅是图灵测试,而是图灵的另一张底牌——通用计算理论。
2.2 通用计算:为什么计算理论一出生就具备递归潜能
图灵机的厉害之处,不在于它是一台具体的机器,而在于它给出了一种“通用”的计算抽象:只要给定足够长的纸带和规则表,它可以模拟任何其他计算过程。换句话说,一台通用的计算机,可以把自己也当成计算对象来处理。
这意味着什么?意味着一个系统原则上可以同时做两件事情:运行程序,并分析、修改程序本身。只要代码是数据,AI 就能把“改进自身”也变成一道计算题。今天所有 AI 自我训练、模型蒸馏、强化学习调参,底层都在利用这个性质。你说模型是在“学习”,本质上是一台通用计算机在修改另一套参数,而修改参数这件事本身,也可以写成程序继续被修改。
最有趣的是,这个性质并不是现代工程带来的,而是图灵在理论上已经证明过的。通用计算天然具备递归潜能:你可以写一个程序来改写自己,然后这个“改写自己”的程序还可以再被改写。这条逻辑只需要一个起点。图灵机没有告诉我们这台机器会怎么升级,但它告诉了我们升级这件事是原则上可计算的,而不是魔法。
如果把这一步看透,后面智能爆炸、Gödel Machine、自动 AI 研发,都只是“图灵那个起点”的延展而已。接下来的问题就是:如果这台机器真的开始自我改进,它能改进到什么程度?
3. 智能爆炸:从思想实验到技术焦虑
3.1 智能爆炸的基本机制
“智能爆炸”这个词,很可能来自上世纪五六十年代关于自动编程和机器学习的早期讨论。它最基本的逻辑链条是这样的:如果机器智能能达到人类专家的水平,它就能参与 AI 研究;如果它参与 AI 研究的速度比人类更快,它就能在很短时间里提升自己的智能;更高的智能又让它能更快改进自己……于是形成正反馈循环,智能水平在短时间内冲出人类能够跟随的范围。
这个机制听上去像科幻,但拆开来看,它的每一步都对应一个可验证的技术前提。前提一,机器要能自主产生研究思路,而不只是执行固定算法;前提二,机器的改进速度要快过人类研究者;前提三,改进收益要能稳定累积,而不是碰到天花板。这三个前提没有一个被完全实现,但也没有一个被证明不可能。这就是智能爆炸话题最有意思的地方:它无法被证伪,只能被延迟。
在技术思想史里,智能爆炸还有另一个名字——“最后一项发明”。因为它推断出一个终点:一旦人类发明出拥有“发明能力本身”的机器,后续的所有技术革命都可以由机器接管。人类不需要再亲自发明超光速引擎、不需要亲自设计星际飞船,只要告诉 AI“你去发明吧”,它就能顺着自己的智能优势把答案找出来。
3.2 为什么它被称为“最后一项发明”
这个短语的奇妙之处,在于它把“发明”这件事看成了一个可以自动化的过程。过去每一次技术革命,人类都是发明主体:我们发明蒸汽机,发明计算机,发明互联网。但如果有一天,机器的智能水平足以让他们理解“发明”这个元能力,那么人类就变成了按启动键的角色。接下来不管发明什么,都是 AI 的工作。
从这个意义上说,“AI 是人类最后一项需要亲自发明的技术”并不仅仅在讲 AI,它其实在讲一种发明权的转移。人类历史上有过几次工具替代体力,有过算法替代计算,但“替代发明本身”这还是头一回被认真讨论。
不过,智能爆炸这个思想实验有一个致命缺陷:它假设智能可以不加限制地自我增强。它没有考虑算力、数据、物理环境和社会结构的约束。你可以有很强的算法,但芯片制造需要时间;你可以有很好的模型,但测试和改进需要大量真实世界反馈。这个缺陷在后面的 Gödel Machine 里表现得特别明显:一台能自我证明的机器,理论上很优雅,但工程上每一步都要付出真金白银。
4. Gödel Machine:把“自我改进”变成数学命题
4.1 一台能证明“自己应该改”的机器
Gödel Machine 这个概念,经常被懂理论的人拿来当“递归自我改进”的雏形设计。它的核心思想是:构造一个智能体,它不仅仅通过试错来学习,而且能够在数学上证明“如果我改成某个新版本,新版本的行为一定会比旧版本更优”,然后主动重写自己的代码。
你可以把它理解成一台会写论文的机器。普通的 AI 训练是在调参数,有一定概率变好,也有一定概率变坏。Gödel Machine 则不同,它要先完成一个证明:把当前版本、新版本、环境模型全部形式化,然后推导出“新版本的预期效用函数值严格大于当前版本”。如果这个证明成功,它就执行修改;如果证明失败,它就不动。
这个设计最吸引人的地方是它的严谨性。一般的 AI 自我改进靠的是经验、概率和启发式,而 Gödel Machine 试图把“我该不该改自己”变成一个定理。这听起来像终极安全机制:机器不会在不确定的情况下随便改自己,它只会做那些能证明收益的修改。但这里也有一个工程上的巨大代价——证明本身需要消耗计算资源,而且并不是所有改进都能被形式化证明。
4.2 不完备定理在这里为何不是障碍
很多第一次听说 Gödel Machine 的人会问:哥德尔不完备定理不是说任何足够强的形式系统都存在不可判定的命题吗?那 Gödel Machine 怎么还能证明自己?这个疑问其实混淆了两件事。不完备定理说的是“存在某些命题在该系统内既不能被证明也不能被证伪”,它不要求“所有重要命题都不可判定”。
Gödel Machine 的策略是靠“搜索证明”而不是“提前拥有证明”。它在每次自我修改前,会花费资源去搜索一条能证明“修改后更好”的推理链。很多情况下这样的证明根本不存在,但没关系,机器最多选择不自改,安全性不会下降。真正的问题在于:你可能等不到一个完美的证明,只能等到一个“看起来可行”的证明。
我实际去看这类设计的时候,最大的感触是,它把“智能”和“证明”强行捆在了一起。但从工程角度看,这很可能不是最优路径,因为现实世界的很多改进是无法提前形式化的。好比你在开发环境里改一个代码模块,你无法证明它在所有未来输入下都不出错,你只能通过大量测试来确认“大概率不会出错”。
4.3 当前工程距离 Gödel Machine 还有多远
坦率地讲,今天的 AI 系统和 Gödel Machine 之间有非常大的距离。我们现在做得最多的“自我改进”,是自动调参、架构搜索、基于人类反馈的强化学习,以及用大语言模型辅助改代码。这些方法都很实用,但它们都没有一个全局的数学证明框架。
在工程实践中,“递归自我改进”通常被简化成了“用 AI 来优化 AI”。这比 Gödel Machine 低了好几个维度,因为它只是在某个固定框架内迭代,而不是在重写自身的逻辑基础上迭代。一个模型可以被训练得更好,但训练它的人还是人类;一个编译器可以优化自己的源码,但优化目标仍然由人设定。真正意义上的递归自我改进,应该是让系统自主提出“我应该换成哪种学习范式”这样的问题,而不只是“我应该把学习率调成多少”。
这个差距意味着,我们离“最后一项发明”还隔着整整一个理论革命。当前的所有工作,本质上还是人类在指导机器优化,而不是机器在自主设计机器。
5. 自动 AI 研发与递归自我改进的现实水位
5.1 现在的自动研发做到哪一步了
抛开理论模型,看看今天的工程现实。自动 AI 研发这个概念,其实已经以很朴素的形式出现在很多工具里了。
第一层是自动化机器学习。它负责搜网络结构、调超参数、选取特征,把“研究出一个模型结构”的部分流程自动化。这个层面不需要理解逻辑,只需要大量算力去试。第二层是智能体辅助编程。现在很多开发者会让 AI 助手去写代码、做测试、修 bug,AI 已经把研发过程的一部分环节接管了。第三层是基础模型直接生成新程序。你给出一个需求描述,模型直接生成一个完整模块,甚至生成一套测试用例。
但你要仔细看,这三层都没有突破一个边界:反馈和目标是由人类定义的。自动机器学习搜出了一个好的结构,但“好”的标准是准确率,准确率这个标准是人类定的;AI 助手帮你修了 bug,但“bug 是什么”是程序里已经写好的异常条件,人类设计师定的;模型生成了一整套代码,但“代码要完成什么功能”是人给出的 prompt。整个循环里,机器做的是优化,而不是发明。
从思想史角度看,这些工作相当于给“最后一项发明”做预演。它们证明机器可以在局部任务上以超人的速度搜索和优化,但它们不能证明机器能发明全新的目标体系。
5.2 从“自动写代码”到“自动发明”之间隔着什么
如果我们把目标定为“AI 自动发明新算法”,你会发现真正的瓶颈其实不是写代码,而是产生新问题框架。写代码只是一个执行动作,真正的发明是提出一个问题,比如“是否存在一种不需要反向传播的训练方法”。
现在的大模型能做到类似的事情吗?它们能根据已有知识组合出一段看似新颖的文本,但组合和发明到底是不是一回事,这恰恰是 AI 领域最含糊的问题。从工程角度,我倾向于把两者分开对待:如果 AI 生成的内容人类需要验证后才知道对不对,那这就是“受控的创意生成”;如果 AI 生成的内容能自我验证其价值,那才算真正进入了递归自我改进的轨道。
目前的大语言模型,验证能力还是靠外部环境:跑测试、查资料、人类反馈。没有人把它和 Gödel Machine 那样彻底绑定,让 AI 在内部完成价值的证明和选择。这也是我认为“递归自我改进”目前不是算法问题,而是体系问题的原因。你需要的不是一个更聪明的模型,而是一整套能闭环的“生成→验证→采纳”机制。这也是未来最值得关注的突破口。
6. 常见问题速查:被高估的“终结”与被低估的“门槛”
6.1 “AI 一旦达到人类水平,就一定会智能爆炸吗”
不一定。达到人类水平只是必要条件,不是充分条件。即使一个 AI 系统能在大部分任务上接近人类,它仍可能缺少自我反思的闭环:它能算题,但不会意识到自己的推理路径哪里有问题;它能改进参数,但不会判断改进方向是否值得。智能爆炸需要系统具备“元认知”能力,也就是能站在自身之外看自己。这个能力目前没有任何工程答案。
另外,还有一个常被忽略的物理约束:计算资源。就算 AI 能设计出更聪明的算法,也要有足够的算力去训练和验证。算力的增长会受到芯片、能源、散热的限制。你可以在理论上让 AI 设计出一个需要一万倍算力的新算法,但如果世界造不出那么多算力,这个改进就永远只是文档里的一段代码。智能爆炸不是纯思维事件,它是基础设施事件。
6.2 “AI 能自我训练,递归改进为什么还这么慢”
因为“自我训练”这个词被用得太宽了。现在大多数自我训练,是在固定网络结构和固定数据分布下继续调参。它没有改变算法的基础范式,只是在当前范式的边缘做局部优化。真正的递归自我改进要求系统能主动改变它的学习范式,比如从监督学习切到强化学习,或者从神经网络切到神经符号推理。
慢的另一个原因是验证成本。如果真的想让 AI 自我改进,你需要严格的评估机制来防止它“改坏了”。目前大多数项目根本没有能力验证一次完整重构是否整体变优,只能通过重跑实验来做近似判断。这些验证过程需要时间、算力和人工介入,递归改进的速度自然就被拖慢了。
6.3 “如果这是最后一项发明,人类之后要做什么”
这是一个价值观问题,不只技术问题。即便我们真的实现了递归自我改进,也不意味着人类无事可做。至少有两个方向仍然只有人类能定义:一个是给 AI 设定价值边界,比如“哪些事不许自动改进”;另一个是在 AI 给出技术方案后,选择“我们要不要用”。
我见过不少做 AI 的研究者在这件事上很焦虑,担心某天所有研究都没意义了。但我个人的看法是:哪怕 AI 能发明算法,它也发明不了“你为什么需要这个算法”。人类的存在感并不建立在“比机器更聪明”,而在于我们从自己的痛苦、欲望和好奇心出发,去定义值得解决的问题。这个起点,机器能模拟,但未必能拥有。
7. 我在这些思想里体会最深的东西
理清这条思想链之后,我自己最大的变化是:不再把“AI 取代人类发明者”当作一个惊悚故事,而是把它看作一个要拆成很多环节的长链条。图灵给了起点,智能爆炸给了动力模型,Gödel Machine 给了可行性论证,自动 AI 研发给了现实案例。每段都有价值,但每段也都有限制。
如果现在有人跑来问我“AI 是不是人类最后一项发明”,我会回答:它目前连自己是怎样发明出来的都还说不清楚,更别说成为发明者本身。但这条路确实在变宽,只是速度比媒体宣传的要慢得多。真正值得关注的不是某天早上醒来发现 AI 自己升级了,而是那些正在被工程化的中间步骤:自动数据标注、自动代码审查、自动化论文验证,这些真正意义上的“研发自动化”,会一步一步把发明权从人手里移交出去。
我也越来越觉得,未来的 AI 研究者最重要的能力,不是写模型的能力,而是定义验证机制的能力。因为一旦系统拥有了自我改进的能力,你怎么证明它改完之后还是安全的、可信任的、符合目标的,就成了决定这门技术能不能落地的关键。这也算是我们在“AI 最后一项发明”之前,还能亲自做很久的一项工作。
最后再分享一个小观察:每次出现“AI 即将接管一切”的说法,我都会回去读一读图灵那篇旧论文。图灵当年讨论机器能否思考时,用的是非常冷静的论证,而不是狂热预言。这种温和又精确的态度,比什么宏大叙事都更适合今天。你想研究 AI,就先接受它还没那么神秘;你想发明 AI,就先接受它离自我发明还差着很多个难关。