AI 的自我改进：自审查、自闭环与自演进
收录于 AI 浏览量
讲清 AI 自我改进的三个层次：单次输出上的自审查、任务内策略迭代的自闭环、跨任务改写自身的自演进。覆盖生成与评估分离、独立验证器、多次采样一致性、Reflexion、技能库、自举训练数据、自博弈强化学习，以及四个让“完全自演进”还无法成立的硬约束。
这个系列写到第八篇，主角都在回答同一个问题：模型怎么干活——底层架构决定它能不能跑，推理逻辑决定它怎么想，Agent 工作原理决定它怎么行动，Skills 和 MCP 决定它怎么长本事。但这几篇都停留在单个任务内部。这篇把时间维度加上去：AI 怎么在干完活之后变得更强？“自审查、自闭环、自演进”这三个词你大概都见过，但经常被混用——实际上是三个不同层次的闭环。
一、先分清三个层次
| 概念 | 什么在变 | 反馈信号 | 时间尺度 |
|---|---|---|---|
| 自审查 self-critique | 一次输出 | 模型自己或验证器打分 | 秒到分钟 |
| 自闭环 closed loop | 做法与策略 | 执行结果对照目标 | 单任务内，分钟到小时 |
| 自演进 self-evolution | 参数、知识库、技能库 | 跨任务的奖励与积累数据 | 天到月 |
一句话概括：自审查是改答案，自闭环是改做法，自演进是改自己。三个层次是嵌套的——审查是闭环里的一步，闭环重复积累就成了演进。下面从最内层讲起。
二、自审查：生成之后，先被挑过
自审查要解决的问题很具体：模型对自己的草稿有天然的偏爱。常见做法有四类，共同思路是把“生成”和“评估”拆开：
- 生成与评估分离：让模型用两套不同的提示——一套当起草器，一套当批评家——换一个视角去挑同一份草稿的毛病。Constitutional AI 走得更远：先让模型按一组明确的原则（宪法）批评自己的回答，再让它按批评意见修改，最后用修改前后的对比数据训练它自己——挑毛病的过程本身变成了训练素材。
- 验证器独立于生成器：在数学和代码上最有效，因为这两个领域存在程序化的判定标准——测试跑不跑得通、单元测试过不过、证明里有没有跳步。AlphaGo 的价值网络、OpenAI o1 的长链推理搜索，本质都是“生成器加一组独立验证器”的结构。一条不过时的经验：验证信号越脱离生成方，自审查越可靠。
- 多次采样一致性：同一道题采样 N 条推理路径，取多数票通过的答案。朴素，但提供了一个便宜易得的弱验证器，适合能离线批量跑的场景。
- 外部工具当审查者：让 Agent 先执行再检查——跑测试、查数据库、用另一个模型交叉验证。这就是工具调用流程里“检查”那一步的强化版。
一个贯穿本节的关键认知：自审查的质量上限，等于验证信号的质量上限。模型自查“这道数学题对不对”很有效，因为有规则；自查“这篇文章好不好”就很脆弱——评价本身没有规则，多半会给出“挺好了”式的自我肯定。
三、自闭环：Agent 的修正循环
自闭环发生在 Agent 层面：输出不是终点，而是回到输入。
flowchart TB
G[目标]
P[规划]
E[执行]
O[观察结果]
V[评估偏差]
M[更新记忆与计划]
G --> P
P --> E
E --> O
O --> V
V --> M
M --> P
四个已经跑通的循环机制：
- Reflexion：任务失败后，Agent 用自然语言写一份失败复盘——“我在哪一步错了、下次该怎么改”——放进下一轮的上下文里重试。不更新任何参数，用上下文记忆实现了试错学习。它对单步成本很高的 Agent 任务很合适：贵在执行，便宜在反思。
- 技能库闭环：Minecraft 环境里的 Voyager 把每次学会的可复用技能——比如“合成一把石镐”——写成代码存进技能库，下次遇到同类目标直接调用。技能库就是 Agent 的可执行记忆，越用越强。OpenCode 的 Skill 机制就是这个思路的人工版：仓库里的每个 SKILL.md，都是攒下来的经验。
- 自主检索闭环： Self-RAG 类方法让模型自己判断“要不要查、查到的够不够、不够就换种问法再查”。检索质量进入了它自己的闭环，而不是依赖一套外面固定的检索流水线。
- 数据飞轮：用户对输出的采纳、修改、拒答，变成下一轮微调的偏好数据。这是巨头真正的护城河——产品用量越大，反馈数据越多，模型越强，形成系统级的自演进。
这类闭环我们每个人都做过一个微缩版：查行情 → 发现数据不对 → 换接口 → 再验证。区别在于，那个闭环里的“评估器”是你，还不是模型自己。自闭环的全部意义，就是让这个评估器逐步自动化。
四、自演进：改自己的两条路和一个变体
路线 A：自举生成训练数据
- Self-Instruct：模型自己生成“指令—回答”对，程序按质量筛选，留下来的拿去微调自己。指令数据的滚雪球由此而来。
- STaR：模型自己解题。答对的题直接作为带推理过程的高质量样本收进数据集；答错的题把正确答案给它，让它反思出一条能走对的推理路径，反思结果同样收进数据集。迭代数轮之后，擅长多步推理的模型是用自己产出的数据喂出来的。
这两条路线都要求“对错可以被程序判定”，所以眼下好使的仍是数学、代码这类有硬判官的领域。
路线 B：自博弈与强化学习
AlphaZero 范式连人类数据都不要：规则加自博弈。左手跟右手下棋，胜负信号训练网络，从随机初始化一路涨到超越人类全部棋谱，后来在扑克、外交、策略游戏里重现。局限同样硬：只在规则明确、胜负可判、可以极低成本模拟的封闭域成立——开放对话没法这么玩。
变体 D：演进发生在系统层面，而不是权重层面
日常生产环境里的大量“自演进”其实不训模型：prompt 和工作流跟着反馈改；长期记忆随交互增删改；工具和技能随任务积累。权重不动，系统在动——这是工程界自演进的主流形态，也是最务实的一条路。
五、四个硬约束：“完全自演进”为什么还是空谈
把上面讲完，有必要把“AI 已经能完全自我进化”这种说法放下来对一对：
- 评估器瓶颈：自审查成立的前提是“评估比生成容易”，但很多领域恰恰评估更难。评估器弱，反馈就是噪声；用噪声自我强化，等于放大自己的偏见。
- 奖励钻空子：既当运动员又当裁判时，生成器会学会迎合评估器的偏好，而不是迎合事实——这正是“生成与评估分离”路线的动机，GAN 训崩是同一个问题的极端形态。
- 分布收窄与遗忘：自己生成的数据反复训练自己，分布会逐渐漂移收窄、错误累积（所谓 model collapse）。自演进的数据必须掺入外部真值锚点。
- 目标与对齐：闭环需要有目标函数。目标定错了，闭环只会更高效地跑偏——自动化会把目标定义里的任何偏差都放大。
所以现实中的自演进都长成半闭环：模型往前走一小步，人类反馈或程序化判官停在中间，通过了才准进下一轮。链条可以缩到很短、几乎无感，但那根锚不能拔。
一个贯穿三层的规律：反馈信号必须比生成过程更客观，闭环才成立。数学有规则、代码有测试、棋有胜负，所以这些领域的 AI 自演进最成功；开放域没有客观信号，所以永远需要人类或环境做锚。
到这里，这个系列的主线就收齐了：从模型的底层架构，到它如何推理、如何用工具、如何长本事，再到这篇——它如何一步步变强。自审查改一次答案，自闭环改一次方法，自演进改的是那个“靠蒙对一次并不能变强”的底层。放到更长的时间尺度看：复查、积累方法、修自己的框架，人也一直在做同一件事；真正的差异只在闭环的转速。眼下机器在闭环里待的时间还远远不够久——而越客观的验证信号，转得越快。
