AI 的思考之谜：推理链、验证器与规划的边界
收录于 AI 浏览量
从模型认知层讲清 AI 的“思考”：Transformer 每步算力固定，推理链如何把计算摊开；推理模型是怎样靠可验证奖励的强化学习练出来的；过程奖励与结果奖励的差别；为什么当前的大模型是局部优化器而非长程规划器；并结合光网络控制平面的 PCE 规划要素做一个工业级对照。
上一篇《AI 的自我改进》回答的是模型怎么变得更强，这篇往回退一步，回答一个更基础的问题：它那种“思考”，到底是什么东西？《AI Agent 核心推理逻辑详解》已经讲过 Agent 怎么组织思考——思维链、先规划后执行、反思修正，那是工程层的用法；这篇沉到模型层，讲为什么这套用法有效，以及它真实的边界在哪里。
一、先划三条线：复用、推理、规划
很多流行说法把这三件事搅在一起，其实它们是能力阶梯的三个台阶：
| 能力 | 本质 | 典型例子 |
|---|---|---|
| 模式复用 | 从训练记忆里调出既有解 | 背出的乘法口诀、常见成语接龙 |
| 推理 | 把既有步骤组合成新路径，一步接一步链式推进 | 多步数学应用题、跨表 SQL |
| 规划 | 在行动树上搜索一段满足约束的序列，未来的代价影响现在的选择 | 多文件代码改动方案、棋类多步预判 |
直觉关系是：推理是线，规划是树。如果把“输出很长”当成“会规划”，就会高估模型——拉长的只是链，树没有长出来。后面第四节专门讲这件事。
二、推理链为什么有效：把计算摊开在 token 上
关键在 Transformer 的一个物理事实：每个 token 的计算深度是固定的。不管问题多难，生成一个 token 能做的变换就那么多层。固定的深度做不了真正的多步推理——一步之内解不开一道代数题。
链式思考（CoT）有效，不是模型变聪明了，而是它换了一种记账方式：
- 每个 CoT token 相当于一行草稿，既是中间结果的暂存内存，也是一次额外的串行计算机会；
- 整道题被摊到几百个 token 上做完，“思考时间随难度伸缩”成为可能；
- 对自回归模型而言，写出来约等于想完了——它没有草稿纸和答题卡的区别，延长输出就是延长思考。
可解释性研究给这条逻辑补了实证：模型在某些任务里确实提前布局——写押韵诗时先把未来的韵脚位置“想”好，再倒排当前的措辞；做算术时会走一套自己的内部通路，而不是照搬例题的公开解法。这说明推理过程里有真实的计算组织，不是纯背诵；同时也说明它是受限算力下的组织，和人类在白板前想问题的“自由度”不是一回事。
推理模型（o1 一系、DeepSeek-R1 等）做的事，一句话概括：用可验证奖励的强化学习，把“给难题多分配思考预算、给简单题省着用”变成习惯。“aha moment”、先自我复核再作答这类行为，是这轮训练里涌现出来的，不是手写进系统提示的。还有一招反向证明“思考是软的”：强行在模型输出里多塞“等等，我再想想”这类续写 token，也能显著拉高难题正确率——思考预算确实是可以用 token 兑换的资源。
三、验证器决定推理的上限
接着上一篇闭环的话题往下说：推理训练的成败，取决于奖励有多难作弊。术语上分两种：
| 记号 | 含义 | 问题 |
|---|---|---|
| ORM 结果奖励 | 只看最终答案对错 | 步骤抄近道、蒙对结论也能得分 |
| PRM 过程奖励 | 逐步给推理过程打分 | 贵——需要高质量的过程标注 |
过程监督更难欺骗，o1 式推理模型的成绩，很大一块就是吃在高质量过程监督上。数学和代码在这个体系里享有天然红利：编译器和测试套件是免费的判官，生成多少条候选推理链都能低成本筛一遍。这跟上一篇“反馈信号越客观，闭环越可靠”是同一条规律的另一面。
所以训练推理模型的真实形态是一条流水线：大量生成候选链 → 验证器筛选 → 好链进数据集再训 → 模型更强 → 生成更好的链。听起来是不是有点眼熟？对，它就是自演进路线 A（STaR 式自举）在推理任务上的具体长相。
flowchart TB
Q[问题]
C[生成候选推理链]
V[验证器]
A[通过筛选的链]
T[再训练与迭代]
Q --> C
C --> V
V --> A
A --> T
T --> C
四、规划的边界：LLM 目前“搜索”得很浅
经典 AI 体系里，规划是门显式的工程：A* 启发式搜索、蒙特卡洛树搜索，配一个世界模型做前瞻推演。AlphaZero 之后的 MuZero 走得更漂亮——它从体验里学出世界模型，用想象中的推演代替真实交互，最后蒸馏成快速策略，实战下棋时甚至不需要显式展开搜索树。
对照这把尺子，LLM 这一侧的现状要诚实地说比较浅：
- 朴素推理链是贪婪解码：一条单链走到底，本质是每步取局部最优。没有备用路线，错了只能靠 Reflexion 式反思回滚——回滚粒度是“重来一轮”，不是“换一条分支”；
- 显式搜索的升级方案存在但昂贵：Tree-of-Thoughts、Graph-of-Thoughts、RAP、LATS 这条线，在推理期真的建搜索树，配上价值评估与回溯。有效，代价也直接——每个节点都是一次完整生成，token 成本成倍涨；
- 推理模型本质是“压扁了的搜索”：并行撒出很多条链，用验证器在中间和末端裁枝。形态上是“把树搜索挤压进算力预算”，而不是学会了前瞻；
- Agent 层的缓解：先规划后执行、阶段性检查点、子代理分形，都是在想办法切短规划的距离——让每一段需要前瞻的长度缩到模型能胜任的范围。
剩下的是一个先天诅咒：自回归模型误差滚雪球。序列一长，早期一小步跑偏，会把整个计划带向完全不同的方向，而模型自己往往感受不到这种漂移。这就是“局部优化器”的含义：每一步都算得很认真，但没有人对这些步的全局负责。
五、对上本行：你天天在用一套工业化的规划器
把这个框架拿到光网络控制平面上对照，会看得更清楚——PCE 及其协议做的，正是教科书级的规划器：
| 规划要素 | 大模型 | GMPLS / PCE 控制平面 |
|---|---|---|
| 世界模型 | 文本分布上的隐式直觉 | TED 流量工程数据库，明确、可查询、可复算 |
| 目标函数 | 强化学习奖励，噪声且可作弊 | CSPF 约束加显式优化目标，确定 |
| 状态反馈 | 只能塞进上下文窗口 | Stateful PCE 持有 LSP 数据库，闭环可见 |
| 分层规划 | 无原生概念 | 层级 PCE 与域序列，工程原生支持 |
| 执行修正 | 重新生成一轮 | 重路由，秒级、有通道 |
差别一目了然：控制平面的规划是白盒——世界状态真实可读、约束可枚举、结果可以复算验证、错了有成熟的重路由通道。大模型的“规划”是黑盒近似——世界模型是拟合出来的文本分布，约束埋在训练数据里，验证只能靠外部真值兜底。
这也顺手回答了上一篇悬着的半个问题：为什么数据飞轮在有些领域转得飞快、在开放语言上转得慢——闭环的转速，取决于世界模型、目标函数和验证器三件套的质量。控制平面三样全真，所以自动规划二十年前就工程化了；大模型三样皆近似，所以刚刚开始长。你做 AI 排障的方向，本质上是把控制平面的第三样——验证器——接到大模型身上，让它在那一个领域先尝到“硬判官”的甜头。
六、别掉进的两个坑
- “输出长等于想得深”：不成立。重复模板、无关铺垫都可能只是训练痕迹，长度是必要条件不是充分条件；
- “只是复读”：也不成立。提前布局韵脚、内部算术通路这些证据说明模型确实在做现场组合计算。
准确的中间态是：大模型是受限算力下的压缩式思考者——会推理，验证器好使的领域走得意外地远；但把不确定的未来纳入当下的判断这种“真规划”，它还在路上。要让这条路延伸，靠的不是把模型输出变长，而是把验证器做得更硬、把搜索回滚做到更细——一如你熟悉的那套控制平面早就做过的那样。
到这里可以串起这个系列的认知主线了：底层架构提供能力，推理逻辑组织用法，Skills 与 MCP 供给燃料，自我改进在时间上复利——而这一切的地基，是这篇讲的那个东西：有效的思考永远发生在硬验证器的影子里。
