大语言模型基础
收录于 AI 浏览量
大语言模型入门：next-token 预测的生成原理、规模与涌现、从补全到对话的后训练、上下文窗口、能力边界与幻觉的根源、提示词的基本手艺、主流模型生态一览。本系列其他四篇的起点。
这个系列已经写了四篇：OpenCode 教程、Agent 推理逻辑、Agent 工作原理、AI 底层架构。有读者说该有个起点——对，这篇补上：大语言模型本身。不讲工程栈，讲一个使用者最该懂的概念：它是什么、能力从哪来、边界在哪、怎么把它用好。看完这篇再读系列其他篇，会顺很多。
一、大语言模型是什么：一台猜词机器
剥掉所有神秘感，大语言模型的核心任务只有一个：给定前面的文字，预测下一个 token 的概率分布。
flowchart LR
A[输入文本] --> B[模型算出概率分布]
B --> C[采样下一个 token]
C --> D[追加到输入末尾]
D --> B
C --> E[遇到结束符号 输出完整回答]
“今天天气真——”后面接“好”的概率高，“香蕉”的概率低。就这么一件小事，但在万亿级文本上训练到极致之后，模型为了猜准下一个词，被迫学会了语法、事实、推理甚至写代码——因为预测一段技术文档的下一个词，你得先“懂”这段技术在说什么。
生成一个回答，就是把这个猜词游戏循环几百次：每猜出一个 token，接回输入末尾，再猜下一个，直到模型输出“结束”符号。你在界面上看到回答逐字蹦出来，就是这个循环的实况。
二、规模与涌现：为什么越大越聪明
模型的能力由三个要素共同决定：参数量（模型内部可调节的旋钮数）、数据量（训练文本的规模）、算力（训练投入的计算量）。三者遵循经验性的缩放定律——按比例一起加大，能力就按可预测的方式提升。
更有意思的是涌现：某些能力在小模型上完全不存在，规模跨过某个门槛后突然出现——
- 少样本学习：不用重新训练，在提示里给两三个例子，模型就能照猫画虎完成新任务；
- 指令遵循：你说“用列表形式、不超过三句话”，它真能照做；
- 思维链推理：让它把中间步骤写出来，复杂问题的正确率显著上升。
以 GPT 系列的演化为坐标：
| 模型 | 年份 | 规模 | 里程碑 |
|---|---|---|---|
| GPT-1 | 2018 | 1.17 亿参数 | 证明“预训练 + 微调”可行 |
| GPT-2 | 2019 | 15 亿 | 小样本任务初露锋芒 |
| GPT-3 | 2020 | 1750 亿 | 涌现大规模爆发，少样本学习成型 |
| ChatGPT | 2022 | —（GPT-3.5 级） | 对话能力 + 对齐，AI 走向大众 |
| GPT-4 及之后 | 2023+ | 未公开 | 多模态、长上下文、推理模型 |
三、从补全到对话：聊天能力是“调”出来的
基座模型（如 GPT-3）只会续写文本，不会“对话”——你问它问题，它可能续写出一串类似问题。让它成为助手，靠的是后训练（概念层面记住结论即可，工程细节见底层架构篇）：
- 监督微调：用人类示范的高质量问答教它“被人提问时该怎么回答”；
- 偏好对齐：用人类反馈调整品味——详略、语气、诚实度。
对话在接口层面由三种角色构成：
| 角色 | 谁在说 | 作用 |
|---|---|---|
| system | 开发者 | 设定身份与规则，如“你是一个严谨的翻译” |
| user | 用户 | 提问与指令 |
| assistant | 模型 | 回答 |
还有一个容易忽略的事实：模型是无状态的。所谓“多轮对话”，是每次都把完整历史重新发给它——它并没有一个地方“记着”你们聊过什么。上下文窗口就是它的全部记忆，这直接引出下一节。
四、上下文窗口：模型的全部工作记忆
模型一次能“看见”的文字总量是有限的，以 token 计量（一篇千字中文大约对应一千多到两千 token）。窗口里装着：系统提示、对话历史、你贴的资料、模型自己的中间推理——全都在内。
窗口装不下时，只有三条路：截断（丢掉最旧的）、压缩（把旧历史总结成摘要）、检索（资料放窗口外，需要时查回来塞进去）。Agent 产品里的上下文管理、RAG、记忆系统，本质上都是这三招的工程化——详见工作原理篇。
一个实用推论：重要的事要放在窗口里。长对话开头交代过的约束，聊到后面可能已经被挤出去——关键约定要么重复提，要么写进每次都会读到的文件里。
五、能力边界：擅长什么，不擅长什么
它擅长的
- 语言类工作：写作、改写、总结、翻译、润色——母语级的流畅输出；
- 代码：理解与生成主流语言、解释报错、写测试；
- 知识性问答：覆盖训练数据里的广泛领域，相当于一个博览群书但可能记错细节的顾问；
- 结构化转换：从非格式文本里抽取信息、按指定格式输出。
它不擅长的，以及为什么
- 幻觉（编造事实）：根源在训练目标——模型优化的是“像”，不是“对”。生成一段听起来合理的话，比承认不知道的“概率成本”更低。它不是在撒谎，它根本不区分“真”与“像”；
- 知识时效：训练完成那一刻，知识就冻结了。问它今天的新闻、最新版本的库，要么不知道，要么一本正经地过时；
- 精确计算：模型在“按概率猜词”，不是在跑计算器。心算三位数乘法可能对，五位数就可能错——需要精确计算就该给它计算器（工具调用）；
- 最新的世界状态：同上，冻结的知识 + 无状态的会话。
应对方式也顺理成章：验证关键事实、用检索补时效、用工具补精确性——这正是 Agent 存在的理由，详见推理逻辑篇。
六、提示词：与猜词机器沟通的手艺
理解了“预测下一个 token”，提示词的每条经验都有了原理解释：
- 把话说清楚：模糊的指令会让“下一个 token 的合理走向”变多，模型只能猜你想要什么。任务、背景、约束、输出格式，一次交代全；
- 给例子（少样本）：一个示例胜过十句描述——示例直接锚定了概率分布的走向；
- 让它想一步再答：“先分析再给结论”能显著提升复杂任务的正确率，因为中间步骤为后续 token 提供了依据；
- 给角色与受众：“你是资深编辑，读者是初学者”——角色约束了用词与深度的概率走向；
- 迭代：第一版提示词只是草稿，看到不满意的结果，把要求补进提示词再试。提示词是调出来的，不是想出来的。
七、模型生态一览
| 类型 | 代表 | 特点 |
|---|---|---|
| 闭源 API | GPT、Claude、Gemini | 能力最强、开箱即用，数据出域 |
| 国产 API | DeepSeek、通义、Kimi、文心 | 中文场景友好，合规与本地化优势 |
| 开源权重 | Llama、Qwen、DeepSeek、Mistral | 可自部署、可微调，数据不出门 |
选型看四个维度：能力（任务难度是否匹配）、价格（按 token 计费，量大时差距显著）、上下文长度（要不要塞整本书）、部署方式（API 便捷 vs 本地可控）。多数场景的正确姿势是混合：日常走性价比款，硬任务走旗舰款——这也是 OpenCode 这类工具支持自由换模型的价值。
八、小结与系列路线
| 概念 | 一句话 |
|---|---|
| 本质 | 预测下一个 token 的猜词机器，规模大到涌现智能 |
| 涌现 | 少样本、指令遵循、思维链——规模跨门槛后突然出现 |
| 对话 | 基座只会续写，后训练调出助手；system / user / assistant 三角色 |
| 无状态 | 每轮重发全部历史，窗口就是全部记忆 |
| 边界 | 幻觉源于“优化像而非对”，知识冻结、计算不精确 |
| 提示词 | 说清楚、给例子、先想后答、给角色、持续迭代 |
| 生态 | 闭源 API、国产 API、开源权重，按能力价格上下文部署四维选型 |
这篇是系列的“第零课”。接下来按顺序读：OpenCode 教程看工具怎么用 → 推理逻辑看 Agent 怎么想 → 工作原理看系统怎么跑 → 底层架构看一切站在什么上面。
