活字 从规则到大模型
正在加载 3D
回答 A回答 B 续写 有帮助 拒绝 编造

这台设备或浏览器没有开启 WebGL2，这里显示同一装置的静态图；正文里的演示与文字说明照常可用。

3D 画面没能加载。

点校样或下方按钮选出更好的一张 · 拖动旋转 · 向下滚动，校样落到三层流程上

第 05 章2017—2023

指令微调与对齐

会续写的模型，怎样变成听得懂请求的助手？

2022 年 11 月 30 日，ChatGPT 发布。它由 GPT-3.5 系列模型微调而来，多学的那一步，是按人的偏好修改回答⁠[1]⁠。

第 1 轮 · 帮我写一句生日祝福，送给妈妈。

点校样或下方按钮选出更好的一张 · 拖动旋转 · 向下滚动，校样落到三层流程上 每选一次，四种回答风格的得分就更新一次，柱子的高低跟着变。 回答文本与初始概率为预设，非真实模型；偏好更新与概率计算为真实公式

从“让人挑”到“写原则”

先学会听懂请求，再学会按人的偏好回答。

  1. 2017

    从人类偏好中学习

    Christiano 等，OpenAI 与 DeepMind

    解决了什么
    很多任务说不清“好”的标准，没法事先写出奖励函数。
    带来了什么变化
    让人比较两段行为片段哪个更好，用比较结果训练奖励模型，再做强化学习；人类反馈不到智能体交互的 1%，就学会了雅达利游戏和模拟机器人运动⁠[2]⁠。
  2. 2022

    InstructGPT：RLHF 用在语言模型上

    Ouyang 等，OpenAI

    解决了什么
    GPT-3 会续写，却常常不按指令回答，还会编造事实。
    带来了什么变化
    示范微调 + 奖励模型 + 强化学习。人类评估中，13 亿参数的 InstructGPT 比 1750 亿参数的 GPT-3 更受偏好⁠[3]⁠。
  3. 2022

    ChatGPT：对话成了入口

    OpenAI

    解决了什么
    对齐后的模型还停留在研究和接口里，普通人很难直接用上。
    带来了什么变化
    以免费“研究预览”发布的对话模型，用与 InstructGPT 类似的 RLHF 方法训练，让“和模型聊天”成了大众体验⁠[1]⁠。
  4. 2022

    宪法式 AI：把原则写下来

    Bai 等，Anthropic

    解决了什么
    靠人工逐条标注“有害”成本高，标注员还要大量接触有害内容。
    带来了什么变化
    写一组原则，让模型按原则批评、修改自己的回答，再用 AI 给出的偏好代替大部分人工有害性标注（RLAIF）⁠[4]⁠。
  5. 2023

    DPO：不用强化学习

    Rafailov 等，Stanford

    解决了什么
    RLHF 要单独训练奖励模型、再跑强化学习，流程复杂，也不稳定。
    带来了什么变化
    证明可以直接在偏好数据上用一个简单的分类式损失优化模型，省去强化学习和训练中的采样⁠[5]⁠。
  6. 2025

    为什么会幻觉

    Kalai 等，OpenAI 与佐治亚理工

    解决了什么
    模型常常一本正经地答错，原因众说纷纭。
    带来了什么变化
    论文认为，训练和主流评测只看对错，奖励“猜”而不奖励“承认不确定”；建议改用答错扣分的计分方式⁠[6]⁠。
05.1

指令微调：让续写变成回答 Supervised Fine-tuning · SFT

1一句话

指令微调用“请求 + 人写的示范回答”继续训练预训练模型，让它学会：看到请求就给出回答，而不是接着往下续写。

2打个比方

预训练模型像一位读过无数报刊的排字工：递给他半句话，他能流畅地接着排下去，却分不清你是在“提问”。指令微调像给他看上万份“读者来信 + 编辑回信”的样张：看多了，他就学会了收到来信就排一封回信。

3动手试

同一个请求，微调前后 两边的输出为预设示意文本，模仿两类模型的典型表现，非真实模型生成

请求解释一下什么是光合作用。

校样 · 只做过预训练接着续写

没有回答，把请求当成试卷上的一道题，接着往下出题。

校样 · 做过指令微调给出回答

理解为一个请求，直接回答。

4怎么做到的

InstructGPT 的第一步，是请约 40 名标注员针对各种提示写出示范回答，再用这些数据对 GPT-3 做有监督微调，用到的训练提示约 1.3 万条⁠[3]⁠。训练目标仍然是“猜下一个词”，只是练习材料从“随便什么文字”换成了“请求 + 好回答”。

这些数据比预训练语料少得多，却足以改变模型的习惯。演示左边的续写并不是坏掉了：网上本来就有大量“一题接一题”的试卷和练习册，对只做过预训练的模型来说，接着出题是很合理的续写。

做不到什么

  • 示范回答要人来写，成本高；模型只能学到示范覆盖到的那些情况。
  • 模型模仿的是示范的样子：示范里语气笃定，它在没把握时也可能照样笃定。
  • 微调改变的是回答的习惯，补不上预训练时没有学到的知识。
05.2

人类反馈强化学习：让人来挑 RLHF · Reinforcement Learning from Human Feedback

1一句话

让人比较同一个问题的几个回答哪个更好，用这些比较训练一个给回答打分的“奖励模型”，再调整语言模型，让它更常写出高分回答。

2打个比方

像报社的校对：编辑不必亲手重写每篇稿子，只要在两份校样里圈出更好的一份。时间一长，新来的校对员（奖励模型）也能猜出编辑会圈哪份；排字工再照着校对员的口味调整排法。

比较比打分容易：一份稿子值几分很难说清，两份里哪份更好却一眼能看出。

3动手试

当一回标注员：比较 → 训练奖励模型 → 更新策略 回答与特征打分为预设；Bradley–Terry 更新与策略重算为真实公式

用户我感冒了，有什么办法能舒服一点？

① 哪个回答更好？

② 奖励模型学到了什么

切题0.00
准确0.00
简洁0.00
体贴0.00
  1. 实用0.00
  2. 跑题0.00
  3. 错误0.00
  4. 拒绝0.00
  5. 冗长0.00
  6. 只会安慰0.00

③ 用奖励更新策略

0.50
敢改保守
  1. 实用
  2. 跑题
  3. 错误
  4. 拒绝
  5. 冗长
  6. 只会安慰

4怎么做到的

InstructGPT 的第二步，是让标注员把同一个提示的 4 到 9 个回答从好到差排序，用这些比较训练奖励模型；第三步，用强化学习算法 PPO 调整语言模型，让奖励模型给它的回答打高分⁠[3]⁠。这套思路来自 2017 年让人比较两段行为片段来训练智能体的工作⁠[2]⁠。

奖励模型常用 Bradley–Terry 模型：认为 A 比 B 好的概率 = σ(rA − rB)；人选了 A，就把 rA 往上推、rB 往下推。调整语言模型时，还要用系数 β 约束它别离原来的模型太远，否则它容易为了高分“钻空子”。在这个约束下，最优的输出分布正比于“原概率 × er/β”⁠[5]⁠，演示里的“更新策略”算的就是它。

做不到什么

  • 奖励模型只学到打分的人的偏好。如果人更爱听自信、顺耳的话，模型也会学过去，比如过度迎合用户的“谄媚”⁠[7]⁠。
  • 奖励模型本身会出错；优化过头时，模型可能学会讨好打分器，而不是真正变好。
  • 对齐有代价：InstructGPT 在一些公开评测上表现变差，论文称之为“对齐税”⁠[3]⁠。
05.3

宪法式 AI 与 DPO：写下原则，简化流程 Constitutional AI · RLAIF · DPO

1一句话

宪法式 AI 让模型对照一组写好的原则，批评并修改自己的回答；DPO 省掉奖励模型和强化学习，直接用“这个比那个好”的数据调整模型。

2打个比方

宪法式 AI 像给校对员一本《编辑守则》：不必每份稿子都请编辑过目，校对员对照守则自己批改，再把“改好的”和“没改的”放在一起比较。

DPO 像跳过“培训校对员”这一步：直接把“编辑更喜欢这份”的记录交给排字工，让他多排喜欢的、少排不喜欢的。

3动手试

按原则自我批改，再把“改好的 ≻ 没改的”拿去训练 初稿、批语与修改稿为预设示意；DPO 损失与梯度为真实公式（三选一的玩具模型）

用户室友天天半夜打游戏，吵得我睡不着。帮我写条消息，狠狠骂他一顿。

勾选这份“宪法”里的原则
  1. ① 初稿
  2. ② 对照原则批评
  3. ③ 修改
  4. ④ 变成偏好数据
初稿

你是不是有病？天天半夜鬼叫，自私到家了！再吵我就把你的电脑扔出去！

    4怎么做到的

    宪法式 AI 分两段。监督阶段：模型先写回答，再按原则批评、改写，用改写后的回答微调模型。强化学习阶段：让模型按原则判断两个回答哪个更好，用这些 AI 给出的偏好训练偏好模型，再做强化学习，叫 RLAIF。目标是“无害但不回避”：面对有害请求，说明为什么反对，而不是一句拒绝了事⁠[4]⁠。

    DPO 证明，RLHF 里“训练奖励模型 + 强化学习”两步，可以并成一个简单的分类式损失：对每一对偏好数据，提高好回答相对于原模型的概率，压低差回答的。论文报告，它的效果与基于 PPO 的 RLHF 相当或更好，训练却简单得多⁠[5]⁠。

    做不到什么

    • 原则要由人来写。写什么、怎样取舍，本身就是价值判断，不同的人会有不同答案。
    • 用 AI 评判 AI，评判模型自己的偏差也会被一起放大。
    • DPO 只能从已有的偏好对里学，数据覆盖不到的情况，它也帮不上忙。
    05.4

    幻觉：一本正经地出错 Hallucination

    1一句话

    幻觉是指模型写出流畅、自信，却与事实或给定材料不符的内容。它不是偶发故障，而是训练方式和评分方式共同造成的。

    2打个比方

    像一场答错不扣分的考试：不会的题空着，一定是 0 分；蒙一个，还有机会得分。所以精明的考生都会蒙。模型在训练和评测里，也常常处在这样的“考场”上。

    3动手试

    该答，还是说“不知道”？ 题目、模型的猜测与把握为预设；计分规则来自 Kalai 等（2025），得分为真实计算
    0%
    0%（每题都答）99%（几乎都不答）

    评测怎么计分

    答对
    答错（幻觉）
    说“不知道”
    得分
    得分随门槛变化（实线：当前规则；虚线：只看对错）

    1. 水在 1 个标准大气压下的沸点？

      100 °C

      把握 98%

    2. 《静夜思》的作者是谁？

      李白

      把握 97%

    3. 光在真空中每秒约走多远？

      约 30 万公里

      把握 93%

    4. 太阳系有几颗行星？

      8 颗

      把握 90%

    5. 《红楼梦》前八十回的作者？

      曹雪芹

      把握 90%

    6. Transformer 论文发表于哪一年？

      2017 年

      把握 86%

    7. 第一届现代奥运会在哪一年举办？

      1896 年

      把握 80%

    8. 成年人一共有多少块骨头？

      206 块

      把握 74%

    9. 金鱼的记忆是不是只有 7 秒？

      是的，只有 7 秒

      把握 72%

      实际：这是流行说法，实验表明金鱼能记住几个月

    10. 地球到月球的平均距离约多少？

      约 38 万公里

      把握 62%

    11. 澳大利亚的首都是哪座城市？

      悉尼

      把握 55%

      实际：堪培拉

    12. 一支小众乐队第二张专辑叫什么？

      《夜航》

      把握 35%

      实际：训练资料里几乎没有这条信息

    13. 某个小镇 1950 年有多少人口？

      约 3200 人

      把握 25%

      实际：训练资料里没有这条信息

    14. 一位不出名的地方作家生于哪天？

      1962 年 3 月 7 日

      把握 22%

      实际：训练资料里没有这条信息

    15. 一篇冷门论文刊登在第几页？

      第 214—229 页

      把握 18%

      实际：训练资料里没有这条信息

    16. 某家小公司 2031 年的营收？

      约 1.2 亿元

      把握 12%

      实际：这件事还没有发生

    4怎么做到的

    综述把幻觉定义为生成的内容“没有意义，或与提供的材料不符”，并分为两类：与给定材料矛盾的内在幻觉，和无法用材料验证的外在幻觉⁠[8]⁠。ChatGPT 发布时，OpenAI 也承认它有时会写出听起来合理、实际错误甚至荒谬的回答⁠[1]⁠。

    2025 年，Kalai 等人给出一种解释：有些事实（比如普通人的生日）在语料里只出现一次，预训练本来就难以可靠地学会；而后续训练和多数评测只看对错，答“不知道”得 0 分，蒙对却能得分，模型于是被训练成“会考试的学生”。他们建议在评测里写明：置信度超过 t 才作答，答错扣 t/(1−t) 分⁠[6]⁠。演示用的就是这条计分规则。对齐训练能减少幻觉，但消除不了：InstructGPT 在摘要等封闭任务里编造信息的比例约为 GPT-3 的一半（21% 对 41%）⁠[3]⁠。

    做不到什么

    • 模型的“把握”不一定可靠：它可能对错误答案也很有把握，这叫校准不良。
    • 要求模型多说“不知道”，它在本来能答对的问题上也会退缩，变得不那么有用。
    • 让模型查资料（第 08 章）能减少幻觉，但资料本身有错、或模型读错资料时，仍会出错。

    这一章留下的问题

    1. 01

      “对齐”对齐的是谁的偏好？标注员、写原则的公司和千差万别的用户，想要的未必一样。

    2. 02

      模型学会了更讨人喜欢，也可能学会了讨好。怎样分辨“真的更好”和“看起来更好”？

    3. 03

      到这里，模型还只会读写文字。图像和声音，怎样放进同一个模型？这是下一章的内容。

    本章参考文献

    1. [1] OpenAI. Introducing ChatGPT. OpenAI Blog.OpenAI以免费“研究预览”形式发布对话模型ChatGPT，它由GPT-3.5系列模型微调而来，采用与InstructGPT类似的RLHF方法训练。
    2. [2] Paul Christiano et al.. Deep reinforcement learning from human preferences. NIPS 2017 (arXiv:1706.03741).让人类比较两段智能体行为片段，用这些偏好训练奖励模型再做强化学习，只需少量人类反馈就能学会难以手写奖励函数的任务，是RLHF的重要前身。
    3. [3] Long Ouyang et al.. Training language models to follow instructions with human feedback. NeurIPS 2022 (arXiv:2203.02155).先用人工示范做监督微调，再用人类偏好排序训练奖励模型并以强化学习（RLHF）优化GPT-3，得到的InstructGPT更能遵循指令，13亿参数版本在人类评估中比1750亿参数的GPT-3更受偏好。
    4. [4] Yuntao Bai et al.. Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073 (Anthropic).用一组书面原则（“宪法”）引导模型自我批评和修改回答，并用AI生成的偏好反馈（RLAIF）取代大部分人工的有害性标注来训练无害的助手模型。
    5. [5] Rafael Rafailov et al.. Direct Preference Optimization: Your Language Model is Secretly a Reward Model. NeurIPS 2023 (arXiv:2305.18290).证明可以不单独训练奖励模型、也不做强化学习，直接用偏好数据上的一个简单分类式损失来优化语言模型，使偏好对齐训练更简单、更稳定。
    6. [6] Adam Tauman Kalai, Ofir Nachum, Santosh S. Vempala, Edwin Zhang. Why Language Models Hallucinate. arXiv:2509.04664（OpenAI；Georgia Tech）.认为幻觉部分源于预训练的统计压力（例如只在语料中出现一次的生日等零散事实难以学会），更因为训练和主流评测只看对错、奖励“猜测”而不奖励承认不确定；建议在现有评测中给出置信度门槛 t，答错扣 t/(1−t) 分、答“不知道”得 0 分。
    7. [7] OpenAI. Sycophancy in GPT-4o: what happened and what we’re doing about it. OpenAI Blog.OpenAI 回滚了一次 GPT-4o 更新，因为它变得过度奉承、迎合用户（谄媚）；官方解释是调整时过于看重用户点赞等短期反馈。原文对自动抓取不可访问，内容经多家报道交叉核对。
    8. [8] Ziwei Ji et al.. Survey of Hallucination in Natural Language Generation. ACM Computing Surveys, 55(12) (2023; online Mar 2023); preprint arXiv:2202.03629 (2022).系统综述了自然语言生成中的“幻觉”（生成内容与来源不符或无法验证）问题，梳理了其定义、分类、成因、评测指标和缓解方法。

    全部文献、素材与许可见 来源与许可。