InstructGPT：RLHF 的突破
OpenAI 发布 InstructGPT，展示人类反馈强化学习对齐语言模型的方法。
事件概述
2022年初，OpenAI 发表了 InstructGPT 论文，详细介绍了如何使用人类反馈强化学习（RLHF）来对齐语言模型。RLHF 包含三个步骤：从人类标注的提示-回答数据微调模型、训练奖励模型预测人类偏好、使用PPO算法优化语言模型。经过 RLHF 训练的模型虽然参数更少（13亿 vs GPT-3的1750亿），但在遵循人类指令方面表现更好。InstructGPT 的方法后来直接应用于 ChatGPT 的训练，成为大语言模型对齐的标准方法。
深度学习笔记
背景、原理、影响与要点，一次读懂这个事件
背景与脉络
InstructGPT 由 OpenAI 于 2022 年 1 月提出（论文《Training language models to follow instructions with human feedback》）。背景是：GPT-3 虽强，却常生成不实、有毒或根本不按指令行事的输出——因为它只被训练去预测下一个词，而非「有用、诚实、无害」地助人。OpenAI 由此把研究重心从「把模型变大」转向「让模型对齐人类意图」，用人类反馈作为奖励信号来微调模型。这篇论文首次把「监督微调 + 奖励模型 + 强化学习」的 RLHF 三段式流程系统化和公开，成为后来 ChatGPT 与 GPT-4 对齐方法的直接前身。这篇论文把大模型研究的重心从「能力」拉向「对齐」，其方法影响延续至今。
核心要点
- 1核心问题是「对齐」：大模型能力强，却未必按用户真实意图行事。
- 2三段式 RLHF：先人工示范做监督微调（SFT），再训奖励模型（RM），最后用 PPO 优化。
- 3仅 13 亿参数的 InstructGPT 输出比 1750 亿的 GPT-3 更受人类偏好（参数少 100 倍）。
- 4对齐所用算力与数据不到预训练的 2%，说明「对齐」比「堆规模」更高效。
- 5在真实性上提升、毒性输出下降，但存在「对齐税」：部分学术 NLP 任务略有退步。
- 6发布后即作为默认模型部署到 OpenAI API，验证了 RLHF 的工程可行性。
原理与技术细节
InstructGPT 的训练分三步。第一步监督微调（SFT）：请约 40 名标注员就用户提交的提示写出「理想回答」，用这些约 1.3 万条示范数据微调 GPT-3，得到一个会「按指令答」的基座。第二步训奖励模型（RM）：同一提示让模型生成多个回答，标注员排序打分，RM 学会预测「人类更偏好哪个」。第三步强化学习：以 RM 为奖励函数，用 PPO 算法继续微调 SFT 模型，让它能稳定产出高偏好回答。为防遗忘，PPO 阶段还混入少量预训练数据（PPO-ptx），缓解「对齐税」。关键是奖励来自人类比较而非自动指标——因为「有用/无害」这类目标主观且复杂，难以用公式直接衡量。
影响与后续
InstructGPT 确立了 RLHF 这一现代大模型对齐的标准范式，直接催生了 ChatGPT 与 GPT-4，并被 Anthropic、Google 等广泛沿用。它证明：相比盲目扩大参数，用少量人类反馈就能显著提升模型的可用性与安全性。局限在于对齐依赖少数标注员的偏好，未必代表广泛人群；奖励模型可能被「钻空子」（reward hacking）；「对齐税」也会牺牲部分能力。后续研究持续探讨如何让对齐更稳健、更可代表多元价值。
学习要点
- 「能力」与「对齐」是两件事：大模型需要先学会按人类意图行事。
- RLHF 三步走（SFT→RM→PPO）是把模糊偏好变成可优化目标的工程化方案。
- 人类比较比自动指标更适合作为「有用/无害」的奖励信号。
- 对齐是有代价的（对齐税），需在安全与通用能力间权衡。
术语表
用人类对模型输出的偏好作为奖励信号来微调模型，使其更符合用户意图的对齐方法。
在人工排序数据上训练的模型，用来预测「哪个回答更受人类偏好」，作为 RL 的奖励函数。
为对齐人类偏好而微调后，模型在某些原本擅长的任务上出现性能退步的现象。