信息技术大学
对齐与 RLHF
AI 与大模型·算法岗面试 · 第 4 章 训练与对齐
按 空格/→ 演示下一步
全部页面点击任意一页，跳回舞台从这页播放
信息技术大学
对齐与 RLHF
AI 与大模型·算法岗面试 · 第 4 章 训练与对齐
RLHF 三阶段流程
三步把模型掰向人类偏好：SFT 打底，奖励模型学人味，RL 精修策略。
SFT
指令微调打底，先会说话再学讨好
RM
人类偏好对比排序，训练打分模型
RL
PPO 最大化 RM 打分，KL 作拴绳
奖励模型训练
人只擅长比较不擅长打分：成对偏好训练 RM，RM 分数就是 RL 的环境回报。
偏好对
同一提问两个回答，人标哪个更好
排序损失
好答分高于坏答，差值构成损失
RM 过优化
训练过久会钻空子，RL 侧需早停
PPO 要点
策略梯度加信任域：裁剪比率防步子太大，KL 惩罚防偏离 SFT 太远。
裁剪目标
概率比率裁剪，单步更新不激进
KL 惩罚
与参考模型的 KL 计入奖励，防自由发挥
四模型
策略、参考、奖励、价值同台，显存大户
DPO 对比 RLHF
把 RL 化成一个监督损失：偏好对直接优化策略，免奖励模型免采样。
思想
偏好比较隐式定义奖励，闭式解直接优化
工程优势
免 RM 与采样，训练简单稳定省卡
局限
缺在线探索，超分布外改进受限
GRPO
组内相对比较替代价值网络：同一题采样一组，相对优劣当优势信号。
组内基线
组均值为基线，省掉价值模型
省显存
比 PPO 少一个价值网络，适合大模型 RL
应用
DeepSeek 系验证，推理型任务效果好
安全对齐与越狱
对齐是盾，越狱是矛：拒绝训练、红队测试，防御是持续的军备赛。
安全训练
拒答样例与偏好数据，教模型得体说不
越狱手法
角色扮演、编码绕过、多轮诱导
纵深防御
输入过滤、模型对齐、输出审查三层
本节要点
- ✓RLHF：SFT 打底、RM 学偏好、RL 精修
- ✓RM 过优化要早停，KL 拴绳防漂
- ✓DPO 免 RL，GRPO 免价值网络
- ✓安全是纵深防御，持续迭代
延伸主题：读 InstructGPT 论文对比 DPO 与 PPO 曲线
课后思考
先自己回答，再展开参考答案——能讲出来才算真懂。
1为什么用「成对比较」而不是直接打分训练 RM？
参考答案人对绝对分数标注不稳定、尺度漂移，对相对优劣的判断高度一致；成对比较噪声小，排序损失把大量比较聚合成稳定分值。
2KL 惩罚在 RLHF 里为什么不可或缺？
参考答案RM 只是人类偏好的代理，纯最大化会 reward hacking：夸大、套话、钻模板。KL 把策略拴在 SFT 参考模型附近，保证输出「更像人写的」而不是「更像骗 RM 的」。
3DPO 简化了 RL，PPO 还有存在价值吗？
参考答案有。DPO 是离线偏好上的闭式优化，缺在线探索；PPO 在训练中持续采样试错，能发现偏好数据未覆盖的行为。需要在线改进的任务（如推理链优化）RL 仍占优。