信息技术大学
训练稳定技巧
AI 与大模型·算法岗面试 · 第 2 章 深度学习基础
按 空格/→ 演示下一步
全部页面点击任意一页，跳回舞台从这页播放
信息技术大学
训练稳定技巧
AI 与大模型·算法岗面试 · 第 2 章 深度学习基础
归一化四兄弟对比（BN/LN/
都是把激活拉回稳态，差别在「沿哪些维度算统计量」：批内、单样本、单通道、组内。
BN
按通道跨样本统计，训练依赖批大小
LN
单样本全特征统计，与批无关，LLM 标配
IN
单样本单通道统计，风格迁移常客
GN
通道分组统计，小 batch 的折中方案
Dropout
训练时随机失活，推理时全员上岗：防共适应，等效于隐式模型集成。
机制
训练以概率 p 置零神经元，推理不丢弃
防共适应
神经元不能依赖特定伙伴，各自更强
位置
全连接层常用，注意与 BN 叠加顺序
混合精度训练
半精度计算，单精度保存：省显存提速度，损失缩放护住小梯度。
分工
FP16/BF16 做矩阵乘，主权重与累加保 FP32
损失缩放
FP16 梯度下溢，先放大损失再等比缩回
BF16
指数位与 FP32 同宽，不需缩放更省心
梯度裁剪
梯度爆炸的保险丝：范数超阈值就等比缩回，方向不变力度打折。
范数裁剪
全局范数超阈，等比缩放保持方向
阈值
常见取 1.0，可超参扫描确定
适用
RNN 与大模型训练的常规保险
本节要点
- ✓BN 依赖批，LN 单样本，GN 折中
- ✓Dropout：训练失活，推理全员
- ✓混合精度：低精度算，高精度存
- ✓梯度裁剪：等比缩回保方向
延伸主题：对比 BN 与 LN 统计维度开一次 AMP 训练
课后思考
先自己回答，再展开参考答案——能讲出来才算真懂。
1Transformer 为什么选 LayerNorm 而不是 BatchNorm？
参考答案序列长度可变、自回归推理时 batch=1，BN 的跨样本统计全部失效；LN 沿特征维统计、单样本自洽，天然适配变长序列与生成式推理。
2混合精度为什么主权重还要 FP32？
参考答案半精度累加误差会累积，小梯度更新在 FP16 下可能被舍入直接吞掉；FP32 主权重负责累加更新，计算副本用半精度，精度与速度兼得。
3Dropout 与 BN 同时用有什么坑？
参考答案Dropout 改变了 BN 所见方差，训练与推理统计不一致造成方差偏移。常见对策：调换顺序、改用 DropBlock，或干脆选 LN 架构。