信息技术大学
神经网络基础
AI 与大模型·算法岗面试 · 第 2 章 深度学习基础
按 空格/→ 演示下一步
全部页面点击任意一页，跳回舞台从这页播放
信息技术大学
神经网络基础
AI 与大模型·算法岗面试 · 第 2 章 深度学习基础
激活函数族对比（Sigmoid/
没有非线性，再深的网络也是一层线性：激活函数的演进就是对抗饱和的历史。
Sigmoid
输出 0~1，两端饱和易梯度消失
ReLU
正区间不饱和、计算便宜，深度学习标配
GELU
平滑版 ReLU，Transformer 常客
SwiGLU
门控线性单元，LLM 前馈层主流
前向与反向传播
前向算出损失，反向算出梯度：计算图上链式法则逐层回传。
前向
逐层仿射加激活，得到预测与损失
反向
链式法则回传，得到损失对各参数的偏导
自动微分
框架按计算图自动求导，只需写前向
梯度消失爆炸与对策
梯度连乘是双刃剑：系数小于 1 逐层消失，大于 1 逐层爆炸。
消失
Sigmoid 导数最大 0.25，层层缩水
爆炸
权重偏大连乘发散，损失变 NaN
对策
ReLU 系、残差连接、归一化、梯度裁剪
参数初始化
初始权重的分布决定第一轮梯度：全零死对称，太大爆炸太小消失。
全零不可
对称结构下梯度一致，神经元学不出差异
Xavier
方差按扇入扇出折中，配 tanh
He 初始化
方差按扇入加倍补偿，配 ReLU
本节要点
- ✓激活函数是非线性之源
- ✓反向传播 = 计算图上的链式法则
- ✓梯度连乘导致消失或爆炸
- ✓初始化决定第一轮梯度尺度
延伸主题：手推一次反向传播对比 ReLU 与 GELU 曲线
课后思考
先自己回答，再展开参考答案——能讲出来才算真懂。
1为什么 ReLU 能缓解梯度消失？
参考答案正区间导数恒为 1，梯度原样回传不衰减，负区间还带来稀疏。代价是「死亡 ReLU」，可用 Leaky ReLU 或 GELU 缓解。
2残差连接为什么有效？
参考答案恒等捷径让梯度有了高速公路：反向可直接跳过若干层不衰减，网络只需学习残差修正，上百层也能稳定训练。
3He 初始化为什么比 Xavier 更配 ReLU？
参考答案ReLU 把约一半输入置零，方差减半；He 把权重方差加倍补偿，保持每层激活方差稳定。Xavier 假设线性激活，没有预设这种减半。