信息技术大学
优化器与损失函数
AI 与大模型·算法岗面试 · 第 2 章 深度学习基础
按 空格/→ 演示下一步
全部页面点击任意一页，跳回舞台从这页播放
信息技术大学
优化器与损失函数
AI 与大模型·算法岗面试 · 第 2 章 深度学习基础
常见损失函数选型
损失定义「什么叫学好了」：回归、分类、排序、对比，任务决定损失。
MSE/MAE
回归标配；MAE 抗离群，MSE 处处可导
交叉熵
分类标配，与 Softmax 天作之合
对比损失
拉近正对、推远负对，对比学习核心
选型原则
看输出分布与业务代价，不盲从惯例
优化器演进（SGD/Momentum
从一阶梯度到自适应步长：动量加惯性，Adam 记方差，AdamW 修正衰减。
SGD
小批量随机梯度，噪声也是隐式正则
Momentum
累积历史方向，峡谷里不乱震
Adam
一阶二阶矩自适应缩放各维步长
AdamW
权重衰减与梯度更新解耦，泛化更稳
学习率调度
学习率是超参之王：预热防炸，衰减精修，周期重启翻峰。
Warmup
前几百步小步爬升，防初期爆炸
衰减
余弦、阶梯、指数，后期精细收敛
周期重启
余弦周期重启，跳出局部盆地
Batch 大小与泛化
batch 不只影响速度：小批噪声大泛化常更好，大批靠学习率与正则追平。
小批量
梯度噪声是隐式正则，逃离尖锐极小值
大批量
吞吐高但易进尖谷，需线性放大学习率
工程折中
显存、吞吐与泛化的三角平衡
本节要点
- ✓任务定损失：回归/分类/对比
- ✓SGD→动量→Adam→AdamW
- ✓学习率：预热爬升，余弦衰减
- ✓batch 噪声即正则，大批要补偿
延伸主题：跑一次 AdamW 加 warmup对比 SGD 与 Adam 曲线
课后思考
先自己回答，再展开参考答案——能讲出来才算真懂。
1AdamW 修正了 Adam 的什么问题？
参考答案Adam 把 L2 正则混进梯度，一起被自适应缩放，大梯度维度的正则反而被稀释；AdamW 把权重衰减从梯度剥离、直接作用于权重，正则强度各维一致，泛化更好。
2为什么大模型训练几乎必配 Warmup？
参考答案初期 Adam 二阶矩估计不准、梯度方差大，大学习率会把参数打飞；预热用小步长积累统计量，估计稳定后再升到目标学习率，稳住开局。
3小 batch 泛化更好的解释成立吗？有例外吗？
参考答案主流解释是梯度噪声帮助逃离尖锐极小值；但大批配恰当学习率与正则也能追平。例外不少见：噪声对部分任务无益，batch 应连同学习率一起调。