信息技术大学
学习范式与泛化
AI 与大模型·算法岗面试 · 第 1 章 机器学习基础
按 空格/→ 演示下一步
全部页面点击任意一页，跳回舞台从这页播放
信息技术大学
学习范式与泛化
AI 与大模型·算法岗面试 · 第 1 章 机器学习基础
训练/验证/测试集划分
三份数据的分工：训练学参数，验证调超参，测试只准摸一次。
训练集
拟合模型参数的数据主体
验证集
选超参、早停与模型选择
测试集
最终评估，绝不能参与任何决策
划分原则
按时间或按主体切分，严防数据泄漏
过拟合诊断与对策
训练损失一路降、验证损失抬头拐弯，就是过拟合的典型心电图。
诊断
训练与验证损失走势分叉即过拟合
数据侧
加数据、增广、合成样本是根治手段
模型侧
减小容量、正则化、Dropout、早停
背题库对应 →过拟合
死背原题刷得飞起，换个数字就不会——没学到规律
偏差方差分解
误差 = 偏差² + 方差 + 噪声：欠拟合偏差大，过拟合方差大。
偏差
模型太简单，系统性偏离真值
方差
对训练采样敏感，换批数据结果大变
权衡
增容量降偏差抬方差，找总误差谷底
噪声
数据固有的不可约下界
交叉验证与 L1/L2 正则化
交叉验证榨干数据，正则化给模型上枷锁：一个管评估，一个管训练。
K 折交叉验证
K-1 折训练 1 折验证，轮换取均值
L1 正则
权重绝对值惩罚，产出稀疏解可作特征选择
L2 正则
平方惩罚压小权重，平滑且处处可导
本节要点
- ✓测试集只准摸一次，严防泄漏
- ✓训练验证分叉即过拟合
- ✓误差 = 偏差² + 方差 + 噪声
- ✓L1 出稀疏解，L2 压权重
延伸主题：画一次学习曲线对比 L1 与 L2 的解形状
课后思考
先自己回答，再展开参考答案——能讲出来才算真懂。
1为什么测试集「只准摸一次」，摸多了会发生什么？
参考答案每次按测试集调整决策（选模型、调阈值），测试集就在变成验证集，评估失去独立性，最终指标虚高。真正的泛化能力必须在从未影响决策的数据上测。
2L1 为什么产生稀疏解而 L2 不会？
参考答案L1 的等高线是菱形，与损失等高线常交于坐标轴顶点，部分权重被压到精确为零；L2 是圆形，最优点在轴附近但不为轴上，权重只是整体变小。
3偏差方差权衡告诉我们「加大模型」何时是对的吗？
参考答案当训练与验证损失都高（高偏差欠拟合）时，加大容量、加特征是对的；当训练低验证高（高方差）时继续加模型只会更糟。先诊断再开药。