信息技术大学
经典监督算法
AI 与大模型·算法岗面试 · 第 1 章 机器学习基础
按 空格/→ 演示下一步
全部页面点击任意一页，跳回舞台从这页播放
信息技术大学
经典监督算法
AI 与大模型·算法岗面试 · 第 1 章 机器学习基础
线性回归与逻辑回归
线性回归拟合数值，逻辑回归分类概率：后者只是套了个 Sigmoid 的线性模型。
线性回归
最小二乘拟合，输出连续值
逻辑回归
线性打分过 Sigmoid，输出概率
损失
回归用 MSE，逻辑回归用交叉熵
价值
可解释、可上线，强基线首选
决策树分裂准则
每次分裂都在问「哪个特征、哪个切点最纯」：信息增益或基尼系数说了算。
信息增益
熵下降最多的特征先分，ID3 口径
增益率/基尼
C4.5 惩罚多值特征；CART 用基尼指数
防过拟合
限深、限叶子样本数，或后剪枝
随机森林与 Bagging
自助采样 + 特征随机 + 投票平均：多棵弱树捆绑成抗方差的森林。
Bagging
有放回采样造多份训练集，降方差
双重随机
样本随机加节点特征子集随机
并行
树与树独立，天然可并行训练
GBDT/XGBoost/LightGBM
boosting 家族一脉相承：每棵新树拟合前面所有树的残差或梯度。
GBDT
加法模型 + 负梯度拟合，串行纠错
XGBoost
二阶泰勒 + 正则项 + 列采样，工程强化
LightGBM
直方图分裂 + 叶子生长，大数据更快
SVM 与核方法
找最大间隔超平面：核技巧把低维不可分映射到高维可分，只算内积不算映射。
最大间隔
决策边界离两类样本越远越稳
支持向量
只有间隔边界上的样本决定边界
核技巧
RBF 等核隐式高维，免显式映射
软间隔
松弛变量容忍噪声，C 调容忍度
本节要点
- ✓逻辑回归 = 线性打分 + Sigmoid
- ✓树模型：单树剪枝，森林降方差
- ✓GBDT 家族串行拟合梯度
- ✓SVM 核技巧隐式升维
延伸主题：跑一遍 sklearn 三件套对比 RF 与 GBDT 差异
课后思考
先自己回答，再展开参考答案——能讲出来才算真懂。
1随机森林降方差、GBDT 降偏差，为什么？
参考答案森林里每棵树独立深长、方差大但偏差低，平均后方差被压缩；GBDT 每棵浅树都欠拟合（高偏差），串行逐棵纠正残差，偏差被逐步消掉。路线相反，终点都好。
2逻辑回归为什么用交叉熵而不是 MSE？
参考答案Sigmoid 与 MSE 组合是非凸损失且梯度在两端饱和，错得越狠学得越慢；交叉熵对 Sigmoid 的梯度恰为（预测−标签），凸且错得越狠梯度越大。
3核技巧为什么「只算内积不算映射」就够？
参考答案SVM 的求解与预测只依赖样本间的内积；核函数 K(x,z) 直接给出高维内积，无须知道映射长什么样。省下的正是高维计算与存储。