信息技术大学
评估指标
AI 与大模型·算法岗面试 · 第 1 章 机器学习基础
按 空格/→ 演示下一步
全部页面点击任意一页，跳回舞台从这页播放
信息技术大学
评估指标
AI 与大模型·算法岗面试 · 第 1 章 机器学习基础
混淆矩阵派生指标
四格表长出所有指标：查准看预测里多少是真的，查全看真实里抓住了多少。
四格表
TP、FP、TN、FN 是一切的起点
查准率 P
TP/(TP+FP)，报出来的有多少是真的
查全率 R
TP/(TP+FN)，真的抓住了多少
F1
P 与 R 的调和平均，兼顾两头
ROC/AUC 计算与含义
ROC 是阈值扫过的轨迹，AUC 是「随机正样本排在随机负样本前」的概率。
ROC 曲线
阈值从 1 扫到 0，画 TPR 对 FPR
AUC 含义
等价于正负样本得分对的排序正确率
解读
0.5 是瞎猜，1 是完美；与类别占比无关
PR 曲线与场景选择
正样本稀少时 PR 曲线更诚实：查准查全的取舍一目了然。
PR 曲线
阈值扫描画查准对查全
与 ROC 之别
ROC 对类别失衡不敏感，PR 更能暴露问题
场景
推荐、风控等正例稀少任务看 PR
类别不平衡对策
99% 负样本的模型准确率 99% 也可能是废物：从数据、损失、阈值三路下手。
数据侧
过采样少数类、欠采样多数类、SMOTE 合成
损失侧
类别权重、Focal Loss 押注难样本
阈值侧
按业务代价调判正阈值，别用默认 0.5
本节要点
- ✓四格表长出 P、R 与 F1
- ✓AUC = 正负排序正确率
- ✓正例稀少看 PR 曲线
- ✓不平衡三路：数据、损失、阈值
延伸主题：手算一遍混淆矩阵指标画一次 ROC 与 PR
课后思考
先自己回答，再展开参考答案——能讲出来才算真懂。
1类别极不平衡时，为什么准确率会骗人？
参考答案99% 负样本下，全判负就拿到 99% 准确率，但一个正例都没抓住。此时应看查全、查准、PR-AUC 或按业务代价定的指标，准确率失去意义。
2AUC 高但线上效果差，可能是什么原因？
参考答案AUC 只管排序不管校准与阈值；线上可能折损在阈值选择、特征线上线下不一致、或业务指标与排序无关（如绝对值估计）。先定位是排序问题还是校准问题。
3查准与查全的取舍在业务上怎么定？
参考答案看错误代价：风控误杀伤害体验则重查准，疫情漏检代价巨大则重查全。用代价矩阵量化 FN 与 FP 的损失，再选阈值，而不是拍脑袋。