信息技术大学
预训练
AI 与大模型·算法岗面试 · 第 4 章 训练与对齐
按 空格/→ 演示下一步
全部页面点击任意一页，跳回舞台从这页播放
信息技术大学
预训练
AI 与大模型·算法岗面试 · 第 4 章 训练与对齐
预训练语料与清洗
模型的上限在数据：网页、书、代码混着来，去重过滤质控是苦功。
语料构成
网页为主，书与代码点缀，配比是艺术
去重
精确加模糊去重，重复语料浪费且放大偏差
过滤
质量分类器、启发式规则、毒性过滤三道闸
Tokenizer（BPE/SentenceP
文本变 token 的字典学：BPE 高频合并成词元，SentencePiece 免预分词。
BPE
字符起步迭代合并高频对，词表定容
SentencePiece
空格当普通字符，语言无关免预切分
词表权衡
词表大序列短但嵌入肥，小则反之
Scaling Law
算力、数据、参数的可预测性：损失随规模幂律下降，Chinchilla 重定配比。
幂律
损失随三要素平滑下降，可外推预算
Chinchilla
同算力下数据与参数应同倍增长
现实修正
推理成本让「训小点训久点」更经济
训练损失尖峰处理
训练曲线突然跳尖：坏数据批次与数值溢出是常因，回退跳过是标准动作。
常见原因
坏数据批、数值溢出、超参不稳
处置
回退检查点，跳过可疑数据段续训
预防
梯度裁剪、数据预扫、监控报警
本节要点
- ✓模型上限在语料，清洗是苦功
- ✓BPE 高频合并，SP 免预分词
- ✓Scaling Law：幂律可外推
- ✓尖峰：回退跳过，预防靠监控
延伸主题：读一遍 Chinchilla 论文体验一次 token 切分
课后思考
先自己回答，再展开参考答案——能讲出来才算真懂。
1数据去重为什么既省算力又提质量？
参考答案重复样本让模型过拟合背诵、记忆隐私内容，还浪费等量算力；去重后单位算力见到的信息更多，泛化更好，同时降低记忆泄露风险。
2Chinchilla 最优配比为什么在实践中被「违反」？
参考答案它只优化训练算力，不管推理；推理成本占大头时，「参数少、数据多」的过训练小模型反而经济。最优解随目标函数变化。
3词表大小如何影响模型与部署？
参考答案词表大则序列短、注意力省，但嵌入与输出层肥、低频词学不透；词表小则参数省但序列长、上下文被吃。多语模型还要平衡各语言压缩率。