信息技术大学
微调技术
AI 与大模型·算法岗面试 · 第 4 章 训练与对齐
按 空格/→ 演示下一步
全部页面点击任意一页，跳回舞台从这页播放
信息技术大学
微调技术
AI 与大模型·算法岗面试 · 第 4 章 训练与对齐
SFT 全参微调流程
把预训练学的「续写」转成「听话」：指令数据全参训练，小学习率短周期。
数据
指令与回答成对，质量重于数量，千条可起步
训练
学习率比预训练小 1~2 个量级，1~3 个 epoch
防塌
混入部分预训练数据，防通用能力遗忘
LoRA 原理与秩选择
冻结原权重，只训低秩增量：秩 8~64 起步，参数量降百倍效果不打折。
低秩假设
微调的权重变化近似低秩，ΔW≈BA
秩选择
任务越复杂秩越大，常用 8、16、64
作用位置
注意力 Q/V 起步，任务难再扩到全部线性层
QLoRA
4bit 量化底座加 LoRA：单卡也能微调 65B，显存省一个量级。
NF4
信息论最优的 4bit 正态分布量化格式
双重量化
量化常数再量化，显存再省一截
取舍
训练略慢，显存门槛大幅下降
指令数据构造
数据是微调的灵魂：人工精标、模型蒸馏、自指令演化，质量分层配比。
来源
人工标注、强模型蒸馏、自指令生成
质量分层
少量精标打底，大量蒸馏铺量，清洗去重
多样性
任务、难度、领域全覆盖，防分布窄化
灾难性遗忘
学新忘旧：小数据全参训最容易翻车，混数据、小步长、参数高效法缓解。
成因
窄分布小数据反复训，覆盖原有能力
缓解
预训练数据回放、小学习率、LoRA 天然束缚
评测
微调前后跑通用基准，确认没「学废」
本节要点
- ✓SFT：质量数据，小步短程
- ✓LoRA：低秩增量，秩随任务涨
- ✓QLoRA：4bit 底座单卡微调
- ✓防遗忘：回放、小步、束缚参数
延伸主题：跑一次 LoRA 微调审一遍自己的指令数据
课后思考
先自己回答，再展开参考答案——能讲出来才算真懂。
1LoRA 为什么不更新全部权重也能到位？
参考答案研究观察到微调引起的权重变化矩阵近似低秩——任务适配所需自由度远小于全参数。低秩 BA 足以表达这层修正，还天然限制了对原能力的破坏。
2「1k 精标好过 100k 噪声」在 SFT 成立吗？
参考答案成立。SFT 学的是行为模式与格式，脏数据会注入坏习惯且难洗掉。量变引起质变的前提是质过关；大规模铺量更适合预训练或偏好阶段。
3怎么判断该全参微调还是该 LoRA？
参考答案看任务与领域偏移：格式、风格、轻量领域适配，LoRA 够用且便宜；全新领域知识注入或语言能力大改才值得全参。先小成本验证，再决定加码。