信息技术大学
量化与压缩
AI 与大模型·算法岗面试 · 第 5 章 推理与部署
按 空格/→ 演示下一步
全部页面点击任意一页，跳回舞台从这页播放
信息技术大学
量化与压缩
AI 与大模型·算法岗面试 · 第 5 章 推理与部署
量化基本原理（INT8/INT4
高精度权重低精度存：线性映射到整数格点，显存与带宽双降，精度小损。
线性量化
scale 与零点映射，反量化近似还原
粒度
按张量、通道、分组，越细越准越费
PTQ 与 QAT
训练后量化省事，量化感知训练更准
GPTQ/AWQ/GGUF
后量化三件套：GPTQ 逐列补偿误差，AWQ 保重要权重，GGUF 一站式格式。
GPTQ
基于二阶信息逐层量化并补偿误差
AWQ
按激活分布识别并保护显著权重
GGUF
llama.cpp 生态格式，CPU 也能跑
剪枝与蒸馏
两条瘦身路线：剪枝砍冗余结构，蒸馏让小学生学大学霸的软目标。
剪枝
非结构化剪权重；结构化剪头剪层易部署
蒸馏
软标签携带暗知识，温度参数调软硬
组合拳
先蒸馏再量化，压缩流水线叠加
显存与精度换算
FP16 两个字节一个数：参数量 × 精度字节数 × 副本数，显存账一目了然。
换算
7B 模型 FP16 约 14GB，INT4 约 3.5GB
账目
推理显存 = 权重 + KV 缓存 + 激活
经验
INT8 近乎无损，INT4 掉 1~2 个点
本节要点
- ✓量化：线性映射，粒度越细越准
- ✓GPTQ 补偿误差，AWQ 保显著权重
- ✓剪枝砍结构，蒸馏学软标签
- ✓显存账：权重、KV、激活
延伸主题：量化一个 7B 模型实测算一算显存账
课后思考
先自己回答，再展开参考答案——能讲出来才算真懂。
1为什么 INT4 量化在 LLM 上「意外地」可用？
参考答案LLM 权重分布近似正态且高度冗余，多数权重对输出的贡献微小；分组量化加显著权重保护后，损失集中在长尾细节，核心能力得以保留。
2蒸馏为什么用软标签比硬标签好？
参考答案教师输出是概率分布（0.9 猫、0.08 狗、0.02 车），「像狗的猫」这类暗知识在硬标签里全部丢失；温度软化后学生学到类间关系，泛化更好。
3线上该用 INT8 还是 INT4？
参考答案看质量红线与带宽瓶颈：INT8 近乎无损优先考虑；INT4 掉 1~2 个点但显存带宽减半，长序列吞吐收益大。用业务评测集量化实测后再定，不拍脑袋。