信息技术大学
主流 LLM 架构
AI 与大模型·算法岗面试 · 第 3 章 Transformer 与大模型架构
按 空格/→ 演示下一步
全部页面点击任意一页，跳回舞台从这页播放
信息技术大学
主流 LLM 架构
AI 与大模型·算法岗面试 · 第 3 章 Transformer 与大模型架构
Decoder-only 为何胜出
架构之争尘埃落定：生成任务因果天然契合，加上 KV 缓存友好，Decoder-only 一统江湖。
任务契合
自回归生成与因果掩码天然同构
训练效率
每个 token 都提供训练信号，样本效率高
工程友好
KV 缓存、批处理、规模化全部顺滑
MoE 混合专家路由
稀疏激活换容量：路由器每个 token 只挑几位专家，算力不涨参数翻倍。
路由器
按 token 打分选 top-k 专家处理
稀疏激活
参数总量大而单 token 激活少，算力省
负载均衡
辅助损失防专家扎堆，热专家成瓶颈
长上下文方案
平方注意力遇 128K：改位置编码、省 KV 缓存、近似注意力，三路齐下。
位置外推
RoPE 插值、NTK 缩放扩展训练窗口
KV 压缩
滑窗、量化、驱逐策略省显存
注意力近似
稀疏或线性注意力压平方项
MQA/GQA
KV 缓存吃显存：多头共享一组 K/V 是 MQA，分组共享是 GQA，推理提速。
MHA
每头独立 K/V，质量最好、缓存最肥
MQA
全头共享一组 K/V，省显存但有质量损失
GQA
分组共享，质量与开销折中，当前主流
主流开源家族对比（LLaMA/
开源各强同根异枝：Decoder-only 加 RoPE 加 SwiGLU 是共同底座，差异在数据与细节。
LLaMA 系
Meta 开源，生态最大，衍生变体众多
GLM 系
清华系脉络，中英双语与工具调用见长
Qwen 系
阿里系多尺寸全家桶，长文本与多模态强化
共同底座
Decoder-only、RoPE、SwiGLU、RMSNorm 成范式
本节要点
- ✓Decoder-only：生成契合，训练高效
- ✓MoE：路由稀疏激活，算力换容量
- ✓长上下文：位置外推加 KV 压缩
- ✓GQA 折中 KV 缓存，成主流
延伸主题：读一篇 MoE 论文对比各家模型卡
课后思考
先自己回答，再展开参考答案——能讲出来才算真懂。
1Encoder-decoder 结构在 LLM 时代还有位置吗？
参考答案通用对话与生成几乎被 Decoder-only 收编；但编码器仍是检索与嵌入模型（如 BGE 系列）的主力。按任务选架构，而不是追风。
2MoE 的负载均衡为什么是关键问题？
参考答案路由自由竞争会让热门专家越来越热、冷门专家荒废，算力与容量双浪费；辅助均衡损失与容量因子都在维持分工——均衡好坏直接决定 MoE 是否划算。
3GQA 为什么能成为主流折中？
参考答案KV 缓存的显存与读取带宽是推理瓶颈；GQA 组内共享 K/V 把缓存砍到 MHA 的几分之一，质量损失远小于 MQA，在效果与吞吐间拿到最佳平衡。