Transformer 结构细节
信息技术大学
Transformer 结构细节
AI 与大模型·算法岗面试 · 第 3 章 Transformer 与大模型架构
按 空格/→ 演示下一步
全部页面点击任意一页，跳回舞台从这页播放
信息技术大学
Transformer 结构细节
AI 与大模型·算法岗面试 · 第 3 章 Transformer 与大模型架构
编码器与解码器分工
原版 Transformer 两半：编码器双向看输入，解码器因果生成输出。
编码器
双向自注意力，充分理解输入序列
解码器
因果掩码生成，交叉注意力对齐输入
现代分化
BERT 只留编码器，GPT 只用解码器，T5 两全
FFN 与激活函数
前馈层占参数大头：两层升维再降维，激活函数藏在中间。
两层 MLP
升维约 4 倍再降回，逐位置独立计算
参数大头
FFN 常占约 2/3 参数，知识主要存于此
激活演进
ReLU→GELU→SwiGLU 门控，平滑省算力
残差连接与 Norm 位置
每个子层包一层残差：Norm 从后置走到前置，深层训练从此稳定。
残差
输出 = 子层(x)+x，梯度高速通道
Post-LN
残差相加后归一，原版设计，深层不稳
Pre-LN
归一化提前，残差主干直通，现代默认
位置编码方案（绝对/RoPE/
注意力天生无序：位置编码补上「谁前谁后」，从学习式到旋转式一路演进。
绝对位置
正弦或可学习向量，逐位相加
RoPE
旋转角度注入相对位置，外推友好，主流
ALiBi
按距离线性惩罚注意力分数，免训练可外推
本节要点
- ✓编码器双向理解，解码器因果生成
- ✓FFN 存知识，占参数大头
- ✓Pre-LN 让深层训练稳定
- ✓RoPE 旋转注入相对位置
延伸主题：画一遍 Transformer 结构对比 Pre-LN 与 Post-LN
课后思考
先自己回答，再展开参考答案——能讲出来才算真懂。
1为什么说 FFN 是「知识存储层」？
参考答案FFN 参数占大头且逐位置独立，被视为键值记忆体：第一层检测模式、第二层写出内容。研究显示事实性知识多存储于 FFN 权重，注意力更多负责路由信息。
2Pre-LN 为什么比 Post-LN 好训？
参考答案Post-LN 的归一化挡在残差主路上，深层时梯度被缩放衰减，需要小心预热；Pre-LN 让残差主干无阻直通，梯度通畅，层数加深也稳定。
3RoPE 为什么成为主流位置编码？
参考答案它把相对位置变成 Q/K 向量的旋转角：注意力得分只依赖相对距离，天然平移不变；配合插值或 NTK 缩放还能外推更长上下文，工程友好。