信息技术大学
自注意力机制
AI 与大模型·算法岗面试 · 第 3 章 Transformer 与大模型架构
按 空格/→ 演示下一步
全部页面点击任意一页，跳回舞台从这页播放
信息技术大学
自注意力机制
AI 与大模型·算法岗面试 · 第 3 章 Transformer 与大模型架构
缩放点积注意力
Q 查 K、V 加权：相似度除以根号维度防 softmax 饱和，加权求和取信息。
三角色
Q 查询、K 键、V 值，各自线性投影
缩放
点积除以 √d_k，防大值致 softmax 饱和
输出
softmax(QKᵀ/√d)·V，权重归一求和
多头注意力机制意义
多组投影各看各的：有的盯句法、有的盯指代，拼接后信息互补。
多头并行
h 组独立投影，各算注意力再拼接
子空间
每头关注不同子空间的关系模式
成本
投影切分并行，总算力与大维度单头相当
三类注意力掩码（自/交叉/
掩码决定「能看谁」：自注意力看自己，交叉看对方，因果只许看过去。
自注意力
Q、K、V 同源一个序列，全局交互
交叉注意力
Q 来自解码端，K/V 来自编码端，对齐两序列
因果掩码
上三角置 −∞，位置 i 只见不超过 i 的位置
复杂度与序列长度关系
注意力是平方代价：长度翻倍算力四倍，长上下文的一切麻烦由此而来。
平方复杂度
打分矩阵 O(n²·d)，显存同样平方级
线性化尝试
稀疏、低秩、滑窗各类近似方案
现实
FlashAttention 没改复杂度，改的是显存与常数
手写 Self-Attention
十行写完注意力：投影、打分、掩码、归一、加权，五步齐活。
五步
投影→打分→掩码→softmax→加权 V
十行因果自注意力
python
投影、缩放打分、掩码、归一、加权，一段代码吃透机制。
代码高亮加载中…
缩放打分、因果掩码置 −∞、softmax 归一后加权 V——这段写对，注意力机制就算吃透了。
本节要点
- ✓注意力：Q 查 K，V 加权
- ✓多头 = 多个子空间互补
- ✓掩码定视野：自、交叉、因果
- ✓平方复杂度是长上下文的根
延伸主题：手写多头注意力估算 128K 上下文的开销
课后思考
先自己回答，再展开参考答案——能讲出来才算真懂。
1为什么点积要除以 √d_k？
参考答案d_k 维点积的方差随维度线性增长，大值进 softmax 后梯度趋零、分布过硬；除以 √d_k 把方差归一到 1 量级，softmax 保持温和可学。
2因果掩码为什么置 −∞ 而不是 0？
参考答案softmax 前置 0 仍会分走概率质量；−∞ 经 softmax 后权重恰为 0，彻底屏蔽未来位置。掩码必须在 softmax 之前生效。
3注意力头数越多越好吗？
参考答案模型维度固定时，头数增加意味着每头维度变小，单头表达能力受限；头太少又缺乏多样性。实践中按规模取几十头，是表达粒度与单头容量的折中。