信息技术大学
序列建模
AI 与大模型·算法岗面试 · 第 2 章 深度学习基础
按 空格/→ 演示下一步
全部页面点击任意一页，跳回舞台从这页播放
信息技术大学
序列建模
AI 与大模型·算法岗面试 · 第 2 章 深度学习基础
RNN 与长程依赖
隐状态一路传到底：结构优雅，但梯度连乘让远处的信息传不动。
循环结构
隐状态编码历史，参数跨时间步共享
长程遗忘
BPTT 梯度连乘，远距离依赖学不到
截断回传
TBPTT 只回传有限步，工程折中
LSTM/GRU 门控机制
门控就是给记忆装阀门：遗忘门清旧，输入门存新，输出门控制泄露。
细胞状态
LSTM 的传送带，加法更新梯度畅行
三门分工
遗忘、输入、输出三个 sigmoid 控制信息流
GRU 简化
更新门合并两门，参数更少效果相当
Seq2Seq 与注意力雏形
编码器压缩成向量再解码：瓶颈在定长向量，注意力让它学会「回头看」。
编码-解码
编码压缩语义，解码逐步生成
瓶颈
整句压进一个定长向量，长句必丢信息
注意力登场
解码每步回查编码器全部位置加权取信息
Word2Vec 词向量
词的意义藏在上下文里：CBOW 用上下文猜词，Skip-gram 用词猜上下文。
两种任务
CBOW 上下文预测中心词，Skip-gram 反之
负采样
全表 softmax 太贵，采几个负例就够
遗产
向量可算术：国王−男人+女人≈女王
本节要点
- ✓RNN 优雅但长程梯度传不动
- ✓门控给记忆装阀门，加法通道
- ✓Seq2Seq 瓶颈催生注意力
- ✓Word2Vec：上下文定义语义
延伸主题：对比 LSTM 与 GRU 参数量玩一次词向量类比
课后思考
先自己回答，再展开参考答案——能讲出来才算真懂。
1LSTM 的细胞状态为什么能缓解梯度消失？
参考答案细胞状态沿时间以加法更新，遗忘门接近 1 时梯度近似恒等回传、不经连乘。这是「梯度高速公路」思想，与残差连接异曲同工。
2注意力出现后，RNN 还有什么价值？
参考答案流式低资源场景（在线语音、端侧）RNN 状态小、时延稳；线性状态空间模型也继承其递推思想。架构会轮回，思想不淘汰。
3Word2Vec 静态词向量的缺陷在哪？
参考答案一词一向量，「吃苹果」与「苹果手机」共用同一表示；上下文无关导致歧义无法消解——这正是 ELMo、BERT 上下文表示的动机。