信息技术大学
CV 与多模态基础
AI 与大模型·算法岗面试 · 第 7 章 视觉与多模态
按 空格/→ 演示下一步
全部页面点击任意一页，跳回舞台从这页播放
信息技术大学
CV 与多模态基础
AI 与大模型·算法岗面试 · 第 7 章 视觉与多模态
卷积与池化
CNN 的地基：卷积核扫图提局部特征，池化缩图保显著，层层堆出层级特征。
卷积
小核滑窗加权求和，权重共享省参数
池化
最大或平均池化降采样，带平移不变性
层级特征
浅层看边缘纹理，深层看语义部件
ResNet 网络脉络
残差连接救活深网络：学残差比学原函数容易，百层网络成为可能。
残差块
输出 = F(x)+x，恒等捷径保底
解决退化
深层不升反降的退化问题被消除
遗产
残差思想被 Transformer 全盘继承
目标检测概述
分类之外还要「在哪」：两阶段准、单阶段快，框回归加分类双头输出。
两阶段
先生成候选区域，再精细分类回归
单阶段
YOLO 一次前向直接出框，实时性好
评估
mAP 按交并比阈值与类别取平均精度
CLIP 对比学习
图文对齐一个空间：数亿图文对对比学习，零样本分类开箱即用。
对比目标
匹配的图文对拉近，错配的推远
零样本
类别名变文本提示，直接相似度分类
影响
图文桥接成为多模态与文生图底座
扩散模型原理
加噪再去噪：前向把图逐步打成噪声，反向学逐步还原，文生图因此爆发。
前向加噪
马尔可夫链逐步添加高斯噪声
反向去噪
网络预测每步噪声，迭代还原图像
条件注入
文本经交叉注意力引导生成内容
VLM 视觉语言模型架构
给 LLM 装眼睛：视觉编码器提特征，投影层对齐语言空间，LLM 统一推理。
三件套
视觉编码器、投影对齐层、LLM 主干
对齐训练
图文对训练投影层，指令数据调对话
能力
看图答题、文档理解、GUI 操作的底座
本节要点
- ✓卷积共享权重，池化降采样
- ✓ResNet 残差，Transformer 继承
- ✓CLIP 对齐图文，零样本开箱
- ✓VLM = 视觉编码 + 投影 + LLM
延伸主题：跑一次 CLIP 零样本分类体验一个开源 VLM
课后思考
先自己回答，再展开参考答案——能讲出来才算真懂。
1ResNet 的残差与 Transformer 的残差，思想同源在哪？
参考答案都是恒等捷径：让网络学「修正量」而非完整映射，梯度经捷径直通不衰减。一个救活了深 CNN，一个撑起上百层 Transformer——同一思想两次开花。
2CLIP 的零样本分类为什么可行？
参考答案它把图像与文本编码进同一语义空间，训练目标就是图文匹配。分类时把「一张某类别的照片」编码后比相似度即可，不需要该类别的任何训练样本。
3扩散模型与 GAN 相比赢在哪？
参考答案扩散的训练目标是明确的去噪回归，训练稳定、不玩对抗博弈，模式覆盖好不易坍塌，多样性高。代价是迭代采样慢——蒸馏与一致性模型在补这块短板。