条件概率与全概率公式

官方数学老师·29 页·深入(追求细节与边界)·0 次浏览·2 天前
条件概率全概率公式推理框架进阶推导

条件概率与全概率公式

从一个条件出发,建起概率推理的完整路径

按 空格/→ 演示下一步

1 / 29 页

全部页面点击任意一页,跳回舞台从这页播放

条件概率全概率公式推理框架进阶推导

条件概率与全概率公式

从一个条件出发,建起概率推理的完整路径

1第 1 页 · 条件概率与全概率公式

概率的回顾与直观理解

掷骰子猜点数、抽扑克牌比大小、抛硬币猜正反——这些我们从小就会算概率的游戏,背后都依赖一个共同框架:古典概型。在学条件概率之前,我们先把概率的集合根基重新理一遍。

古典概型
结果有限且等可能,P(A)=|A|/|Ω|
样本空间Ω
所有基本结果的集合,概率定义在它之上
事件即子集
A⊆Ω,并、交、补直接对应概率的加法、乘法、对立律
适用边界
等可能是硬假设,非等可能场景需另寻定义
文氏图(Venn 图)对应 →样本空间与事件运算

矩形=Ω,圆=事件,重叠面积=交事件,圆外=补事件,面积比直观对应概率

P(A)=AΩP(AB)=P(A)+P(B)P(AB)P(A)=\dfrac{|A|}{|\Omega|} \qquad P(A\cup B)=P(A)+P(B)-P(A\cap B)
2第 2 页 · 概率的回顾与直观理解

互斥事件与完备事件组

上页我们谈了概率的直觉,但「抽到合格零件」这类复杂事件的概率怎么算?它可能来自多条生产线——能不能拆开再相加?这就需要互斥和完备事件组这把刀。

互斥事件
事件 A 与 B 满足 A∩B=∅,二者不会同时发生
两两互斥
一组事件里任意挑两个出来,都满足互斥
完备事件组
{A1,...,An} 的并集恰好等于样本空间 S
拆分的标准姿势
互斥+完备 = 把复杂事件拆成不重叠、且覆盖全部情形的小块
切披萨对应 →互斥+完备事件组

切片互不重叠=互斥;所有切片拼起来=整张披萨=完备

A1A2An=S,AiAj= (ij)A_1 \cup A_2 \cup \cdots \cup A_n = S,\quad A_i \cap A_j = \varnothing\ (i \neq j)
3第 3 页 · 互斥事件与完备事件组

条件概率的引入

体检报告写「阳性」——你想重新估一下得病的概率。和一小时前没看报告时的估计,明显不同。「已知」这两个字,把概率改写了。

记号 P(A|B)
读作「在 B 发生的前提下 A 发生的概率」,竖线右侧就是条件
「已知」= 缩样本空间
B 已发生意味着结果必在 B 内,原全集 Ω 被替换为 B
条件概率公式
P(A|B) = P(A∩B)/P(B),要求 P(B) > 0
P(A|B) 与 P(A) 不同
新信息会改写概率,可放大也可缩小;相等只是巧合
镜头从全景拉近对应 →「已知 B」后样本空间缩到 B

整张地图变小,原来的小角落在新画面里可能成主体

P(AB)=P(AB)P(B),P(B)>0P(A|B) = \dfrac{P(A \cap B)}{P(B)}, \quad P(B) > 0
4第 4 页 · 条件概率的引入

条件概率的数学定义

刚摸一张牌朝下放着,'它是红桃吗?'——这种'已知某事发生后再估概率'的念头,就是上一节讲过的条件概率。但'觉得是这样'和'数学上严格是这样'是两回事。这一页我们要把直觉写成公式。

严格定义
在P(B)>0时,P(A|B)≡P(AB)/P(B),把联合概率归一到B上
定义域条件
必须P(B)>0;分母为零时条件概率无意义,B不可能发生还谈什么
乘法形式
等价改写:P(AB)=P(B)·P(A|B),把联合概率分解成B先再A的链
乘法对称性
P(AB)=P(A)·P(B|A),从A方向也能写出乘法形式,两边相等即贝叶斯公式
限定范围后再数比例对应 →样本空间缩小到B

只看B发生的那部分试验结果,A占多大比例就是P(A|B)

P(AB)=P(AB)P(B),P(B)>0P(A\mid B) = \dfrac{P(AB)}{P(B)},\quad P(B)>0
5第 5 页 · 条件概率的数学定义

条件概率的直观理解

上页我们写下了 P(A|B)=P(A∩B)/P(B) 这个公式。这一页我们用两种直观视角去理解它——一个用图,一个用「缩小范围」的感觉。

文氏图视角
B 发生意味着只看 B 这一块,A 落在阴影里才算
缩小样本空间
B 发生后,整个 Ω 缩成 B,A 在新世界里的比例就是 P(A|B)
两种视角等价
阴影占 B 的比例,和 P(A∩B)/P(B) 公式结果完全一致
全国地图缩到北京对应 →缩小样本空间

知道 B 发生,整个 Ω 被修剪成 B,要在 B 内重新看

P(AB)=P(AB)P(B)P(A\mid B)=\dfrac{P(A\cap B)}{P(B)}
6第 6 页 · 条件概率的直观理解

条件概率的基本性质

左边是普通概率公理,右边是条件概率性质——结构完全平行:B 固定后,P(·|B) 就是一个新的概率测度。

图解渲染中…
T1普通概率 P 的四条公理T2条件概率 P(·|B) 同样满足这四条B2P(Ω|B)=1:整个样本空间的条件概率恒为 1B4若 A⊆C,则 P(A|B)≤P(C|B)
7第 7 页 · 条件概率的基本性质

乘法公式的推导

从条件概率定义出发,一步一步推出乘法公式的两种写法。

1
写定义式
P(B|A)=P(AB)/P(A),从定义出发
2
两边乘P(A)
得 P(AB)=P(A)·P(B|A),第一种形式
3
交换A与B
得 P(AB)=P(B)·P(A|B),第二种形式
4
合并为公式
两种写法并列,即完整的乘法公式
8第 8 页 · 乘法公式的推导

乘法公式的推广:三个事件

把三事件概率拆成两次条件概率的叠加,逐步把 AB 内部的依赖剥出来。

1
锁定合并对象
把 P(ABC) 写成 P((AB)∩C),对两事件套用乘法公式
2
得到中间式
P(ABC) = P(AB)·P(C|AB),把未知转移到 P(AB)
3
再拆 P(AB)
用 P(AB) = P(A)·P(B|A) 把第一个事件独立出来
4
代回合并
代入中间式,得到 P(ABC) = P(A)·P(B|A)·P(C|AB)
9第 9 页 · 乘法公式的推广:三个事件

乘法公式的一般形式

用数学归纳法,把二元公式推广到任意n个事件

1
奠基:n=2
P(AB)=P(A)·P(B|A),这是全部推广的起点
2
写出n元公式
P(A₁…Aₙ)=P(A₁)·∏ᵢ₌₂ⁿ P(Aᵢ|A₁…Aᵢ₋₁)
3
假设:k元成立
假定k个事件的连乘公式已证,作为归纳前提
4
递推到k+1元
把前k个事件合为整体B,套二元公式再乘P(Aₖ₊₁|B)
5
归纳完成
由数学归纳法,公式对一切n≥2都成立
10第 10 页 · 乘法公式的一般形式

全概率公式的问题背景

乘法公式告诉我们 P(AB)=P(B)P(A|B),但这只是两个事件的关系。现实里我们经常遇到事件 A 的概率本身不好直接算,但通过一组中间事件却能拆解——这正是全概率公式要解决的问题。

直接求P(A)的困难
A的发生可能源于多条不同路径,每条路径的概率难以一并直接求得
引入中间事件作桥梁
找一组能把A的各种发生情形分门别类的事件作为跳板
完备事件组划分样本空间
中间事件需互不相交、且并起来恰好覆盖整个样本空间
工厂三班算总废品率对应 →全概率公式的求解思路

各班产量占比×各自废品率,求和即得全天废品率;每班就是一个Bi

11第 11 页 · 全概率公式的问题背景

全概率公式的推导

从乘法公式与完备事件组的拆分出发,五步推出全概率公式。

1
乘法公式
P(A∩Bᵢ)=P(Bᵢ)·P(A|Bᵢ),把交集写成条件概率的乘积
2
分解事件A
B₁到Bₙ划分Ω,把A切成n个交集A∩Bᵢ的并
3
确认互斥
Bᵢ两两互斥 ⇒ A∩Bᵢ也两两互斥
4
概率可加
互斥事件概率直接相加:P(A)=ΣP(A∩Bᵢ)
5
代入结论
把第1步代入第4步,得P(A)=ΣP(Bᵢ)P(A|Bᵢ)
12第 12 页 · 全概率公式的推导

全概率公式的直观理解

树形图把 B 拆成 A₁∩B、A₂∩B、A₃∩B 三块,再把它们概率相加。

图解渲染中…
S全空间 Ω;每次试验的样本点必落入下面某一支A1互斥且穷尽的原因事件,pᵢ = P(Aᵢ)B1路径终点 Aᵢ∩B,权重 = pᵢ·qᵢC1进入 Aᵢ 但不发生 B,即与 B̄ 的交集
13第 13 页 · 全概率公式的直观理解

全概率公式的应用步骤

四步法:设事件→验证完备性→套公式→计算

全概率公式的应用步骤
四步法:设事件→验证完备性→套公式→计算
14第 14 页 · 全概率公式的应用步骤

全概率公式实例:产品检验

python

用 Python 把甲乙两线次品问题从公式推到模拟,最后扩展到任意多条线的求和写法。

代码高亮加载中…

P(B)=ΣP(Ai)P(B|Ai) 在两线时退化为两项相加;蒙特卡洛验证数值,sum 写法展现公式的求和本质。

15第 15 页 · 全概率公式实例:产品检验

贝叶斯公式的问题背景

产品检验中,全概率公式让我们算出「抽到次品」的概率。但工厂真正关心的是反过来的问题:抽到一件次品,它最可能来自哪条产线?

由因推果(已知)
全概率公式:已知各原因概率和条件概率,求结果发生的概率
由果推因(待解)
反过来:已知结果已发生,反推各原因发生的可能性大小
逆概率问题
因果方向倒过来,已知P(结果|原因),要求P(原因|结果)
经典动机场景
医学检测阳性≠一定患病,需算出真实患病的概率
侦探破案看线索对应 →贝叶斯逆概率推理

现场痕迹是已发生的结果,回头推谁最可能是凶手

16第 16 页 · 贝叶斯公式的问题背景

贝叶斯公式的推导

从条件概率定义出发,分子用乘法公式、分母用全概率公式展开,拼出贝叶斯公式。

1
摆出目标
明确要证的公式形式:P(Bi|A)=P(A|Bi)·P(Bi)/P(A)
2
从定义起
由条件概率定义:P(Bi|A)=P(A∩Bi)/P(A)
3
展开分子
乘法公式:P(A∩Bi)=P(A|Bi)·P(Bi)
4
展开分母
全概率公式:P(A)=Σⱼ P(A|Bj)·P(Bj)
5
代回合并
将展开结果代回原式,分子分母合成完整贝叶斯公式
17第 17 页 · 贝叶斯公式的推导

贝叶斯公式的结构解读

从前面推导出的贝叶斯公式出发,逐个拆解分子分母里每个概率的真实含义。贝叶斯公式的精髓不是运算,而是「看到证据后如何修正判断」。

后验概率
看到证据 B 后对 A 的判断,是最终想求的「更新后信念」
先验概率
看到证据 B 前对 A 的初始判断,来自经验或历史数据
似然概率
A 为真时观测到 B 的概率,反映证据对假设的支持强度
归一化常数
证据 B 出现的总概率,用全概率公式按完备事件组展开
医生看病对应 →贝叶斯公式四项

先验=看病前判断;似然=真病时检测阳性率;后验=看到结果后更新的判断;归一化=阳性结果总概率

P(AB)=P(BA)P(A)P(B)P(A|B)=\dfrac{P(B|A)\cdot P(A)}{P(B)}
18第 18 页 · 贝叶斯公式的结构解读

贝叶斯公式实例:医学诊断

python

用 Python 跑一遍经典医学诊断问题,看贝叶斯公式如何修正直觉。

代码高亮加载中…

把上一页的公式符号换成数字:先算 P(+) = 0.059,再代回贝叶斯公式求 P(D|+) ≈ 0.161。

19第 19 页 · 贝叶斯公式实例:医学诊断

全概率 vs 贝叶斯:一张表辨清

全概率"由因求果",贝叶斯"由果求因"——方向相反,是最容易混淆的两个公式。

全概率公式
  • 思考方向:由因求果
  • 求解目标:结果概率 P(B)
  • 已知条件:完备组先验 + 条件概率
  • 典型场景:多原因导致同一结果
贝叶斯公式
  • 思考方向:由果求因
  • 求解目标:原因概率 P(Ai|B)
  • 已知条件:先验 + 观测到结果发生
  • 典型场景:已知结果反推原因
问"结果发生的概率"用全概率;已知结果想反推"哪个原因更可能"用贝叶斯。
20第 20 页 · 全概率 vs 贝叶斯:一张表辨清

相互独立的直观引入

上一节我们看到,不放回抽牌时,第一次抽到红牌会改变第二次抽到红牌的概率。但若每次抽完都放回去,第一次抽到什么,对第二次毫无影响。这种「毫无影响」有个正式名字。

A 不影响 B 的含义
P(B|A) = P(B),无论 A 是否发生,B 的概率都不变
对称性
若 A 与 B 独立,则 B 与 A 必独立,可由定义反推得出
独立是关系非属性
独立性刻画两事件的关联,不是单个事件自身的性质
互不联通的两套电路对应 →相互独立的两个事件

一套电路的开关不影响另一套,正如 P(B|A)=P(B) 是严格等式,不是'差不多'

P(BA)=P(B)P(B\mid A) = P(B)
21第 21 页 · 相互独立的直观引入

相互独立的数学定义

上一页我们从直觉上认识了'独立'——一个事件的发生不改变另一个事件的不确定性。这一页把这种直觉翻译成精确的数学语言,看 P(AB)=P(A)P(B) 的三种等价表述。

概率乘积形式
P(AB)=P(A)P(B),两事件同时发生的概率等于各自概率的乘积
条件概率形式
P(A|B)=P(A),即知道 B 发生后 A 的概率不变(需 P(B)>0)
对称形式
P(B|A)=P(B),交换 A、B 角色同样成立(需 P(A)>0)
同一道菜的三份菜谱对应 →三种等价表述

描述的是同一性质,只是切法不同:称量、口尝、摆盘

P(AB)=P(A)P(B)    P(AB)=P(A)    P(BA)=P(B)P(AB)=P(A)P(B)\;\Longleftrightarrow\;P(A\mid B)=P(A)\;\Longleftrightarrow\;P(B\mid A)=P(B)
22第 22 页 · 相互独立的数学定义

相互独立与互斥的关系

上一页我们看到,独立的定义是 P(AB)=P(A)P(B)。那互斥呢?很多同学把'互斥'和'独立'当成一回事,这页来彻底澄清它们的关系。

互斥的本质
回答'能否同时发生',等价于 P(A∩B)=0
独立的本质
回答'是否互相影响概率',等价于 P(A∩B)=P(A)P(B)
互斥⇒不独立
若 P(A)P(B)>0,互斥时 P(A∩B)=0 不等于乘积
独立⇒不互斥
独立时 P(A∩B)=P(A)P(B)>0,不为 0
零概率特例
P(A)=0 时,A 与任意事件既互斥又独立
单选题 vs 多选题的选项对应 →互斥 vs 独立

单选题选A就不能选B(互斥);多选题里选A和选C互不影响(独立)

$互斥:\, P(A\cap B) = 0 \quad\quad 独立:\, P(A\cap B) = P(A)P(B)$
23第 23 页 · 相互独立与互斥的关系

条件独立与乘积空间的分解

验证两个条件等式的等价性:从 P(A|B)=P(A) 出发,一步步推出 P(B|A)=P(B)。

1
明确起点
假设 P(A|B)=P(A),即 A 与 B 独立
2
展开定义
把 P(A|B) 写成 P(A∩B)/P(B)
3
整理乘积
两边乘 P(B),得 P(A∩B)=P(A)·P(B)
4
反向代入
用同一结果算 P(B|A)=P(A∩B)/P(A)
5
化简得证
P(A) 约去,立刻得到 P(B|A)=P(B)
24第 24 页 · 条件独立与乘积空间的分解

多个事件的相互独立

左侧看独立性层级关系,右侧反例验证为何反向不成立——关键差异在三元交集条件。

图解渲染中…
M相互独立:3 个两两 + 1 个三元等式同时成立P两两独立:仅 3 个两两等式成立X抛两枚公平硬币的样本空间K缺三元交集条件 → 相互独立失败
25第 25 页 · 多个事件的相互独立

公式关系图:知识网络梳理

箭头方向即推导方向;实线表示直接推出,虚线表示条件或简化关系。

图解渲染中…
A1根定义 P B|A = P AB / P A,所有公式的起点E1完备事件组:互斥且穷举整个样本空间B2把难算事件按完备组拆分后求和,核心工具C1已知结果反推各原因概率,全概率的逆运算
26第 26 页 · 公式关系图:知识网络梳理

单元自测

点击作答

某工厂两条生产线生产同一种产品:甲线产量占 60%,乙线占 40%;甲线次品率 1%,乙线次品率 2%。现随机抽到一件次品,它来自甲线的概率约为?

27第 27 页 · 单元自测

核心要点回顾

  • 条件概率 = 在缩小样本空间上重新计算概率,本质是信息更新
  • 全概率公式"由因推果",把复杂事件按完备组拆分累加
  • 贝叶斯公式"由果推因",由先验与似然推出后验
  • 独立性的核心判据:P(A|B)=P(A),B不提供A的信息
  • 乘法公式是桥梁,连接条件概率与联合概率
延伸主题:概率分布与随机变量贝叶斯推断与统计决策信息论中的互信息与熵
28第 28 页 · 核心要点回顾

课后思考

先合上书自己想,再对照参考答案看思路是否走偏。

1为什么贝叶斯公式能'修正'先验概率?新证据是怎样改变我们原有判断的?

参考答案公式 P(B_i|A)=P(A|B_i)P(B_i)/P(A)。先验 P(B_i) 是初始信念,似然 P(A|B_i) 是新证据对假设的支持度,相乘再归一。先验越有底气、似然越吻合,后验越坚定。

2医学筛查里,假阳性率很低,群体患病率极小时阳性结果可信吗?为什么?

参考答案不可信。患病率(先验)极低时,假阳性远多于真阳性,这就是著名的'基础率谬误'。贝叶斯角度:后验≈先验×似然,先验极小时即使似然有利,后验仍小。

3频率学派把概率当作长期频率,贝叶斯学派视为信念度。两者适用边界在哪?

参考答案频率派适合可重复实验,贝叶斯派适合一次性决策与融合先验。争论焦点是'先验是否客观'。现实中隐马尔可夫、主题模型等已默认采用贝叶斯框架。

29第 29 页 · 课后思考