章节24:有限状态下的马尔可夫链 Lec. 24: Finite-state
数学大学
章节24:有限状态下的马尔
概率论——不确定性的科学 · 单元10：马尔可夫链 Unit 10: Markov chains
按 空格/→ 演示下一步
全部页面点击任意一页，跳回舞台从这页播放
数学大学
章节24:有限状态下的马尔
概率论——不确定性的科学 · 单元10：马尔可夫链 Unit 10: Markov chains
Introduction to Markov p
马尔可夫过程的核心假设：未来只依赖当前状态，与更早的历史无关。
马尔可夫性
给定现在，未来与过去独立
价值
把无限历史压缩成「当前状态」
Checkout counter example
收银台排队的例子：状态取队伍人数，转移由到达与服务的概率驱动。
状态选取
状态 = 队列长度，随时间步变化
转移来源
新顾客到达、服务完成离开两事件
Discrete time finite sta
离散时间有限状态马尔可夫链：状态有限、每步按转移概率矩阵跳转。
转移矩阵
r_ij = P(下一步 j | 当前 i)，行和为 1
马尔可夫性
下一步分布只由当前状态决定
N-step transition probab
n 步转移概率 r_ij(n) 由查普曼-科尔莫戈罗夫方程逐层计算。
递推
r_ij(n) = Σ_k r_ik(n−1)·r_kj
矩阵语言
n 步转移矩阵 = 转移矩阵的 n 次幂
A numerical example, par
数值例题前半：给定转移矩阵，手算两步转移概率。
矩阵乘法
两步转移矩阵 = R×R
检查习惯
每行和为 1 是快速自查手段
Generic convergence ques
核心问题：n 步转移概率是否会收敛到一个与初态无关的分布？
收敛疑问
r_ij(n) 的极限是否存在、是否依赖 i
答案预告
瞬态终将消失，稳态行为由常返类结构与周期性决定
Recurrent and transient
常返态迟早必然返回；瞬态态有一定概率一去不返。
常返
返回概率为 1，且可无限次返回
瞬态
返回概率小于 1，终将永久离开
本节要点
- ✓马尔可夫性：未来只依赖现在
- ✓转移矩阵行和为 1
- ✓n 步转移 = 矩阵 n 次幂
- ✓常返态必回，瞬态态会走丢
延伸主题：手算一个三状态链的两步转移标出一个链的常返与瞬态
课后思考
先自己回答，再展开参考答案——能讲出来才算真懂。
1马尔可夫性是不是很强的限制？
参考答案表面强，实则弹性大：把足够多的历史打包进状态（如「最近 k 步」），多数过程都能改写成马尔可夫的。状态设计得好坏，直接决定模型可解性。
2查普曼-科尔莫戈罗夫方程的直觉是什么？
参考答案走 n 步到达 j 的概率 = 走 n−1 步到中间态 k、再走一步到 j，对所有中间态 k 求和。用矩阵语言就是转移矩阵的幂——路径全概率公式。
3瞬态态为什么最终一定会离开？
参考答案瞬态返回概率小于 1，意味着存在正概率永不返回；每次访问相互独立，无限次尝试中至少一次不返回的概率趋于 1，因此返回次数是有限的随机变量。