章节25：马尔可夫链的稳定状态 Lec. 25: Steady-state b
数学大学
章节25：马尔可夫链的稳定
概率论——不确定性的科学 · 单元10：马尔可夫链 Unit 10: Markov chains
按 空格/→ 演示下一步
全部页面点击任意一页，跳回舞台从这页播放
数学大学
章节25：马尔可夫链的稳定
概率论——不确定性的科学 · 单元10：马尔可夫链 Unit 10: Markov chains
Lecture 25 outline
本讲路线图：先复习，再补路径概率与周期性，最后到达稳态定理。
主线
路径概率 → 周期性 → 稳态收敛
目标
回答上一讲的收敛疑问
Review: Markov chains
复习：转移矩阵、n 步转移与常返/瞬态的基本图像。
要点回放
行和为 1；矩阵幂给 n 步转移
分类回顾
常返类互相隔离，瞬态在外围
Probability of a path
一条具体路径的概率 = 沿途转移概率的连乘。
连乘公式
P(i₀→i₁→…→iₙ) = r_{i₀i₁}·r_{i₁i₂}…r_{iₙ₋₁iₙ}
用途
似然计算与仿真采样的基础
Review: Recurrent and tr
复习：常返类是封闭的，瞬态态最终都会流向某个常返类。
封闭类
常返类出不去，内部强连通
瞬态归宿
瞬态态以概率 1 离开并进入某常返类
Periodicity
周期性阻碍收敛：周期为 d 的状态只在 d 的倍数步返回。
周期定义
能返回的步数差的最大公约数 d
影响
d>1 时转移概率振荡不收敛
Steady-state convergence
稳态收敛定理：非周期单一常返类下，r_ij(n) 收敛到唯一稳态分布 π。
定理条件
单一常返类且非周期
方程
π = πR，且 π 元素和为 1
A numerical example, par
数值例题后半：解 π=πR 得稳态分布，并与矩阵幂极限对照。
解法
把 π=πR 改写成线性方程组求解
对照
矩阵高次幂的行确实趋于 π
Frequency interpretation
稳态分布的频率解释：πⱼ 是长期运行中停留在状态 j 的时间占比。
时间占比
长期看处于状态 j 的比例趋于 πⱼ
与初态无关
无论从哪出发，占比收敛一致
Birth-death processes, I
生灭过程：状态沿一条线左右移动，只能到相邻状态。
结构
向上概率 bᵢ、向下概率 dᵢ，其余不动
典型模型
队列长度、种群数量的基本模型
Birth-death processes, I
生灭过程的稳态：局部平衡逐对相等时稳态分布有简洁通式。
局部平衡
稳态下每条边的上下流量相等
通式
πₙ 按逐段比值连乘再归一化
本节要点
- ✓路径概率 = 转移概率连乘
- ✓周期性会阻止收敛
- ✓稳态：π=πR，单一非周期常返类收敛
- ✓生灭过程按局部平衡求 π
延伸主题：解一个生灭过程的稳态分布构造一个周期链观察振荡
课后思考
先自己回答，再展开参考答案——能讲出来才算真懂。
1周期性为什么会让转移概率不收敛却仍有稳态分布？
参考答案周期链在偶数步与奇数步的分布来回振荡（如来回摆动的两点链），lim r_ij(n) 不存在；但满足 π=πR 的稳态分布仍然存在。收敛需要非周期，稳态方程的存在则是另一回事。
2稳态分布的「频率解释」为什么比概率解释更有用？
参考答案πⱼ 作为时间占比直接对接工程问题：长期平均成本、平均队列长度都是 π 加权的量。它把抽象的稳态方程翻译成可测量的运行指标，是性能分析的实际接口。
3生灭过程的局部平衡方程为什么这么有效？
参考答案线状结构使得相邻状态间的流量在稳态下必须逐边平衡，方程彼此几乎解耦：从状态 0 出发逐边累乘即得 π 的比值，再归一化——免去解大型线性方程组。