章节17：线性最小二乘估计 Lec. 17: Linear least mea
数学大学
章节17：线性最小二乘估计
概率论——不确定性的科学 · 单元7：贝叶斯推断 Unit 7: Bayesian inference
按 空格/→ 演示下一步
全部页面点击任意一页，跳回舞台从这页播放
数学大学
章节17：线性最小二乘估计
概率论——不确定性的科学 · 单元7：贝叶斯推断 Unit 7: Bayesian inference
EE698D40B6619BDD9C33DC59
本节习题课示范线性最小均方估计（LLMS）问题的求解流程。
求解框架
设线性形式、解正规方程、评估误差
自查
估计的期望应与被估计量的期望一致
LLMS formulation
线性最小均方估计的提法：在全体线性估计 aY+b 中找均方误差最小者。
限定线性
只用二阶矩信息，不需完整联合分布
对比
比最优估计 E[X|Y] 限制更强但更好算
LLMS solution
LLMS 解：a=Cov(X,Y)/Var(Y)，b=μ_X−aμ_Y。
增益
a 由协方差与方差之比给出
截距
b 保证期望意义上的无偏
Remarks and the error va
LLMS 误差方差：Var(X)·(1−ρ²)，相关越强误差越小。
误差公式
最小误差方差 = Var(X)(1−ρ²)
极端
ρ=±1 时误差为零，ρ=0 退回先验均值
LLMS example
LLMS 例题：给定二阶矩数据，代公式求线性估计。
数据
只需 E、Var 与 Cov 四个数
代入
套 a、b 公式直接写结果
Coin bias example
硬币偏差例题：观测正面频率估计偏差 p，LLMS 与贝叶斯对照。
线性估计
用二阶矩推出 p 的线性估计
对照
与贝叶斯后验均值比较异同
LLMS with multiple obser
多观测推广：线性估计用观测向量，增益由协方差矩阵解出。
向量形式
a 由协方差向量与协方差矩阵表出
结构
与卡尔曼增益同构
Example with multiple ob
多观测例题：两次独立观测下 LLMS 的完整计算。
对称性
同方差独立观测时增益均分
核对
估计方差随观测数下降
Choices in representing
观测表示方式的选择：原始量、差分或求和会影响 LLMS 的实施形态。
表示自由
信息等价的观测表示下估计等价
数值考量
选相关更直接的表示，计算更稳
本节要点
- ✓LLMS：线性类中最小均方误差的估计
- ✓增益 = Cov/Var，截距保无偏
- ✓误差方差 = Var(X)(1−ρ²)
- ✓多观测推广与卡尔曼增益同构
延伸主题：手推一次 LLMS 解对比 LLMS 与 E[X|Y] 的差距
课后思考
先自己回答，再展开参考答案——能讲出来才算真懂。
1LLMS 只用二阶矩就能算，这换来了什么、牺牲了什么？
参考答案换来的是无需知道完整联合分布：只要均值、方差、协方差可估，估计就能落地。牺牲的是对非线性关系的利用——最优条件期望可能远好于线性估计。工程上常以这点损失换可行性。
2LLMS 与贝叶斯后验均值什么时候恰好相等？
参考答案线性高斯模型下两者完全相等：条件期望恰好是观测的线性函数。此时 LLMS 不再是近似而是最优——这也是卡尔曼滤波在高斯世界里最优的根源。
3LLMS 中增益 a 的正负号说明了什么？
参考答案a 与协方差同号：正表示观测增大时估计上调（同向联动），负表示反向调整。a 的大小是「每单位观测变化应调整估计多少」的灵敏度，本质上是对噪声与信号强度的权衡。