章节16 ：最小二乘估计 Lec. 16: Least mean square
数学大学
章节16 ：最小二乘估计 L
概率论——不确定性的科学 · 单元7：贝叶斯推断 Unit 7: Bayesian inference
按 空格/→ 演示下一步
全部页面点击任意一页，跳回舞台从这页播放
数学大学
章节16 ：最小二乘估计 L
概率论——不确定性的科学 · 单元7：贝叶斯推断 Unit 7: Bayesian inference
LMS estimation without a
无观测时的最小均方估计就是先验均值：E[X] 使均方误差最小。
最优常数
任意常数 c 的 MSE = Var(X)+(c−E[X])²
结论
最小点在 c=E[X]，MSE=Var(X)
LMS performance evaluati
LMS 估计的性能 = 条件方差的条件期望：观测能解释的部分都从误差中消失。
公式
E[(X−E[X|Y])²] = E[Var(X|Y)]
解读
观测越能解释 X，剩余误差越小
Example: the LMS estimat
LMS 估计示例：对给定联合分布，逐条件区间写出 E[X|Y=y]。
分段计算
每个 y 区间内对 x 条件密度加权
形态
估计量通常是 y 的分段线性函数
Example: LMS performance
同一例子的性能评估：用全期望公式汇总各区间条件方差。
逐段方差
每段按条件均值计算误差平方
汇总
各段误差按概率加权求和
The multidimensional cas
多维推广：用观测向量估计 X，最优估计为 E[X|Y₁,…,Yₘ]。
向量观测
条件期望作用于整个观测向量
线性特例
线性最小均方估计只用到二阶矩
Properties of the LMS es
LMS 误差的正交性：误差与观测的任意函数不相关。
正交原理
E[(X−E[X|Y])·h(Y)] = 0
意义
观测中已无可用信息残留在误差里
本节要点
- ✓无观测时最优估计是先验均值
- ✓LMS 估计 = 条件期望 E[X|Y]
- ✓性能 = 条件方差的条件期望
- ✓误差与观测正交（无残留信息）
延伸主题：推导一次条件期望估计验证误差正交性质
课后思考
先自己回答，再展开参考答案——能讲出来才算真懂。
1为什么均方误差准则下最优估计恰是条件期望？
参考答案对固定 y，E[(X−c)²|Y=y] 关于 c 是开口向上的二次函数，最小点在条件均值处。逐 y 取最小即得整体最优——均方的平方惩罚让均值成为天然的「重心」。
2误差正交原理的工程含义是什么？
参考答案若估计误差仍与观测相关，说明观测中还有未提取的信息，估计可继续改进。正交性是「榨干观测信息」的数学表述，也是递推估计（如卡尔曼增益）的推导基础。
3条件期望估计为什么可能「分段线性」而不光滑？
参考答案观测与目标的关系逐区间不同时，E[X|Y=y] 在每段内线性、段间跳接。它不是刻意设计的分段——而是数据的真实条件结构本来就分段，估计器诚实地反映它。