成对数据的统计相关性

官官方数学老师·13 页·深入（追求细节与边界）·0 次浏览·3 天前

✦ 成对数据的统计相关性数学成对数据的统计相关性正相关

协方差相关系数假设检验边界条件

成对数据的统计相关性

从协方差到相关系数，掌握计算、直觉、推断与五大失效边界

按空格/→ 演示下一步

1 / 13 页

全部页面点击任意一页，跳回舞台从这页播放

协方差相关系数假设检验边界条件

成对数据的统计相关性

从协方差到相关系数，掌握计算、直觉、推断与五大失效边界

1第 1 页 · 成对数据的统计相关性

绘制散点图

既然要判断两列数字是否一起变化，最直接的办法就是把它们画出来看一眼，这正是散点图的用途。

两根轴各担一职

x 轴通常是原因变量（自变量），y 轴是结果变量（因变量）

每个点 = 一对数据

(x_i, y_i) 对应一次观测，多个点叠在一起就是一份样本

形态即信号

整体向上倾斜→正相关；向下倾斜→负相关；杂乱无章→无线性；弧形或 U 形→非线性

离群点要警惕

单个极端点可能把整体拉偏，掩盖真实结构——尤其是样本量不大时

点少则慎言

样本量过小时，任意形态都可能纯属巧合，不可过度解读

沙滩上连续的脚印对应 →坐标系中的散点

每个脚印是一个人走的一步；串起的方向就是他行走的方向——散点图让数据'并肩走'还是'分道扬镳'一眼可见

2第 2 页 · 绘制散点图

计算样本相关系数

散点图能让我们「看见」两组数据的关联形态，但要回答「关联有多强、是正还是负」，眼睛不够用。样本相关系数 r 就是把这个判断量化成一个精确、可比较的数字。

核心公式

把两列数据各自偏离均值的乘积求和，再除以两者偏离平方和的几何平均

取值 [-1, 1]

r=1 时点严格落在上升直线上；r=-1 时严格落在下降直线上；r=0 表示无线性趋势

符号与强度

正负表方向（正/负相关），|r| 表线性紧密程度，越接近 1 越强

只度量线性

r≈0 不代表变量无关；U 型、抛物线等非线性关系会让 r 接近 0

两人齐步走对应 →样本相关系数 r

xi-x̄、yi-ȳ 是两人第 i 步相对各自平均的偏移；同向乘积为正、反向为负；分母归一化为 [-1,1] 的契合度

r=\frac{\sum_{i=1}^{n}(x_i-\bar{x})(y_i-\bar{y})}{\sqrt{\sum_{i=1}^{n}(x_i-\bar{x})^2\sum_{i=1}^{n}(y_i-\bar{y})^2}}

3第 3 页 · 计算样本相关系数

正相关

前页我们算出相关系数 r，得到一个介于 -1 到 1 之间的数。当 r > 0，意味着一个变量增大时另一个也倾向于增大——这便是正相关。今天来摸清它的边界。

同向变化

一个变量增大时，另一个倾向于也增大；减小亦然。

r ∈ (0, 1]

r=1 为完全正相关，所有点严格落在上升直线上；越近 0 越弱。

强弱参考

|r|>0.8 强，0.5~0.8 中等，0.3~0.5 弱；阈值因学科而异。

典型应用

身高与体重、气温与冷饮销量、学习时长与成绩、应力与应变。

负相关

正相关是「一起涨一起跌」，负相关则是「一升一落」：比如海拔越高气压越低。散点图上，这些点云从左上向右下倾斜。

定义

一个变量增大时，另一个变量倾向于减小

散点形态

点云从左上向右下倾斜，斜率为负

系数范围

样本相关系数 r 落在 [-1, 0) 区间

完全负相关

r = -1 时，所有点严格落在一条下降直线上

辨析边界

弱负相关（r 略小于 0）不等于零相关，需做显著性检验

商品涨价，销量回落对应 →负相关

一升一降，方向相反；仅是统计趋势，并非每次交易都严丝合缝

-1 \leq r < 0

6第 6 页 · 负相关

散点图

前页我们说要看两变量一起变的关系。最直接的办法不是算,而是把每一对数据画在二维平面上,让眼睛先看见'点云的形状'。这就是散点图——是相关性分析的第一步,也是下一页动手绘制的基础。

本质定义

横轴一个变量、纵轴一个变量,每对观测值对应平面上一个标记点

观察四要素

看方向(正/负)、形态(线性/曲线)、强度(密集/松散)、异常点

擅长与边界

适合连续型成对数据;不展示频数,大量重叠点会'叠在一起'

典型应用

回归前探索变量关系、医学中找危险因素、经济中识别趋势

把人撒在网格上对应 →散点图

每个人的位置由(身高,体重)决定;点云的形状揭示两特征如何联动

7第 7 页 · 散点图

线性相关

前面我们见过散点的上升和下降趋势——但'趋势是不是直线'还得单独判断。这就是线性相关要回答的问题：散点到底有多'贴'一条直线。

视觉判据

散点近似沿一条直线分布，落在线的两侧波动

数值判据

|r| 越接近 1 越贴近直线；|r|=1 时所有点共线

在相关中的位置

线性相关是相关关系中最规则的一类，方向可正可负

边界与陷阱

r 大不等于线性；U 形或单调曲线中 r 也可能高，必须看图

棉花糖和直尺对应 →线性相关

散点像棉花糖，直线像尺子；尺越贴近数据，线性越强；U 形棉花糖再好的尺也只能贴中间一段

\hat{y} = r \cdot \frac{s_y}{s_x}(x - \bar{x}) + \bar{y}

8第 8 页 · 线性相关

非线性相关

上一页用 r 量化了线性共变程度。但真实数据中，变量关系常呈曲线——剂量与药效、年龄与体能。r 衡量曲线关系时会发生什么？

r 的量尺是直线

r 本质在量散点沿直线的聚集程度，对弯曲关系天然失灵

完美曲线 r≈0

y=x² 在 x 关于 0 对称时 r=0，但 y 完全由 x 确定

常见非线性形态

抛物线、U 形、指数、对数、正弦、阶梯形等

图先于数

散点图先行；图与 r 矛盾时以图为准，r 不可单独定论

用直尺量弯河道对应 →用 r 量曲线关系

直尺只测两端直线距离，弯道形状信息全部丢失；r 同理只量直线共变

9第 9 页 · 非线性相关

成对数据

体检时医生一次性量出你的身高和体重——两个数字来自同一个人，拆开就没意义。这种「两个变量绑在同一观测上」的数据，就是后面所有分析的前提。

成对数据定义

每个观测对象同时记录两个变量的值，记作 (x, y)

同源绑定

两个数值来自同一观测单位，不能拆开、不能换对象

两种配对

同一对象多次测量（病人前后），或两个对象天然配对（父子身高）

典型场景

医学、经济、教育、气象——只要关心两个变量是否一起变化就需要

鞋子的左右脚对应 →成对数据

左鞋右鞋天然同属一人，配对不能拆也不能错换

(x_i,\, y_i),\quad i = 1, 2, \dots, n

10第 10 页 · 成对数据

样本相关系数

上一页我们算出了一个介于-1到1之间的数。但0.85算强相关吗？冰淇淋销量和溺水率的相关性能高达0.9？这页我们要给「样本相关系数」建立完整认知——它能告诉你什么、不能告诉你什么。

定义

样本相关系数 r 是衡量两变量线性关联强弱的统计量，等于协方差除以两变量标准差之积，消除了量纲影响

取值与含义

r ∈ [-1, 1]；符号看方向，绝对值看强度。|r|=1 完全线性关联，r=0 不代表无关、只代表无线性关联

典型应用

特征工程筛变量、回归前的相关性诊断、剔除冗余特征、为建模提供先验判断

三大边界

只测线性，对非线性可能判近零；离群点会显著拉偏；相关≠因果，背后常存在共同驱动因素

两人齐步走的默契度对应 →样本相关系数

步伐差小且方向一致时 r 接近±1；但只反映同步性，无法识别波浪式前进，也无法判断谁带谁

r = \frac{\sum_{i=1}^{n}(x_i-\bar{x})(y_i-\bar{y})}{\sqrt{\sum_{i=1}^{n}(x_i-\bar{x})^2 \cdot \sum_{i=1}^{n}(y_i-\bar{y})^2}}

11第 11 页 · 样本相关系数

本节要点

✓相关系数 r 只刻画线性关系的强度与方向
✓散点图的形状先于数字：先看形，再看 r
✓强相关不等于因果，r 大不代表有因果机制
✓异常点会显著拉动 r，图与数必须一起看
✓r 对单调非线性关系会显著低估真实关联

延伸主题：偏相关：控制第三变量后再看相关斯皮尔曼等级相关：处理单调非线性相关性的显著性检验与 p 值

12第 12 页 · 本节要点

课后思考

先自己想一想，再对照参考答案理清思路。

1样本相关系数 r 越接近 1 或 -1，线性关系越强；但若 r=0，能说两组数据完全无关吗？为什么？

参考答案不能。r=0 只表示无线性相关，但可能存在非线性关系，例如抛物线关系时 r 接近 0，变量却明显相关。

2若某城市冰淇淋销量与溺水人数高度正相关，能据此推出「吃冰淇淋导致溺水」吗？该如何合理解释？

参考答案不能直接推出因果。两者都受气温影响，是第三变量（混淆变量）造成的伪相关，应寻找共同原因而非因果链。

3把数据的单位从米换成厘米，相关系数 r 会变吗？如果换成排名（顺序）再算，又会得到什么？

参考答案单位变换不影响 r，因为它是标准化后的量；换成排名得到 Spearman 等级相关系数，衡量单调关系而非线性关系。

13第 13 页 · 课后思考