线性相关与回归分析

第十章 相关与回归分析

第一节 简单线性相关分析

一、简单线性相关（直线相关）的概念： 二、相关关系的种类：

（一）按相关程度划分可分为完全相关、不完全相关、和不相关 （二）按相关方向划分可分为正相关和负相关

（三）按相关的形式划分可分为线形相关和非线形相关 （四）按变量多少划分可分为单相关、复相关和偏相关

三、相关分析

相关分析一般可以借助相关系数与相关图来进行相关分析。 （一）相关系数

1．简单相关系数的含义

反映两个变量之间线性相关密切程度和相关方向的统计测定,它是其他相关系数形成的基础。

2．简单相关系数的计算

∑∑∑-?---=

2

2

)

()())((y y x x y y x x r （6.17） 或化简为:()()

2

2

2

2

∑∑∑∑∑∑∑-?--=y y n x x n y

x xy n r （6.18）

3．相关系数的性质

（1）相关系数的取值范围在-1和+1之间，即：–1≤r ≤ 1。 （2）计算结果，若r 为正，则表明两变量为正相关；若r 为负，

则表明两变量为负相关。

（3）相关系数r 的数值越接近于1（–1或+1），表示相关系数越强；越接近于0，表示相关系数越弱。如果r=1或–1，则表示两个现象完全直线性相关。如果r=0，则表示两个现象完全不相关（不是直线相关）。

（4）判断两变量线性相关密切程度的具体标准为： 3.00<≤r ，称为微弱相关；5.03.0<≤r ，称为低度相关；

8.05.0<≤r ，称为显著相关；18.0<≤r 称为高度相关。

（二）相关图

相关图又称散点图。它是以直角坐标系的横轴代表标量X ，纵轴代表标量Y ，将两个变量间相对应的变量值用坐标点的形式描绘出来，用来反映两变量之间相关关系的图形。

四.相关系数的假设检验

1．目的：相关系数检验的目的是判断两变量的总体是否有相关关系。检验样本相关系数r 是否总体相关系数为0的总体，如概率p ＜0.05，认为两变量存在相关关系。

2．方法：有t 检验和查表法。 (1) t 检验法: 统计量计算为：

2

12

--=

n r

r t r ； v = n-2

(2)查表法:是直接查相关系数界值表得到相应的概率p 。统计量r 绝对值越大，p 越小。

第二节 简单线性回归分析

一、回归分析的概念与种类 二、一元线性回归

1.一元线性回归模型

εββ++=x y 10

2.一元线性回归方程

3．回归模型的前提条件

1）线性：是指反应变量Y 的总体平均值与自变量X 呈线性关系； 2）独立性：任意两个观察值之间相互独立；

3）正态性：是指对于给定的X 值，其对应的Y 值的总体和线性模型的误差项ε均服从正态分布；（ε均服从均数为0的正态分布）

4）等方差性：无论X 如何取值，Y 都有相同的方差。

4.回归方程的检验

回归方程的显著性检验

检验自变量和因变量之间的线性关系是否显著。具体方法是将回归离差平方和(SSR )同剩余离差平方和(SSE )加以比较，应用F 检验来分析二者之间的差别是否显著，如果是显著的，两个变量之间存在线性关系；如果不显著，两个变量之间不存在线性关系。 ·SS 总=SS 回+SS 剩

SS 回为回归平方和，它反映在Y 的总变异中，由于X 与Y 的直线关系，而使得Y 变异减小的部分，也即在总平方和中可以用X 解释的部分。SS 回越大，说明回归效果越好。

SS 剩为剩余平方和，它反映X 对Y 的线性影响之外的因素，对Y 的总变异的影响，也即在总平方和中无法用X 解释的部分。SS 剩越小，说明直线回归的估计误差越小。

回归系数的显著性检验

1

b S b

t =

·对于一元线性回归，回归方程的显著性检验与回归系数的显著性检验是等价的。可通过方差分析或t检验进行。

三、相关与回归分析应用注意事项

2．直线相关与回归的区别与联系

（1）区别：

①相关分析要求两个变量均服从正态分布,而回归分析则有两种不同的模型。Ⅰ型回归:定x后对y进行测量,y须服从正态分布;Ⅱ型回归:x,y均须服从正态分布,如体重依身高的变动关系。

②对于同一资料,只能计算一个相关系数,而Ⅱ型回归可以计算由x 推y和由y推x的两个回归方程,但两者不是反函数的关系。

③回归反映两变量间的依存关系,相关反映两变量间的相互关系。有相关联系不一定是因果联系。

（2）联系：

①同一资料r与b符号相同。

②同一资料r与b的假设检验结果是等价的。

③ r与b可以互相换算。

④相关是相互关系,双方向,-1≤r≤+1,无单位,有相关不一定有回归；回归是依存关系,单方向, 无限, 有单位,有回归一定有相关。

第三节 秩相关

秩相关又称等级相关，是一种用等级数据进行直线相关分析的非参数统计方法，适用于双变量不服从正态分布的资料；总体分布型未知；等级资料或无确切数值资料。

秩相关用等级相关系数r s 表示密切程度及方向。其取值范围为-1≤r ≤+1；r ＞0为正相关，r ＜0为负相关；r=0,表示无线性相关关系，为零相关。

r s = 1-(

)1

622-∑n n d

第十一章 多重线性回归

一．基本概念：

多重线性回归的概念：

1．多重线性回归是研究多个自变量与一个因变量之间线性依存关系的方法。

2．多重线性相关（复相关）是研究多个变量与一个变量线性相关关系的方法。

3．多元线性回归是研究多个自变量与多个因变量线性依存关系的方法。

4．多元线性相关是研究多个变量与多个变量之间线性相关关系的方法。

5．偏相关是研究在多个变量中消除其它变量影响后一变量与另一变量的相关关系。

二、多重线性回归模型

1.意义：多重线性回归模型用于研究一个被解释变量（因变量）受多个解释变量（自变量）的影响，多重线性回归模型与一元线性回归模型基本类似，只不过解释变量由一个增加到两个以上，被解释变量y 与多个解释变量x 1,x 2···x k 之间存在线性关系。

2．模型与方程：

·假定被解释变量y 与多个解释变量x 1,x 2···x k 之间具有线性关系，建立多重线性回归模型为：

εββββ++???+++=k k x x x y 22110 （一元εββ++=x y 10）

其中y 为被解释变量，x j 为k 个解释变量，βj 为偏(部分)回归系数，ε为随机误差项。

·被解释变量y 的期望值与解释变量x 的多重线性回归方程为：

k k X b X b X b a Y ++++= 2211?

·参数估计的方法: 一般需要计算机软件完成。如以儿子身高为因变量，父、母身高和体育锻炼次数为自变量，建立方程如下：

? = 0.244x 1+0.566x 2+0.224x 3

3．多重线性回归模型的假设（条件）：

1、因变量Y和解释变量X之间是线性关系；

2、X是自变量，并在两个或多个自变量之间没有精确的线性关系；

3、误差项的所有观测值的期望值为0，方差相等；

4、误差项的观测值之间相互独立，不相关；

5、误差项服从正态分布。

三、参数与参数估计：

1．参数估计方法：参数估计方法是最小二乘法。一般用统计软件完成。

2．偏回归系数βi(b i)：表示除X i外的其他自变量固定时，X i改变一个单位后Y的平均变化。

3.标准回归系数：偏回归系数因各自变量值的单位不同,不能直接比较其大小。对变量值作标准化变换，得到的回归系数为标准回归系数，可直接比较其大小，反映各自变量对因变量的贡献大小。

四、多重回归的假设检验：

1. 回归方程（模型）的假设检验：检验模型是否成立，或方程是否有意义。

（1）方差分析：

（2）总体复相关系数的假设检验：

2. 回归系数的假设检验： )

(0

11b SE b t -=

3. 确定系数计算: 确定系数为：T

e T r

SS SS SS SS R -==12 SS T = SS E + SS R

总离差平方和=残差平方和+ 回归平方和

R 2表示总变差中由多元回归方程“解释”的比例；

R 2可解释模型的拟合优度，残差平方和越小，决定系数越接近1，回归方程的拟合程度越好。

四．回归分析中的变量筛选： 五．多重回归分析的主要用途： 六．多重回归分析的一般步骤： 七．多重相关和偏相关：

应用条件：同简单线性相关一样，仅当X 1，X 2，…， Y 为多元正态分布的随机变量时才能考虑相关分析。

1. 复相关系数(多重相关系数)：多重相关的实质就是Y 的实际观察值与由k 个自变量预测的Y ?值的相关。也既复相关系数反映一个因变量与一组自变量之间的相关程度。

前面计算的确定系数是Y 与Y ?相关系数的平方，那么复相关系数就是确定系数的平方根。

2R R =

2. 偏相关系数（部分相关系数）：部分相关系数反映校正其它变量后某一变量与另一变量的相关关系，校正的意思可以理解为假定其它变量都取值为均数。

计算公式： )

1)(1(223

2

13

2313123,12r r r r r r ---=

3. 偏相关系数的假设检验： 用t 检验。

总体中扣除q 个变量影响的偏相关系数为ρ(-q)，样本中相应的偏相关系数为r(-q)。

检验假设：H 0: ρ(-q)＝0， H 1: ρ(-q)≠0

可采用统计量： 2)

()(12

q q r

q n r t -----=

ν＝n-q-2

·偏相关系数的假设检验等同于偏回归系数的t 检验。 ·复相关系数的假设检验等同于回归方程的方差分析。