相关与回归分析

第九章相关与回归分析

通过本章的学习，我们应该知道：

1.如何判别相关关系

2.回归分析的基本假定

3.一元线性回归分析的内容

4.如何做多元线性回归分析

5.如何将非线性回归模型转换成线性模型

相关与回归分析是现代统计学中非常重要的内容，它在自然科学、管理科学和社会经济领域有着十分广泛的应用。本章从介绍相关分析与回归分析的基本概念与分类入手，以一元线性回归模型为基础，引出包括多元线性回归分析及非线性回归分析中模型识别、参数估计、模型检验与预测等内容。

在分析变量之间关系的时，常用的基本模型有两个，一是相关模型(correlation model)，一是回归模型(regression model)。实践中到底使用哪种模型取决于研究者的研究目的和数据的收集方式和条件。在相关分析中，变量X 和Y 都被视为随机变量，),(Y X 服从二元分布；而回归分析中，变量x 不是随机变量，它被假定为一般变量，在事先选好的已知值中取值，变量Y 是随机变量，在变量x 的给定取值处有相应的观测值。例如，考虑太阳镜的日销售数量Y 与日最高气温X 之间的关系问题。如果我们随机地选择36天，

记录下这36天的太阳镜销售量和日最高气温),(i i Y X ，36,1 =i ，它们是来自二维总体(随机变量))

,(Y X 的独立同分布样本；在这种情况下，应用相关模型进行分析。另一情况是，假如研究者决定只在日最高气温=x 25、30、33、35、36、37、38、39、40℃的那些天收集数据，在日最高气温为上述事先设定的温度的那些天中随机地抽取36天，然后测量记录下相应的太阳镜日销售量，如在每一个日最高气温取值处，随机抽取4天进行测量记录；此时变量x 就不再是随机变量，变量Y 是随机变量，往往应用回归模型进行分析。有时这种区别并不是这么明显。

第一节 相关分析

一、相关关系的概念及分类

（一）相关关系的概念

无论是在自然界还是社会经济领域，一种现象与另一种现象之间往往存在着依存关系，当我们用变量来反映这些现象的特征时，便表现为变量之间的依存关系。如某种商品的销售额（y ）与销售量（x ）之间的关系、商品销售额（y ）与广告费支出（x ）之间的关系以及粮食亩产量（y ）与施肥量（1x ）、降雨量（2x ） 、温度（3x ）之间的关系等。统计学的主要研究对象是随机变量，在多个变量的时候，至少有一个变量是随机变量，因此我们对变量之间关系的分析是随机变量之间的关系或随机变量与确定变量之间的关系。

变量之间的依存关系可以分为两种：一是函数关系，指变量之间保持的严格的、确定的关系。如圆的面积(S)与半径之间的关系可表示为S = π2

R ，当圆的半径R 的值取定后，其圆的面积也随之确定。二是相关关系，指变量之间保持着不确定的依存关系。即变量间关系不能用函数关系精确表达，一个变量的取值不能由另一个变量唯一确定，当变量x 取某个值时，变量y 的取值可能有几个或无穷多个。例如人的身高与体重这两个变量，一般而言是相互依存的，但它们并不表现为确定的函数的关系。因为制约这两个变量的还有其他因素，如遗传因素、营养状况和运动水平等，以至于同一身高的人可以有不同的体重，同一体重的人又表现出不同身高。变量间的这种不严格的依存关系就构成了相关与回归分析的对象。 （二）相关关系的分类

1. 按相关的程度可分为完全相关、不完全相关和不相关

当一个变量的变化完全由另一个变量所决定时，称变量间的这种关系为为完全相关关系，这种严格的

依存关系实际上就是函数关系。当两个变量的变化相互独立、互不影响时，称这两个变量不相关（与下面的不线性相关或线性无关不同），实际上，这里的不相关就是(概率中的)独立，即变量间没有任何关系。当变量之间存在不严格的依存关系时，称为不完全相关。不完全相关关系是现实当中相关关系的主要表现形式，也是相关分析的主要研究对象。

2. 按相关的方向可分为正相关和负相关

当一个变量随着另一个变量的增加（减少）而增加（减少），即两者同向变化时，称为正相关，例如家庭收入与家庭支出之间的关系，一般随着家庭收入的增加，家庭支出也会随之增加。当一个变量随着另一个变量的增加（减少）而减少（增加），即两者反向变化时，称为负相关，如产品产量与单位成本之间的关系，单位成本会随着产量的增加而减少。

3. 按相关的形式可分为线性相关和非线性相关

当变量之间的依存关系大致呈现为线性形式，即当一个变量变动一个单位时，另一个变量也按一个大致固定的增（减）量变动，就称为线性相关。当变量间的关系不按固定比例变化时，就称之为非线性相关。

上述的这些相关关系我们可以用图9.1来示意。

图9.1 相关关系分类示意图

4. 按研究变量的多少可分为单相关、偏相关和复相关

两个变量之间的相关，称为单相关。一个变量与两个或两个以上其他变量之间的相关，称为复相关。在复相关的研究中，假定其他变量不变，专门研究其中两个变量之间的相关关系时称其为偏相关。

变量之间的相关关系需要用相关分析方法来识别和判断。相关分析，就是借助于图形和若干分析指标（如相关系数）对变量之间的依存关系的密切程度进行测定的过程。

二、相关关系的识别

（一）散点图

识别变量间相关关系最简单的方法是图形法。所谓图形法，就是将所研究变量的观察值以散点的形式绘制在相应的坐标系中，通过它们呈现出的特征，来判断变量之间是否存在相关关系，以及相关的形式、相关的方向和相关的程度等。

【例9.1】在研究我国人均消费水平的问题时，把全国人均消费记为y，把人均国内生产总值（人均

GDP ）记为x 。根据数据集01摘录样本数据(i i y x ,),i =1,2,……,9，如表9.1所示，问两者之间存在什么样的相关关系。

表9.1 我国人均国内生产总值与人均消费金额数据 单位:元

【解】根据表9.1，画出（i i y x ,），i=1，2，...，n 的散点图，见图9.2。

图9.2 反映相关关系的散点图

从上图中我们看到本例的样本数据（i i y x ,）大致分别落在一条直线附近，这说明变量x 与y 之间具有明显的线性相关关系。另外，所绘制的散点图呈现出从左至右的上升趋势，它表明x 与y 之间存在着一定的正相关关系，即随着人均GDP 的上升，人均消费金额也会增加。

图形法虽然有助于识别变量间的相关关系，但它无法对这种关系进行精确的计量。因此在初步判定变量间存在相关关系的基础上，通常还要计算相关关系的度量指标。下面我们缩小研究的范围，仅仅研究两个变量间的线性相关关系。两个变量间线性相关关系的度量指标有很多，应用最广泛的是相关系数。

（二）相关系数

相关系数是度量两个变量(现象)间线性关系强度的数量指标。我们先从直观上了解两个变量之间的相关系数ρ的基本思想，然后给出相关系数的一般的、正式的定义，再考虑在不知道总体精确分布的情况下，如何由样本估计相关系数ρ，最后给出相关系数是否等于0的检验方法。

1. 直线相关系数的设计思想

为了从直观上了解相关系数的设计思想，我们考虑二元离散总体比较简单的一种情形。设二元离散总体),(Y X 只有N 对可能的取值（i i y x ,），N i ,,1 =，且N y Y x X P i i /1),(===，由此可以计算出随机变量X 和Y 均值分别为X X E μ=)(和Y Y E μ=

)(，方差分别为2)(X X Var σ=和2

)(Y Y Var σ=。通过

点（X μ，Y μ）画两条平行于X 轴和Y 轴的直线，将散点图分成四个部分，见图9.3。

图9.3 （X μ，Y μ）分割散点图

分布在Ⅰ、Ⅲ部分的点有0))((>--Y i X i y x μμ，分布在Ⅱ、Ⅳ部分的点满足0))((<--Y i X i y x μμ，如果使得))((Y i X i y x μμ--为较大正值的点),(i i y x 占有了总体分布的大部分概率，则有

N y x Y i N

i X

i

/))((1

μμ

--∑=大于0，且取值较大，这时全部可能的取值点中，大多数都分布在Ⅰ、Ⅲ部分，

所以X 和Y 是正相关；如果使得))((Y i X i y x μμ--为较大负值的点),(i i y x 占有了总体分布的大部分概率，则有

N y x Y i N

i X

i

/))((1

μμ

--∑=小于0，且其绝对值较大，这时全部可能的取值点中，大多数都分布在Ⅱ、

Ⅳ部分，所以X 和Y 是负相关；如果使得))((Y i X i y x μμ--为较大正值的点和较大负值的点占有的总体分布的概率大致相等，则有

N y x Y i N

i X

i

/))((1

μμ

--∑=很小或近似为0，这时点不规则地(有时是均匀地)

散布在四个部分，所以X 与Y 不相关。因此

N y x Y i N

i X

i

/))((1

μμ

--∑=可用来衡量X 与Y 的相关方向与程

度，值大表示变量间关系密切，值小表示变量间关系不密切。但

N y x Y i N

i X

i

/))((1

μμ

--∑=的值与X 、Y 的

计量单位及X 、Y 自身的变异程度都有关，为了使不同总体的相关系数可以互相对比，将

))((1

Y i N

i X

i

y x μμ

--∑=除以X 与Y 的标准差X σ、Y σ以消除变量值大小和离差值大小不等的影响。这样得

到，

Y

X Y i N

i X

i

N

y x σσμμ

ρ?--=

∑=/))((1

.

在上述二元总体分布的假定下，

))((1

Y i N

i X

i

y x μμ

--∑=/N 正是X 和Y 的协方差),(Y X Cov 。

2.相关系数与Pearson 相关系数

受到上述设计思想的启发，将其一般化为一般二维随机变量(包括离散型和连续型)。设二维随机变量

),(Y X 有二元分布，它可以视为总体；如果变量X 和Y 的方差)(X Var 和)(Y Var 都大于0，则

)

()()

,(),(Y Var X Var Y X Cov Y X Corr =

（9.1）

称为变量X 和Y 的相关系数或总体相关系数，常常简记为ρ或XY ρ，其中)])([(),(EY Y EX X E Y X Cov --=为变量X 和Y 的协方差。可以证明：（1）1||≤ρ；（2）1||=ρ的充分必要条件是存在常数α和)0(≠β使得X Y βα+=以概率1成立。上述性质说明：

（1）相关系数ρ的取值范围是从-1到1；||ρ的大小揭示了变量X 和Y 间线性相关关系的强弱，变量间的线性相关关系程度随着||ρ的减小而减弱，1±=ρ时，变量X 和Y 之间具有完全线性关系

X Y βα+=，反之亦成立；0=ρ说明变量X 和Y 之间没有线性相关关系，称为不线性相关或线性无关。

（2）ρ的符号说明变量间的线性相关关系的方向，ρ大于0，X 和Y 正线性相关，ρ小于0，X 和

Y 负线性相关。

（3）相关系数是说明线性联系程度的，相关系数很小的变量间可能存在非线性联系，如图9.1的第三幅图的变量间相关系数的绝对值是很小的。

（4）需要注意的是，变量X 和Y 不线性相关与X 和Y 独立是两个不同的概念。如果X 和Y 独立，则必有X 和Y 不线性相关；但是若X 和Y 不线性相关，却不一定有X 和Y 独立，它们之间可能存在着非线性相关关系。然而，若),(Y X 服从二元正态分布，X 和Y 不线性相关和独立是等价的。

如果二维随机变量),(Y X 的概率分布完全知道，则变量X 和Y 的相关系数ρ可以由（9.1）式计算出来，这只是理想的情况，实际问题中，我们往往不知道要研究变量),(Y X 的概率分布，有时至多知道它们的分布类型，如仅知道服从二元正态分布，但分布中的参数却不清楚(如果),(Y X 的概率分布完全知道了，它们间的关系自然很清楚了，就不需要做什么相关分析了！

)，这时将无法利用（9.1）式计算出相关系

数ρ。此时要得到变量X 和Y 的相关系数ρ，可以从总体),(Y X 中随机地抽取容量为n 的样本),(,),,(11n n Y X Y X ，

它们独立、同分布，和总体),(Y X 的分布相同，如何由该样本估计总体变量X 和Y 的相关系数ρ呢？变量X 和Y 间的相关系数ρ，可以由样本通过

∑∑∑===----=

n

i i

n

i i

n

i i i

Y Y X X

Y Y X X

R 1

2

1

2

1

)

()()

)(( （9.2）

进行估计。（9.2）式中的统计量R 是随机变量(注：相关系数ρ只是一个常数，不是随机变量)，它是ρ的一致估计量(相合估计量)和渐进无偏估计量，称为样本相关系数。由于（9.2）式中的统计量R 是由英国统计学家皮尔逊(Pearson )提出的，所以也常称为Pearson 相关系数。（9.2）式可以化为以下形式

2

1

1

221

1

2

1

1

1

)()(∑∑∑∑∑∑∑=======---=

n

i i n i i n i i n i i n

i i

n i i n i i i Y Y n X X n Y X Y X n R （9.3）

（9.3）式在计算时较为简单，经常用于实际计算。该公式看上去复杂，但由于没有了“积差”，计算要简便得多，另外该公式也便于用计算器上的统计功能计算。把样本),(,),,(11n n Y X Y X 的观测值

),(,),,(11n n y x y x 代入（9.3）式即得相关系数ρ的估计值

2

1

1

221

1

2

1

1

1

)()(∑∑∑∑∑∑∑=======---=

n

i i n i i n i i n i i n

i i

n

i i n

i i i y y n x x n y x y x n r (9.4)

样本相关系数是根据样本观察值计算的，随着取样的不同，相关系数的值也会有所变化。 【例9.2】根据例9.1的资料，计算人均消费与人均国内生产总值的直线相关系数。 【解】利用Excel 表计算出公式（9.4）中所需要的有关数据，见图9.4，再带入公式计算：

图9.4 相关系数的计算表

()

()

9938

.028734

94547496961395433057667928734

6139520229985292

2

2

22

2=-??-??-?=

---=∑∑∑∑∑∑∑y y n x x n y x xy n r

3. 相关系数的检验

例9.2计算的Pearson 相关系数9938.0=r 相对于0来说已经相当大了，是否说明人均消费与人均国内生产总值之间线性相关呢？仅仅看这个数值是不能确定二者之间的线性相关关系的。不要忘了这个数值仅仅是基于9个样本点计算出来的，它要受到抽样误差的影响。为了说明抽样误差对Pearson 相关系数的影响，请考虑图9.5所给出的二元总体（图中给出了总体的全部取值），实际上这两个变量之间没有线性相关关系，总体相关系数0=ρ。假如现在从总体中抽取了一个随机样本，在图中用圆圈标出，这个样本显示所考虑的两个变量之间有很强的线性关系，根据这个样本观测值计算Pearson 相关系数为98.0=r 。在这种情况下，样本相关系数的值很大，但是两个总体变量却是独立的。因此总体的相关系数需要经过正式的假设检验，才能做出比较可靠、科学的判断和结论。在实际应用中，一般都是根据样本数据计算Pearson 相关系数，然后在对总体相关系数进行检验。

图9.5 从二元总体中抽取的一个随机样本

假定总体变量),(Y X 服从二元正态分布),,,,(ρσσμμY X Y X N ，),(,),,(11n n Y X Y X 是来自该总体的一个随机样本。要检验的假设为0:0=ρH ；0:1≠ρH (备择假设或者为0:1>ρH ，0:1<ρH )。 则检验统计量为

2

12R

n R t --=

(9.5)

这里R 为(9.2)或(9.3)式中的统计量，可以证明在原假设成立的条件下，(9.5)式的统计量t 服从自由度为

2-n 的t 分布。

计算检验的t 统计量21/2r n r t --=，然后，根据给定的显著性水平α和自由度2-n ，查t 分布表中的相应临界值2/αt ，若2/αt t ≥，就拒绝原假设，接受备择假设，认为总体相关系数ρ显著不为零，总体变量间确实存在线性相关关系；反之，则不能拒绝原假设。或者计算p 值)|(|0t T P H ≥，如果p 值小于显著性水平α，则拒绝原假设。若备择假设为0:1>ρH ，则当αt t ≥时，拒绝原假设，接受备择假设，否则不能拒绝原假设；若备择假设为0:1<ρH ，则当αt t -≤时，拒绝原假设，接受备择假设，否则不能拒绝原假设。

【例9.3】根据上例结果，检验在α=0.05的显著性水平下，人均消费额与人均国内生产总值是否具有线性相关关系。

【解】若取显著性水平05.0=α，查表得到临界值得：3646.2)29(2/=-αt ， 检验统计量的值为：2

9938

.01299938.0--=

t =23.65

由于2/αt t >，所以否定原假设，接受备择假设，表明总体相关系数不为零，即人均国内生产总值与人均销售金额之间确实存在着线性相关关系。自己试着检验：人均消费额与人均国内生产总值是否具有正线性相关关系。

由(9.2)或(9.3)式可知，统计量R 是随机变量，它有自己的分布，但是R 的分布与总体),(Y X 的二元分布有关。另外，由(9.5)式可知，R 是t 的函数，因此可以从t 分布的分布密度推导出统计量R 的分布密度和分布函数，这里不再给出R 的分布密度表达式。本书附表九相关系数临界值表实际上就是统计量R 分布的临界值表。总体相关系数检验更简单的方法是，先计算Pearson 样本相关系数r ，然后再查相关系数临界值表，查表时，要根据备择假设的情况和2-n 与α，查出相应的临界值。

(1) 对备择假设0:1≠ρH ，若)2(2/-≥n r r α，则拒绝原假设，接受备择假设，否则不能拒绝原假设； (2) 对备择假设0:1>ρH ，若)2(-≥n r r α，则拒绝原假设，接受备择假设，否则不能拒绝原假设； (3) 对备择假设0:1<ρH ，若)2(--≤n r r α，则拒绝原假设，接受备择假设，否则不能拒绝原假设。

对于例9.3，9=n ，05.0=α；因为是双边检验，查得666.0)7()2(025.02/==-r n r α，由于|r|=0.9938>0.666，

故人均国内生产总值与人均销售金额之间确实存在着线性相关关系。

最后要给大家说明的是，线性相关关系与因果关系是不同的。相关系数很大未必表示变量间存在因果关系，也可能两个变量同时受第三个变量的影响而使它们有很强的相关。比如，人的肺活量与人的身高会呈现高度相关，其实肺活量和身高都受人的体重的影响，因此如果固定人的体重来研究肺活量与身高的关系，则会发现相关性很低。这涉及偏相关系数的计算。又如，我们计算1980-2004年期间某地猪肉销售量与感冒片销售量的相关系数，它可能很大，但这并不说明猪肉销售量与感冒片销售量之间有线性相关关系，因为它们都受这个时期人口增长因素的影响，把两个从逻辑上不存在联系的两个变量放在一起做相关分析，没有意义，在统计上称之为“虚假相关”。

第二节 一元线性回归分析

一元线性回归（linear regression ）是描述两个变量之间相互联系的最简单的回归模型（regression model ）。一元线性回归虽然简单，但通过一元线性回归模型的建立过程，我们可以了解回归分析方法的基本统计思想以及它在经济问题研究中的应用原理。本节将详细讨论一元线性回归的建模思想、最小二乘估计及其性质、回归方程的有关检验、预测和控制的理论及应用。

一、一元线性回归

在许多问题的研究中，经常需要研究某一现象与影响它的某一最主要因素之间的关系。譬如，在消费问题的研究中，影响消费的因素很多，但我们可以只研究国内生产总值与消费额之间的关系，因为它是影响消费的最主要因素；通常我们对所研究的问题首先要收集与它有关的n 组样本数据（i i y x ,）,i=1,2,…,n 。为了直观地发现样本数据的规律，我们把（i i y x ,）看成是平面直角坐标系中的点，画出这n 个样本点的散点图。图9.2就是我国人均国内生产总值与人均消费的散点图，而随后计算出的相关系数为0.9938，经过检验表明人均消费Y 与人均国内生产总值x 之间有着密切的相关关系。为进一步探讨变量Y 与x 之间的统计规律性，我们用下面的数学模型来描述它。

εββ++=x Y 10 （9.6）

（9.6）式将问题中变量Y 与x 之间的关系用两个部分描述。一部分是由于x 的变化引起Y 线性变化的部分，即x 10ββ+；另一部分是由其他一切随机因素引起的，记为ε。（9.6）式表达了变量x 与Y 之间密切相关，但密切程度又没有到由x 唯一确定Y 的这种特殊关系。（9.6）式称为变量Y 对x 的一元线性回归总体模型。一般我们称Y 为被解释变量，或因变量（dependent variable ）；x 为解释变量，或自变量（independent variable ）。式中10ββ和是未知参数，称它们为回归系数(regression coefficient)。ε表示其他随机因素的影响。在（9.6）式中一般假定ε是不可观测的随机误差，它是一个随机变量，通常假定ε服从期望为零、方差为2

σ的正态分布。在这个假定下，进一步有),(~2

10σββx N x Y +，它表示在x 给定时随机变量Y 也服从正态分布，且x x Y E 10)(ββ+=，2

)var(σ=Y 。

（9.6）式从平均意义上表达了变量Y 与x 的统计规律性。这一点在应用上非常重要，因为我们经常关心的正是这个平均值。如上例在消费Y 与国内生产总值x 的研究中，我们所关心的正是当国内生产总值达到某个水平时，人均消费能达到多少。由（9.6）式，只要估计出回归系数0β和1β就可以算出当x 已知时x Y E 10)(ββ+=的值。通常

x x Y E 10)(ββ+= （9.7）

称为一元线性回归方程，在图形上它表示一条截距为0β、斜率为1β的直线，这条直线称为一元线性回归直线。如果x=0，则0β是x=0时Y 概率分布的均值；1β表示x 每变动一个单位时Y 概率分布的均值的变化，即当x 每增加一个单位时，Y 平均变化1β个单位。回归分析的主要任务之一就是通过n 样本观察值

（i i y x ,），i=1,2, …,n ，对10,ββ和2

σ进行估计。一般用1

0?,?ββ和2

?σ分别表示10,ββ和2

σ的估计值；称 x Y 1

0???ββ+= （9.8） 为Y 关于x 的一元线性经验回归方程。

二、参数10ββ，的最小二乘估计

为了由样本数据得到回归参数10,ββ的估计值，我们将使用普通最小二乘估计(Ordinary Least Square Estimation ，简记为OLSE)。对每一个样本观察值（i i y x ,），最小二乘法的基本思想就是希望线性回归直线与所有样本数据点都比较靠近，即要观察值(Observed value)i y 与其期望值i i i x x x Y E 10)(ββ+==的差

)()(10i i i i i x y x x Y E y ββ+-==-越小越好(图9.6是这种思想的直观表现)，为防止差值正负抵消，于是考

虑这n 个差值的平方和达到最小，即

∑=--=n

i i i x y Q 1

21010)(),(ββββ (9.9)

达到最小。所谓最小二乘法，就是求1

0?,?ββ使得 ()[]()[]2

1

10

1

2

1

10

min ),(min ??

∑∑==+-==+-n

i i i

n

i i

i

x y Q x y ββ

ββββ (9.10)

图9.6 一元线性回归示意图

求出（9.10）式中的0

?β和1?β是一个求极值点的问题，这只需求(9.9)式的关于0β和1β的二元函数∑=--=n

i i i x y Q 121010)(),(ββββ极小值点。

由于Q 是关于0β和1β的非负二次函数，因而它的最小值总是存在的。根据微积分中求极值的原理，让),(10ββQ 分别对0β和1β求偏导，且令这两个偏导等于0得

()[]()[]???????=+--=??=+--=??∑∑==02021101

1

100i n

i i i n

i i i x x y Q x y Q

ββββββ 经整理后，得正规方程组：

()()?????=+=+∑∑∑∑∑i

i i i i

i y x x x y x n 12

010)(ββββ 求解正规方程组，得：

()

∑∑∑∑∑∑∑---=--=2

22

1)

())((?x x y y x x x x n y x y x n i

i i

i i i

i i i β

x y n

x n

y i i

1

10

???βββ-=-=∑∑ (9.11) (9.11)式中的10?,?ββ称为10,ββ的普通最小二乘估计，简称10,ββ的OLSE 。可以证明，10,ββ的最小二乘估计10?,?ββ满足无偏性，即0

0)?(ββ=E ，11)?(ββ=E 。我们记i e 为实际观察值i y 与其估计值i

i x y 10???ββ+=的偏差，称为残差，即i i i y y e ?-=，∑=n

i i e 1

2称作残差平方和（Residual Sum of Square ）。 把(9.11)式中关于1

?β的表达式和上节(9.4)比较易得

()

()

r y y n x x n i i i i =--∑∑∑∑1

2

222?β或()()

1

2

22

2?β=--∑∑∑∑r x x n y y n i i i i 。 回归系数的最小二乘估计1?β和总体相关系数的估计Pearson 相关系数r 具有上述关系式，从而可知1

?β和r

同号，这和我们的直觉也是一致的。事实上，可以证明总体相关系数ρ和线性回归直线的斜率1β具有关系1βσσ=r X

Y ，这里就不再推导了。

最后我们给出误差项的方差2

σ的无偏估计2

2

)(?2

2

^

2

-=

--=∑∑n e n y y i

i

i σ

，其平方根σ

?也称为估计标准误差，有时也记作yx S ，展开可得2

???102

---==∑∑∑n xy

y y

S yx ββσ

，在计算时有些情况下用它比较

简单。

【例9.4】根据例9.1的资料，建立人均消费与人均国内生产总值的回归方程。

【解】利用上述公式就可具体计算回归方程的参数。根据图9.4已经计算好的有关数据，带入公式（9.11）得：

()

4414.061395

433057667928734

613952022998529?2

2

21

=-??-?=

--=∑∑∑∑∑i i i i i i x x n y x y x n β =?-=-=∑∑9

613954414.0928734??1

n x n y

i i

ββ181.5830 所以，回归方程为：x y 4414.05830.181^

+=。

三、对一元回归方程的评价

获得经验回归方程

x y 10???ββ+=后，我们不能就用它去作分析和预测，因为

x y 10???ββ+=是否真正描述了y 与x 之间的统计规律，还需必须通过统计检验。一元线性回归模型的评价分为拟合优度检验和方程的显著性检验，它是利用统计学中的抽样理论来检验回归方程的可靠性。

（一）一元线性回归模型拟合优度的评价

所谓拟合优度（goodness of fit ），是指样本观测值聚集在样本回归线周围的紧密程度。判断回归模型拟合程度好坏的最常用的指标是可决系数2

R ，又称判定系数，它是建立在对总变差平方和进行分解的基础之上的。

我们把y 的n 个观察值之间的差异，用观察值i y 与其平均值y 的偏差平方和来表示，称为总离差平方和SST （total deviation sum of squares ）

21

)(-

=-=∑y y SST n

i i （9.12）

将SST 分解成如下：

21

1

2

1

2

1

2

1

)?()?)(?(2)?()??()(y y y y y y y y y y y

y y y SST n

i i i i n i i i n i i i i n i i n i i -+--+-=-+-=-=∑∑∑∑∑===== 其中，

()()

0??1

=--∑=y y y

y

i n

i i i

（课后有时间自己证明哦！）这样有：

()()()

2

1

2

1

2

1

??∑∑∑===-+-=-n

i i n

i i i

n

i i

y y y

y

y

y

(9.13) 其中：

()

2

1

?∑=-n

i i

y y

称为回归平方和SSR （regression sum of squares ）

，()∑=-n

i i i y y 1

2

?称为残差平方和SSE （residual sum of squares ），这样（9.13）即为：

总偏差 = 回归偏差 + 剩余偏差，简记为：SST= SSR + SSE ，若两边同除以SST 得：

1=+SST

SSE

SST SSR （9.14） 显然，在总的离差平方和中回归平方和所占的比重越大，则回归效果越好，说明回归直线与样本观察值拟合得好；如果残差平方和所占的比重大，则回归直线与样本观察值拟合得不理想。把回归平方和与总离差平方和之比定义为可决系数(coefficient of determination)，又称判定系数，即：

()()

∑∑--=

=2

22

?y y y y

SST SSR R i

i （9.15）

可决系数是对回归模型拟合程度的综合度量，可决系数越大，回归模型拟合程度越高。2

R 表示全部偏差中有百分多少的偏差可由x 与y 的回归关系来解释。可决系数2

R 具有非负性，取值范围在0到1之间，它是样本的函数，是一个统计量。等价地，SST

SSE

R =

-2

1也可以作为反映回归直线与样本观察值拟合好坏的一个指标，不同于可决系数的是，其值小，说明回归方程的偏离度小，即回归方程的代表性好。

（二）一元线性回归方程的显著性检验

对线性回归模型的显著性检验包括两个方面的内容：一是对整个回归方程的显著性检验（F 检验），另一个是对各回归系数的显著性检验（t 检验）。就一元线性回归模型而言，上述两个检验是等价的。

1. 整个回归方程的显著性检验的步骤：

（1）提出假设：0:0=i H β；i H β:1不全为0； （2）这里的F 检验其实就是方差分析的内容，见表9.2；

表9.2 一元线性回归方程的方差分析表

（3）给定显著性水平α，确定临界值)2,1(-n F α；

（4）若F )2,1(-≥n F α，则拒绝0H ，说明总体回归系数01≠β，即回归方程是显著的。 2. 回归系数的显著性检验的步骤：

（1）提出假设：0:10=βH ；0:11≠βH ；

（2）t 检验的计算公式为：1

^

1

S t β=

，其中1S 是回归系数估计量1

?β的标准差 ∑-

-==2

1

1)

()?(x x S Var S yx

β （9.17）

（3）给定显著性水平α，确定临界值)2(2/-n t α；

（4）若)2(2/-≥n t t α，则拒绝0H ，接受备择假设，即总体回归系数01≠β；否则不能拒绝0H 。 设都是一样的。哦？

【例9.5】根据例9.1的资料，计算可决系数、估计标准误差，并对回归方程进行检验（α=0.05）。 【解】首先将每个x 代入回归方程x y 4414.05830.181^

+=，得到一个^

y 序列，再根据公式（9.15）、

（9.16）、（9.17）和σ

?=yx S 的公式，将有关数据带入计算，我们可以用Excel 辅助计算，见图9.7。

图9.7 计算检验回归方程统计量的辅助表

可决系数：()()

9876.000

.280941265

.2774636?2

22==

--==

∑∑y y

y y

SST

SSR

r i

i

估计标准误差：yx S =

4833.709073.49672

935

.347752

)(2

^

==-=

--∑n y y

i i

或：

44.707

40

.347352

9202299852

4414.028*******.181945474962

^1

^

2

==

-?-?-=

---=

∑∑∑n xy y y

S yx ββ

用计算机来算就没这个问题了。下面进行检验：

t 检验： 0187.0142414424833

.70)(2

1==

-=

∑

-

x x S S yx

63.230187.04414.01

^

1==

=S t β α=0.05，365.2)7()2(025.02/==-t n t α, 因为2/63.23αt t >=，所以拒绝原假设0H ，接受备择假设，即总体回归系数01≠β。

或者做F 检验：

MSR=SSR=

()

2

1

?∑=-n

i i

y y

=2774636.65 ；

2-=n SSE

MSE =

9071.49672

935

.347752

)(1

2

^

=-=

--∑=n y y

n

i i

5122.5589071

.496765

.2774636===

MSE MSR F α=0.05，59.5)7,1()2,1(05.0==-F n F α；因为F=558.5122>)2,1(-n F α，所以拒绝原假设0H ，说明总体回归系数01≠β。

图9.8 “回归”分析工具对话框

图9.9 “回归”分析结果截图

四、一元回归方程的预测区间

建立回归模型的目的就是为了能够用它进行预测，经过检验的回归方程可以用以区间估计，所谓回归分析的预测区间（prediction interval ）是指对于给定的x 值，求出y 的平均值的置信区间或y 的一个个别值的预测区间，如图9.10所示。

图9.10 回归分析的区间估计

当自变量给定要预测因变量时，先将0x x =代入公式（9.8），得0?y

。0?y 是对应于0x 的点估计值，但我们往往更希望能给出因变量的一个预测值范围。

1. Y 的平均值)(0y E 的置信区间估计

残差为)(0^

00y E y -=δ，0

δ服从正态分布。

0δ的期望是：0)()()]([)(0100100^

00=+-+=-=x x y E y E E ββββδ

0δ的方差是：?????

???????--+=-=∑=-

-n

i i x x x x n y E y E 1220220^00)()(1)]([)var(σδ 这部分的公式推导比较复杂，可以参阅计量经济学教材。

用2

yx s

替代2

σ，则0δ的标准差是：∑=-

-

--+=n

i i yx

x x x x n

s 1

2

200)()(1

)(δσ 则)(0y E 的1-α的置信区间为：)(02/^

0δσα?±t y ，即：

∑=-

-

--+?±n

i i yx

x x x x n s t y 1

2

202/^

0)()(1

α （9.18） 2. Y 的个别值0y 的置信区间估计 残差为0^

00

y y e -=，0e 服从正态分布。

0e 的期望是：0)]([)(][)(0100100^

00=++-+=-=εββββE x x y y E e E 0e 的方差是：)var()var(0^

00y y e -=；因为^

0y 与0y 相互独立，且：

)var()]([)var(020^

0^

0δ=-=y E y E y ；2000100)var()var()var(σεεββ==++=x y ∴ ?

????

???????--++=+????????????--+=+=∑∑=-

-

=--n i i n i i x x x x n x x x x n y y e 12202

22122020^00)()(11)()(1)var()var()var(σσσ 用2

yx s

替代2

σ，则的标准差是：∑=-

-

--++=n i i yx

x x x x n

s e 1

2

200)()(1

1)(σ

则0y 的1-α的置信区间为：)(02/^

0e t y σα?±，即：

∑=-

-

--++?±n i i

yx

x x x x n s t y 1

2

202/^

0)()(1

1α （9.19）

归纳两个预测区间的特点：首先由于)var()var(00e <δ，故总体均值的预测区间比个别值的预测区间

要窄；其次样本容量n 越大，则残差的方差越小，预测精度越高；最后在n 一定时，当预测点-

=x x 0时，残差的方差最小，预测区间最窄，离-

x 越远，残差的方差越大，预测区间越宽，预测可信度下降。

【例9.6】根据例9.1的资料，若2004年的人均GDP 为10000元，求人均消费95%的置信区间。 【解】将100000=x 代入回归方程得^

0y =181.5830+0.4414×10000=4595.5830（元） 查表得365.2)7(2/=αt ，其它数据参见图9.7，代入公式（9.18）和（9.19）： Y 的平均值的95%的置信区间：

00.14241442)6667.682110000(914833.70365.2583.4595)()(12

1

2

2

02/^

0-+

??±=--+?±∑=-

-

n

i i yx

x x x x n

s t y α

570.4746~596.4444987.150583.4595=±=(元)

Y 的个别值的95%的置信区间：

00.14241442)6667.682110000(9114833.70365.2583.4595)()(112

1

2

2

02/^

0-+

+??±=--++?±∑=-

-

n

i i yx

x x x x n

s t y α

491.4820~675.4370908.224583.4595=±=(元)

第三节 多元线性回归分析

上一节主要介绍了涉及一个自变量和一个因变量的简单线性回归模型。实际生活中，客观现象非常复杂，现象之间的联系方式和性质各不相同。影响因变量变化的自变量往往不止一个，而是多个，因此有必要对一个因变量与多个自变量联系起来进行分析。本节将重点介绍多元线性回归模型及其基本假设、回归模型未知参数的估计及其性质、回归方程及回归系数的显著性检验等。

一、多元线性回归模型

（一）多元线性回归（multiple liner regression ）模型的一般形式

εββββ+++++=p p x x x Y ......22110 （9.20）

式中，

p βββ,......,,10是p+1个未知参数，称为回归系数。Y 称为被解释变量（因变量）

，而p x x x ,......,,21是p 个可以精确测量并可控制的一般变量，称为解释变量（自变量）

。p=1时，（9.20）式即为上一节分析的一元线性回归模型，2≥p 时，我们就称（9.20）式为多元线性回归模型，这里ε