总结：线性回归分析的基本步骤

线性回归分析的基本步骤

步骤一、建立模型

知识点：

1、总体回归模型、总体回归方程、样本回归模型、样本回归方程 ①总体回归模型：研究总体之中自变量和因变量之间某种非确定依赖关系的计量模型。Y X U β=+

特点：由于随机误差项U 的存在，使得Y 和X 不在一条直线/平面上。 例1：某镇共有60个家庭，经普查，60个家庭的每周收入（X ）与每周消费（Y ）数据如下：

作出其散点图如下：

②总体回归方程（线）：由于假定0EU =，因此因变量的均值与自变量总处于一条直线上，这条直线()|E Y X X β=就称为总体回归线（方程）。 总体回归方程的求法：以例1的数据为例

，求出E (Y |X 由于01|i i i E Y X X ββ=+，因此任意带入两个X i 和其对应的E (Y |X i )值，即可求出01ββ和，并进而得到总体回归方程。

如将()()22277

7100,|77200,|137X E Y X X E Y X ====和代入

()01|i i i E Y X X ββ=+可得：0100117710017

1372000.6ββββββ=+=?????=+=??

以上求出01ββ和反映了E (Y |X i )和X i 之间的真实关系，即所求的总体回归方程为：()|170.6i i i E Y X X =+，其图形为：

③样本回归模型：总体通常难以得到，因此只能通过抽样得到样本数据。如在例1中，通过抽样考察，我们得到了20个家庭的样本数据：

那么描述样本数据中因变量Y 和自变量X 之间非确定依赖关系的模型

?Y X e β

=+就称为样本回归模型。 ④样本回归方程（线）：通过样本数据估计出?β

，得到样本观测值的拟合值与解释变量之间的关系方程??Y X β=称为样本回归方程。如下图所示：

⑤四者之间的关系：

ⅰ：总体回归模型建立在总体数据之上，它描述的是因变量Y 和自变量X 之间的真实的非确定型依赖关系；样本回归模型建立在抽样数据基础之

上，它描述的是因变量Y 和自变量X 之间的近似于真实的非确定型依赖

关系。这种近似表现在两个方面：一是结构参数?β是其真实值β的一种近似估计；二是残差

e 是随机误差项U 的一个近似估计；

ⅱ：总体回归方程是根据总体数据得到的，它描述的是因变量的条件均值E (Y |X )与自变量X 之间的线性关系；样本回归方程是根据抽样数据得到

的，它描述的是因变量Y 样本预测值的拟合值?Y

与自变量X 之间的线性关系。

ⅲ：回归分析的目的是试图通过样本数据得到真实结构参数β的估计值，

并要求估计结果?β

足够接近真实值β。由于抽样数据有多种可能，每一次抽样所得到的估计值?β

都不会相同，即β的估计量?β是一个随机变量。因此必须选择合适的参数估计方法，使其具有良好的统计性质。 2、随机误差项U 存在的原因： ①非重要解释变量的省略 ②人的随机行为 ③数学模型形式欠妥

④归并误差（如一国GDP 的计算） ⑤测量误差等

3、多元回归模型的基本假定 ①随机误差项的期望值为零()0i E U =

②随机误差项具有同方差性2() 1,2,,i Var u i n σ==

③随机误差项彼此之间不相关(,)0 ; ,1,2,,i j Cov u u i j i j n =≠= ④解释就变量X 1,X 2,···,X k 为确定型变量，与随机误差项彼此不相关。

(,)0 1,2,, 1,2,,ij j Cov X u i k j n ===

⑤解释就变量X 1,X 2,···,X k 之间不存在精确的（完全的）线性关系，即解释变量的样本观测值矩阵X 为满秩矩阵：rank (X )=k +1

步骤二、参数估计

知识点：

1、最小二乘估计的基本原理：残差平方和最小化。

2、参数估计量：

① 一元回归：1201???i i i x y x Y X

βββ?=

??

?=-?∑∑ ② 多元回归：

()1?T X X X Y β-'= 3、最小二乘估计量的性质（Gauss-Markov 定理）：

在满足基本假设的情况下，最小二乘估计量?β

是β的最优线性无偏估计量（BLUE 估计量）

步骤三、模型检验

1、经济计量检验（后三章内容）

2、统计检验 ①拟合优度检验 知识点：

ⅰ：拟合优度检验的作用：检验回归方程对样本点的拟合程度 ⅱ：拟合优度的检验方法：计算（调整的）样本可决系数22/R R

21RSS ESS

R TSS TSS

=

=-，2/1

1/1

ESS n k R TSS n --=-

-

注意掌握离差平方和、回归平方和、残差平方和之间的关系以及它们

的自由度。

计算方法：通过方差分析表计算

例2：下表列出了三变量（二元）模型的回归结果：

1） 样本容量为多少？

解：由于TSS 的自由度为n -1，由上表知n -1＝14，因此样本容量n =15。 2） 求ESS

解：由于TSS ＝ESS ＋RSS ，故ESS ＝TSS －RSS ＝77 3） ESS 和RSS 的自由度各为多少？

解：对三变量模型而言，k =2，故ESS 的自由度为n -k -1＝12 RSS 的自由度为k ＝2 4） 求22R R 和

解：2

659650.998866042RSS R TSS =

==，2/1

10.9986/1

ESS n k R TSS n --=-=-

②回归方程的显著性检验（F 检验）

目的：检验模型中的因变量与自变量之间是否存在显著的线性关系 步骤：1、提出假设：

0121:...0:0 , 1,2,...,k j H H j k

ββββ====≠=至少有一

2、构造统计量：/~(,1)/1

RSS k

F F k n k ESS n k =

----

3、给定显著性水平α，确定拒绝域(),1F F k n k α>--

4、计算统计量值，并判断是否拒绝原假设

例3：就例2中的数据，给定显著性水平1%α=，对回归方程进行显著性检验。

解：由于统计量值/65965/2

5140.13/177/12

RSS k F ESS n k =

==--，

又()0.012,12 6.93F =，而()0.015140.132,12 6.93F F =>=

故拒绝原假设，即在1%的显著性水平下可以认为回归方程存在显著的线性关系。

附：2

R F 与检验的关系：

由于()()2

2

222

/1/1/1/1RSS RSS R R RSS ESS R k TSS ESS RSS R F RSS k R n k F ESS n k ?==?=??+-?=?---?=

?--?

又 ③解释变量的显著性检验（t 检验）

目的：检验模型中的自变量是否对因变量存在显著影响。 知识点：

多元回归：?

i

S β=

1,1i i C ++为()1

X X -'中位于第i +1行

和i +1列的元素；

一元回归：

1

?

?S S ββ=

=

变量显著性检验的基本步骤：

1、提出假设：01:0 :0i i H H ββ=≠

2、构造统计量：??~(1)i

i

t t n k S β

β=--

3、给定显著性水平α，确定拒绝域/2(1)t t n k α>--

4、计算统计量值，并判断是否拒绝原假设 例4：根据19个样本数据得到某一回归方程如下：

12?58.90.20.1 (0.0092) (0.084)

Y X X se =-+-

试在5%的显著性水平下对变量12X X 和的显著性进行检验。

解：由于/20.025(1)(16) 2.12t n k t α--==，故t 检验的拒绝域为 2.12t >。对

自变量1X 而言，其t 统计量值为1

1?

?0.2

21.74 2.120.0092

t S ββ=

=

=>，落入 拒绝域，故拒绝10β=的原假设，即在5%的显著性水平下，可以认为自变量1X 对因变量有显著影响；

对自变量2X 而言，其t 统计量值为2

2?

?0.1

1.19

2.120.084

t S ββ=

=

=<，未落入拒绝域，故不能拒绝20β=的原假设，即在5%的显著性水平下，可以认为自变量2X 对因变量Y 的影响并不显著。 ④回归系数的置信区间

目的：给定某一置信水平1α-，构造某一回归参数i β的一个置信区间，使

i β落在该区间内的概率为1α-

基本步骤：

1、构造统计量?

?~(1)i

i i t t n k S βββ-=

--

2、给定置信水平1α-，查表求出α水平的双侧分位数/2(1)t n k α--

3、求出i β的置信度为1α-的置信区间()

??/2/2??,i

i

i i t S t S ααββ

ββ-?+? 例5：根据例4的数据，求出1β的置信度为95%的置信区间。 解：由于0.025(16) 2.12t =，故1β的置信度为95%的置信区间为：

()()0.2 2.120.0092,0.2 2.120.00920.18,0.22-?+?=

3、经济意义检验

目的：检验回归参数的符号及数值是否与经济理论的预期相符。 例6：根据26个样本数据建立了以下回归方程用于解释美国居民的个人消费支出：

122?10.960.93 2.09 ( 3.33) (249.06) ( 3.09)0.9996

Y X X t R =-+---= 其中：Y 为个人消费支出（亿元）；X 1为居民可支配收入（亿元）；X 2为利率（%）

1） 先验估计12

??ββ和的符号； 解：由于居民可支配收入越高，其个人消费水平也会越高，因此预期自变量X 1回归系数的符号为正；而利率越高，居民储蓄意愿越强，消费意愿

相应越低，因此个从消费支出与利率应该存在负相关关系，即2

?β应为负。 2） 解释两个自变量回归系数的经济含义；

解：1

?0.93β=表示，居民可支配收入每增加1亿元，其个人消费支出相应会增加0.93亿元，即居民的边际消费倾向MPC ＝0.93；

2

? 2.09β=-表示，利率提高1个百分点，个人消费支出将减少2.09亿元。

截距项表示居民可支配收入和利率为零时的个人消费支出为-10.96亿元，它没有明确的经济含义。 3） 检验1β是否显著不为1；（5%α=） 解：1）提出假设：0111: 1 :1H H ββ=≠

2）构造统计量：1

11?

?~(1)t t n k S βββ-=

--

3）给定显著性水平5%α=，查表得/20.025(1)(23) 2.07t n k t α--==，故拒绝域为 2.07t >

4）计算统计量值：由于11

11?1?1??0.93?()0.003734?249.06()t S S t ββββββ=

?=== 则1

11?

?0.07

18.75 2.070.003734

t S βββ-=

=

=>，落入拒绝域。故拒绝1 1 β=的原假设。

即在5%的显著性水平下，可认为边际消费倾向MPC 显著不为1。 4） 检验2β显否显著不为零；（5%α=） 解：1）提出假设：0212:0 :0H H ββ=≠

2）构造统计量：2

2?

?~(1)t t n k S ββ=

--

3）给定显著性水平5%α=，查表得/20.025(1)(23) 2.07t n k t α--==，故拒绝域为 2.07t >

4）计算统计量值：由于2

?() 3.09 2.07t β=>，落入拒绝域，故拒绝原假设。即在5%的显著性水平下，可以认为2β显著异于零。 5） 计算2R 值；

解：由于()()22/111

1111/111

261

110.99960.99957

2621

ESS n k ESS n n R R TSS n TSS n k n k ----=-

=-?=--?

------=--?=--

6） 计算每个回归系数的标准差；

解：由于0

120

?01???12?2?10.96 3.29? 3.33()???0.93?()0.00373??249.06()()?

2.090.6764?

3.09()i i

i i i i S t t S S S t t S t βββββββββββββββ?-===?-?

??=?=?===???-?===?-?

7） 给出2β置信水平为95%的置信区间；

解：由于2

?20.025? 2.09 , 0.6764 , (23) 2.07S t β

β=-==，故2β置信水平为

95%的置信

区间为()()2.09 2.070.6764 , 2.09 2.070.6764-3.49 , -0.69--?-+?= 8） 对回归方程进行显著性检验； 解：提出假设：012112:0 :0H H ββββ==≠或

构造统计量/~(,1)/1

RSS k

F F k n k ESS n k =

----

确定拒绝域：0.05(.1)(2,23) 3.42F F k n k F α>--== 计算统计量并进行判断：

由于()()

22

/0.9996/2

28738.5 3.420.0004/231/1R k F R n k ===>--- 故拒绝原假设，即在5%的显著性水平下认为回归方程的线性关系显著成立。

步骤四：经济预测

点预测：00

??Y X β=可以看着是Y 的条件均值()00|E Y X 和个别值0Y 的预测值，分别称为均值预测和个值预测；

性质：00

??Y X β=是()00|E Y X 和0Y 的一个无偏估计量。 区间预测：均值()00|E Y X 的区间预测

预测步骤：1）确定统计量：()0

000

?

?|~(1)Y Y E Y X t t n k S -=

--

其中

?Y S =

2）给定置信水平1α-，确定()00|E Y X 的预测区间为：

()0

??0

/2

0/2??(1),(1)Y Y

Y t

n k S Y t n k S αα---?+--?

个值0Y 的区间预测

预测步骤：1）确定统计量：00

000

?~(1)e e e Y Y t t n k S S -==--

其中0

e S =

2）给定置信水平1α-，确定0Y 的预测区间为：

()00

/2

0/2??(1),(1)e e Y t

n k S Y t n k S αα---?+--?

作业：

为解释某地对酒的消费，根据20年的样本数据得到了如下回归方程：

1234

?0.0140.3540.0180.6570.059Y X X X X =--+++ 其中：Y ：每一成年人每年对酒的消费量（升）； 1X ：酒类的平均价格（元）

； 2X ：个人可支配收入（元） 3X ：酒类经营许可证数量（张）

4X ：酒类广告投入（万元）

已知20.689R =，()1

X X -'对角线上的元素分别为1,10.0576C =，2,228.9014C =， 3,30.01C =，4,428.3042C =，5,50.4624C =，回归方程的残差平方和0.0375ESS = 1） 先验地，你认为各自变量回归系数的符号为什么？ 2） 请完成以下方差分析表：

3） 计算2R 值

4） 对4个自变量进行显著性检验，并分析其经济含义； 5） 给出2β置信水平为95%的区间估计； 6） 对方程进行显著性检验；