应用回归分析_第2章课后习题参考答案

2.1 一元线性回归模型有哪些基本假定？

答：1. 解释变量 1x , ,2x ,p x 是非随机变量，观测值,1i x ,,2 i x ip x 是常数。

2. 等方差及不相关的假定条件为

?

?

?

?

?

?

??????≠=====j i n j i j i n i E j i i ,0),,2,1,(,),cov(,,2,1,

0)(2 σεεε 这个条件称为高斯-马尔柯夫(Gauss-Markov)条件，简称G-M 条件。在此条件下，便可以得到关于回归系数的最小二乘估计及误差项方差2σ估计的一些重要性质，如回归系数的最小二乘估计是回归系数的最小方差线性无偏估计等。

3. 正态分布的假定条件为

???=相互独立

n i n i N εεεσε,,,,,2,1),,0(~212 在此条件下便可得到关于回归系数的最小二乘估计及2σ估计的进一步结果，如它们分别是回归系数的最及2σ的最小方差无偏估计等，并且可以作回归的显著性检验及区间估计。

4. 通常为了便于数学上的处理，还要求,p n >及样本容量的个数要多于解释变量的个数。

在整个回归分析中，线性回归的统计模型最为重要。一方面是因为线性回归的应用最广泛；另一方面是只有在回归模型为线性的假设下，才能的到比较深入和一般的结果；再就是有许多非线性的回归模型可以通过适当的转化变为线性回归问题进行处理。因此，线性回归模型的理论和应用是本书研究的重点。 1. 如何根据样本),,2,1)(;,,,(21n i y x x x i ip i i =求出p ββββ,,,,210 及方差2σ的估计;

2. 对回归方程及回归系数的种种假设进行检验；

3. 如何根据回归方程进行预测和控制，以及如何进行实际问题的结构分析。

2.2 考虑过原点的线性回归模型 n i x y i i i ,,2,1,1 =+=εβ误差n εεε,,,21 仍满足基本假定。求1β的最小二

乘估计。

答：∑∑==-=-=n

i n

i i i i x y y E y Q 1

1

2112

1)())(()(ββ

∑∑∑===+-=--=??n i n i n

i i i i i i i x y x x x y Q

111

211122)(2βββ 令,01=??βQ

即∑∑===-n i n

i i i i x y x 11

210β 解得,?1

21

1

∑∑===n

i i

n

i i i x

y

x β即1?β的最小二乘估计为.?1

21

1

∑∑===n

i i

n

i i

i x

y

x β

2.3 证明： Q (β

，

β1

)= ∑(y i

-β0-β1x i

)2

因为Q (∧

β0,∧

β1)=min Q (β0,β1 )

而Q (

β0

,β1

) 非负且在R 2

上可导,当Q 取得最小值时，有

即-2∑(

y i

-∧

β0

-∧

β1x i )=0 -2∑(y i

-∧

β0-∧

β1x i ) x i

=0

又∵e i =y

i -( ∧

β0+∧

β

1x i )= y

i -∧

β0-∧

β

1x i ∴∑e i =0，∑e i x i =0

（即残差的期望为0，残差以变量x 的加权平均值为零）

2.4 解：参数β0，β1的最小二乘估计与最大似然估计在εi~N(0, 2 ) i=1,2，……n 的条件下等价。 证明：因为

n

i N i ,.....2,1),,0(~2

=σε

所以)

,(~2

110110σβ

βεβ

βX X Y N i i +++=

其最大似然函数为

已知使得Ln （L ）最大的0

?β，1?β就是β0

，β1

的最大似然估计值。 即使得下式最小 ：

∑∑+-=-=n

i

i i n i X Y Y Y Q 1

2102

1

))??(()?(ββ ①

因为①恰好就是最小二乘估计的目标函数相同。 所以，在

n

i N i ,.....2,1),,0(~2

=σε 的条件下， 参数β0，β1的最小二

})],([21exp{)2()(),,(2

0101

2

2/21210i i n i n i i n i X Y Y f L βββσπσσββ+--=∏=∑=-=2

0101

22210)],([21)2ln(2)},,({i

i n

i X Y n L Ln βββσπσσββ+---=∑=0

1

00?

?Q

Q

ββ

??==??

乘估计与最大似然估计等价。

2.5.证明0β

是0β的无偏估计。

证明：若要证明0β 是0β的无偏估计，则只需证明E(0β

)=0β。

因为0β ，1β

的最小二乘估计为?????-==x y L L xx

xy 101/βββ 其中

∑∑∑∑∑∑∑∑∑-=-=-=-

=-=--=2

2

222)(1)(1

))((i i i i xx i i i i i i i i xy x n

x x n x x x L y x n

y x y x n y x y y x x L

E(0?β)=E(x y 1?β-)=E(∑∑==--n i i xx i n i i y L x x x y n 111)=E[∑=--n

i i xx i y L x x x n 1)1

(]

=E[

∑=++--n

i i i xx

i x L x x x n 110))(1

(εββ]

=E(∑=--n

i xx i L x x x n 10)1(β)+E(∑=--n i i xx i x L x x x n 11)1(β)+E(∑=--n

i i xx i L x x x n 1)1(ε)

其中

∑=--n

i xx i L x x x n 10)1(β=∑=--n

i xx i L x x x n 10)1

(β=)

)(1(1

0∑=--n

i i

xx x x

L x n n β

由于

∑=-n

i i x x 1

)

(=0，所以∑=--n

i xx i L x x x n 10)1

(β=0β

∑=--n

i i xx i x L x x x n 11)1

(β=∑=--n

i i

xx i i x L x x x n x 11)(β=

)

)((1

1∑=--n

i i i

xx x x x

L x x β

=

)

-)(((1

1∑=--

n

i i i

xx

x x x x

L x

x β)=)(1x x -β=0

又因为一元线性回归模型为??

?++=),0(210σεεββN x y i i i i 独立同分布，其分布为各

所以E(

i

ε)=0所以

E(∑=--n

i xx i L x x x n 10)1(β)+E(∑=--n i i xx i x L x x x n 11)1(β)+E(∑=--n

i i xx i L x x x n 1)1(ε

=++)0()(0E E β ∑=--n

i i xx i E L x x x n 1)

()1(ε

=

0β

所以0β

是0β的无偏估计。

2.6 解：因为

∑==n

i i y

n y 11 ①，x

y ∧

∧-=β

β1

0 ②，

y

L

x i

n i xx

i

x

∑=∧

-=1

1

β

③

联立 ①②③式，得到

y L x i

n

i xx i

x x n ∑=∧

--=10)1(β。

])1([)(10

y L x i n

i xx i x x n Var Var ∑=∧

--=β)(1])1[(2

y L x x x n

i Var n

i xx i ∑--==

σ

2

12

2]2(1

[

)∑-=--+=n

i xx

i nL

x L x x x n

x x xx

i

因为

∑-==n

i xx

x x L

i 1

2

)(，

)(1

=-∑=n i i

x x ，所以

σ

β2

1

2

1

2

2

1

2

])

(21

[)()

()(nL

x L x x x n

xx

n

i i

n i n

i x x xx

i Var ∑∑-∑

===∧

-++=

σ22

)(1????

? ?

?

+=L x xx

n σ2

122)()(1????

?? ??+=∑-=n

i x x x i n

2.7 证明平方和分解公式：SST=SSE+SSR

证明：

2.8 验证三种检验的关系，即验证：

()()∑∑==-+-=-=n

i i i n i i y i y y

y y y SST 1212]?()?[()()()∑∑∑===-+--+-=n

i i i n i i i i n i i y y y y y y y y

12112

)??)(?2?()()SSE SSR y y y y n

i i i n i i +=-+-=∑∑==1212)??

（1）

2

1)2(r r n t --=

；（2）2

221

??)2/(1/t L n SSE SSR F xx ==-=σβ

证明：（1）因为

2-n 2

2

SSE

SSR L xx =

∧

∧

=

σ

β

和

，所以

SST

SSE SST SSR

n SSE

SSR n n SSE t L

L

xx

xx

）（）（2222

2

-=

-=-∧

=

∧

=

∧

βσ

β

又因为

SST SSR r

=

2

，所以SST SSE SST SSR SST r =

-=-2

1

故

21)2(r r n t --=

得证。

（2）

2

2222011111

1

1

1

??????()()(())(())n

n

n

n

i i i

i xx i i i i SSR y y x y y x x y x x L βββββ=====-=+-=+--=-=∑∑∑∑22

12?/1

?/(2)xx L SSR F t SSE n βσ∴===-

2.9 验证（2.63）式：

()σ

2

xx

2

i L

x -x e i

-n 1-1var ????

?

????

?

=）（

证明：）

，（）（）（）（）

（∧

∧∧+==y y y y y y e

i

i

i

i

i

i

i cov 2-var var -var var ))x -y cov 2var var x y x y i

1

i

i

1

i

（，（）（）

（

∧

∧

∧

+-++=βββ ????

?

?????+-??????????++=--L x x L xx i n )()(22xx 22212i n 1

x x σσσ

()σ

2

xx

2

x -x i

n 11????

?

????

?

--=L

其中： ()???

? ?

?

-∧+x y cov x y i

1i β，

()

(

)

???

?

?

?

∧+=x -cov y cov x y y i 1

i i β，，

(

)

()

???

?

?

?

+??

?

??=∑∑==n 1i i xx

i

i i n 1i i i y x y x y y x -cov x -n 1cov L

，， ()σ

σ2

2

2

n

1L

x x xx

i

-+=

()σ

2

2

n 1

????

? ?

?+

=-L

x x xx

i

注：各个因变量y

y y n

(2)

1

，是独立的随机变量

),cov()var()var()var(Y X Y X Y X 2++=+

2.10 用第9题证明2-n i

e 2

2

∑=

∧σ

是σ2

的无偏估计量

证明：()

∑-=∧∧=???

? ??n 1i 2

2y y i

i

2-n 1E E σ

∑=??

?

??=n 1i 2e i 2-n 1E ()∑==n

i i e 1

2-n 1var

()

σ2n

1i xx

2

L

x -x i

-n

1-12-n 1∑=????

?

????

?=

()σ222

-n 1

-=

n σ2

= 注：[])()()var(X E X E X 2

2

+

=

2.11验证22

-+=

n F F

r

证明：

)2(*)

2(-??

? ??=-=

n SSE SSR n SSE

SSR F 所以有

F n SSR SSE )

2(-=

()

2)2(1111

2

-+=??? ??-+=

+=

+==

n F F

F n SSR SSE

SSE SSR SSR SST SSR r

以上表达式说明r 2与F 等价，但我们要分别引入这两个统计量，而不是只引入其中一个。理由如下：

①r 2与F ，n 都有关，且当n 较小时，r 较大，尤其当n 趋向于2时，|r|趋向于1，说明x 与y 的相关程度很高；但当n 趋向于2或等于2时，可能回归方程并不能通过F 的显著性检验，即可能x 与y 都不存在显著的线性关系。所以，仅凭r 较大并不能断定x 与y 之间有密切的相关关系，只有当样本量n 较大时才可以用样本相关系数r 判定两变量间的相关程度的强弱。

② F 检验检验是否存在显著的线性关系，相关系数的 显著性检验是判断回归直线与回归模型拟合的优劣，只有二者结合起来，才可以更好的回归结果的好坏。

2.12 如果把自变量观测值都乘以2，回归参数的最小二乘法估计0?β和1?

β会发生什么变化？如果把自变量观测值都加上2，回归参数的最小二乘估计0?β和1?

β会发生什么变化？ 解:

解法（一）：我们知道当

01i i i

y x ββε=++，

01()i E y x

ββ=+时，用最小二乘法估

计的0?β和1?

β分别为

⑴当

2i i

x x '=时

有错误！未找到引用源。

将②③带入①得到

⑵当2i i

x x ''=+时 错误！未找到引用

源。

有错误！未找到引用源。 错误！未找到引用源。 将②③带入①得到·

解法（二）： 当

01i i i

y x ββε=++，

01()i E y x

ββ=+时，有

2

2

0101i 1

1

()=(())()n

n

i i i i i Q y E y y x ββββ==-=--∑∑，

当

2i i

x x '=时

0112i i i i i y x y x ββεβ'=++=+ 01()2i

i E y x ββ'=+

222

0110101i 1

1

1

()=(())(2)()n n n

i i i i i i i i i Q y E y y x x y x βββββββ==='''-=+--=--∑∑∑， 当

2

i i x x ''=+ ，

0111

22i i i i y x y βββεβ''=+++=+ ，

011

()2i i E y x βββ''=++

2

2

2

01101101i 1

1

1

()=(())(22)()n

n

n

i i i i i i i i Q y E y y x y x ββββββββ===''''''-=+---=--∑∑∑，由

最小二乘法可知，离差平方和

010101()=()()Q Q Q ββββββ'''

=，，，时，其估计值应

当有错误！未找到引用源。 。

即回归参数的最小二乘估计0?β和1?β在自变量观测值变化时不会变。

2.13 如果回归方程错误！未找到引用源。相应的相关系数r 很大，则用它预测

时，预测误差一定较小。这一结论能成立吗？对你的回答说明理由。

解：这一结论不成立。因为相关系数r 表示x 与错误！未找到引用源。线性关系的密切程度，而它接近1的程度与数据组数有关。n 越小，r 越接近1。n=2时，|r|=1。因此仅凭相关系数说明x 与?

y 有密切关系是不正确的。只有在样本量较大时，用相关系数r 判定两变量之间的相关程度才可以信服，这样预测的误差才会较小。

2.14 解：（1）散点图为：

（2）x 与y 大致在一条直线上，所以x 与y 大致呈线性关系。 （3）得到计算表： X

Y

2

)

(X X i -

2

)(Y Y i - ))((Y Y X X i i -- i Y ?

2)?(Y Y i - 2)?(i

i Y Y -

1 10 4 100 20 6 （-14）

2 （-4）2 2

10

1

100

10

13

（-7）2 （3）2

所以回归方程为： （4）2

2

n i=11()n-2i i y y σ∧∧=-∑=31102

1=-SSE n 所以，

1

330 6.13σ∧

=

≈

（5）因为

220

01()(,())xx

x N n L ββσ-

∧

+，∧

β0的置信区间为t 20αβ±∧∧+σ22

)1()(L x xx n ；

同理，因为

2

11(,

)

xx N L σββ∧

，所以，∧

β1的置信区间为L

t xx

∧

∧

±σ

α

β

2

1

。

查表知， 所以，

∧β

的置信区间为（-21.21,19.21），

∧

β

1

的置信区间为（0.91,13.09）。

（6）决定系数

（7）计算得出，方差分析表如下： 3 20 0 0 0 20 0 0 4 20 1 0 0 27 72 72 5

40

4

400 40 34

142

（-6）2

和15 100 和Lxx=10 Lyy=600 和Lxy=70 和100 SSR=490 SSE=110

均3 均20

均20

方差来源 平方和 自由度 均方 F 值 SSR 490 1 490 13.364 SSE 110 3 36.667 SST

600

4

.17320??,71070?101-=?-=-====X Y L L xx xy βββX X Y 71???1

0+-=+=ββ182.3)3()2(025.02/==-t n t α817

.0600490

2====yy L SSR SST SSR R

查表知，F0.05(1,3)=10.13，F 值>F0.05(1,3)，故拒绝原假设，说明回归方程显著。

（8）做回归系数β1的显著性检验

计算t 统计量：

112

/xx

xx

L t L ββσ

σ∧

∧

∧

∧=

=

71021

3.66

1333303?=

=≈

查表知，

，所以，t>t0.05/2(3)，所以接受原假设，说明x 和Y 有显著的线性关系。

（9）做相关系数r 的显著性检验：因为

所以，相关系数951

.02

≈=R r 因为查表知，n-2等于3时，1=α%的值为0.959，5=α%的值为0.878 。 所以，5=α%<|r|<1=α%，故x 与y 有显著的线性关系。 （10）残差表为：

残差图为：

（11）当X0=4.2时,

其95%的置信区间近似为y 2σ∧

∧

±近似为，即为: （17.1，39.7）。 2.15解：

（1）画散点图；

图形→旧对话框→散点图，得到散点图（表1）如下：

序号

x

y

y ∧

残差e

1 1 10 6 4

2 2 10 1

3 -3 3 3 20 20 0

4 4 20 27 -7

5 5 40 34 6

817.0600

4902====yy L SSR SST SSR R 182.3)3()2(025.02/==-t n t α

（2）x 与y 之间是否大致呈线性关系？

由上面（1）散点图可以看出，x 与y 之间大致呈线性关系。

用最小二乘估计求出回归方程；

分析→回归→线性，得到“回归系数显著性检验表（表2）”如 下： Coefficientsa

Model Unstandardized Coefficients Standardized Coefficients

t B Std. Error Beta 1 (Constant) .118 .355 .333

每周签发的新保单数目x

.004 .000 .949 8.509 a. Dependent Variable: 每周加班工作时间y

由上表可知:

^0β=0.118 ^1β

=0.004

所以可得回归方程为：^

y =0.118+0.004x （4）求回归标准误差^

σ；

分析→回归→线性，得到“方析分析表（表3）”如下： ANOVAb

Model Sum of

Squares df Mean Square F

Sig.

1

Regression 16.682 1 16.682 72.396 .000a Residual 1.843 8 .230 Total 18.525 9

a. Predictors: (Constant), 每周签发的新保单数目x

b. Dependent Variable: 每周加班工作时间y

由上表可得， SSE=1.843 n=10 故回归标准误差为：

^

2

σ

=2

1

-n ∑-=n

i y y i

i 1

2

)

(^

=2-n SSE =210843

.1-=0.23

^

σ=

^

2

σ

=0.48

（5）给出

^

β

与

^

1

β

的置信度为95%的区间估计；

由表2可以看出，当置信度为95%时，

^

β的预测区间为：[-0.701，0.937]

^

1

β

的预测区间为：[0.003，0.005]

（6）计算x 与y 的决定系数；

分析→回归→线性，得到“模型概要表（表4）”如下： Model Summaryb Model R R Square Adjusted R Square Std. Error of the

Estimate 1

.949a

.900

.888 .4800

a. Predictors: (Constant), 每周签发的新保单数目x

b. Dependent Variable: 每周加班工作时间y

由上表可知，x 与y 的决定系数为0.9，可以看到很接近于1，这就说明此模型的拟合度很好。

（7）对回归方程作方差分析； 由“方差分析表（表3）”可得，F-值=72.396，

我们知道，当原假设H 0:β

1=0成立时，F 服从自由度为（1，n-2）的F 分布（见P 38），临界值F α（1，n-2）=F 05.0（1，8）=5.32

因为F-值=72.396>5.32，

所以拒绝原假设，说明回归方程显著，即x与y有显著的线性关系。

（8）做回归系数β1

显著性的检验；

由“回归系数显著性检验表（表2）”可得，

^

1

β的t检验统计量为t=8.509，对应p-值近似为0，p<α，

说明每周签发的新报单数目x对每周加班工作时间y有显著的影响。（9）做相关系数的显著性检验；

分析→相关→双变量，得到“相关分析表（表5）”如下：Correlations

每周签发的新保单数目x 每周加班工作时间y

每周签发的新保单数目x Pearson

Correlation

1 .949** Sig. (2-tailed) .000

N 10 10

每周加班工作时间y Pearson

Correlation

.949** 1

Sig. (2-tailed) .000

N 10 10

**. Correlation is significant at the 0.01 level (2-tailed).

由上表可知，相关系数为0.949，说明x与y显著线性相关。（10）对回归方程作残差图并作相应的分析；

从上图可以看出，残差是围绕e=0随即波动的，满足模型的基本假设。（11）该公司预计下一周签发新保单x0=1000张，需要的加班时间是多少？

当x0=1000张时,y0

=0.118+0.004×1000=4.118小时。

（12）给出y0

的置信水平为95%的精确预测区间和近似预测区间。

（13）给出E（y0

）置信水平为95%的区间估计。

最后两问一起解答：

在计算回归之前，把自变量新值x0输入样本数据中，因变量的相应值空

缺，然后在Save对话框中点选Individul和Mean计算因变量单个新值y0

和因

变量平均值E(y0

)的置信区间。结果显示在原始数据表中，如下图所示(由于排

版问题，中间部分图省略):

y0

的精确预测区间为：[2.519，4.887]

E（y0

）的区间估计为：[3.284，4.123]

而y0

的近似预测区间则根据

^

y

±2

^

σ手动计算，结果为：

[4.118-2×0.48，4.118+2×0.48]=[3.158，5.078]

2.16 解答：

（1）绘制y对x的散点图，可以用直线回归描述两者之间的关系吗？

如图所示：

（2）由上图可以看出，y与x的散点分布大致呈直线趋势，所以可以用直线回归描述两者之间的关系。

（3）建立y对x的线性回归。

利用SPSS建立y对x的线性回归，输出结果如下：

表1 模型汇总

模型 R R 方 调整 R 方 标准 估计的

误差 1 .835a .697 .691 2323.256 a. 预测变量: (常量), x 。

表2 方差分析表

Anovab 模型 平方和 df 均方 F Sig. 1 回归 6.089E8 1 6.089E8 112.811 .000a

残差 2.645E8 49 5397517.938 总计 8.734E8 50

a. 预测变量: (常量), x 。

b. 因变量: y

表3 系数表 系数a

模型 非标准化系数 标准系数

t Sig. B 标准 误

差 试用版 1 (常量) 12112.629 1197.768 10.113 .000

x 3.314 .312 .835 10.621 .000

a. 因变量: y

（a ）由表1可知，x 与y 决定系数为697.02

=r ，说明模型的拟合效果一般。x

与y 线性相关系数R=0.835，说明x 与y 有较显著的线性关系。

（b ）由表2（方差分析表中）看到，F=112.811，显著性Sig.p 000.0≈,说明回归方程显著。

（c ）由表3 可见对1β的显著性t 检验P 值近似为零，故1β显著不为0，说明x 对y 有显著的线性影响。

（d ）综上，x 与y 的线性回归方程为：

x y *314.3629.12112?+=

用线性回归的Plots 功能绘制标准残差的直方图和正态概率图，检验误差项的正

态性假设。

如图所示：

图1 标准残差的直方图

图2 标准残差的正态概率图

由图1可见图形略呈右偏，由图2可见正态概率图中的各个散点基本呈直线趋势，残差在0附近波动，以认为残差服从正态分布。