应用回归分析_第2章课后习题参考答案

第二章 一元线性回归分析

思考与练习参考答案

2.1 一元线性回归有哪些基本假定?

答： 假设1、解释变量X 是确定性变量，Y 是随机变量；

假设2、随机误差项ε具有零均值、同方差和不序列相关性： E(εi )=0 i=1,2, …,n Var (εi )=σ2 i=1,2, …,n Cov(εi, εj )=0 i≠j i,j= 1,2, …,n 假设3、随机误差项ε与解释变量X 之间不相关： Cov(X i , εi )=0 i=1,2, …,n

假设4、ε服从零均值、同方差、零协方差的正态分布 εi ~N(0, σ2 ) i=1,2, …,n 2.2 考虑过原点的线性回归模型 Y i =β1X i +εi i=1,2, …,n

误差εi （i=1,2, …,n ）仍满足基本假定。求β1的最小二乘估计 解： 得：

2.3 证明（2.27式），∑e i =0 ，∑e i X i =0 。

证明：∑∑+-=-=n

i

i i n

i X Y Y Y Q 1

21021

))??(()?(ββ

其中：

即： ∑e i =0 ，∑e i X i =0

211

1

2)?()?(i

n

i i n

i i i e X Y Y Y Q β∑∑==-=-=

01????i i

i i i

Y X e Y Y ββ=+=-0

1

00??Q

Q

β

β

??==??

2.4回归方程E （Y ）=β0+β1X 的参数β0，β1的最小二乘估计与最大似然估计在什

么条件下等价?给出证明。

答：由于εi ~N(0, σ2 ) i=1,2, …,n

所以Y i =β0 + β1X i + εi ~N （β0+β1X i , σ2 ) 最大似然函数：

使得Ln （L ）最大的0

?β，1?β就是β0，β1的最大似然估计值。 同时发现使得Ln （L ）最大就是使得下式最小，

∑∑+-=-=n

i

i i n i X Y Y Y Q 1

2102

1

))??(()?(ββ

上式恰好就是最小二乘估计的目标函数相同。值得注意的是：最大似然估计是在εi ~N (0, σ2 )的假设下求得，最小二乘估计则不要求分布假设。

所以在εi ~N(0, σ2 ) 的条件下， 参数β0，β1的最小二乘估计与最大似然估计等价。

2.5 证明0

?β是β0的无偏估计。 证明：)1[)?()?(1

110∑∑==--=-=n

i i xx i n i i

Y L X X X Y n E X Y E E ββ )] )(1

([])1([1011i i xx i n i i xx i n

i X L X X X n E Y L X X X n E εββ++--=--=∑∑==

1010)()1

(])1([βεβεβ=--+=--+=∑∑==i xx i n

i i xx i n

i E L X X X n

L X X X n E 2.6 证明 证明：

)] ()1([])1([)?(102110i i xx i n

i i xx i n

i X Var L X X X n

Y L X X X n Var Var εβββ++--=--=∑∑== ()

)

1()1()?(2

2

2

1

2

2

xx n

i i

L X n X X

X n

Var +=-+=∑=σσβ

2

2221

2]1[])(2)1[(σσxx xx i xx i n

i L X n L X X X nL X X X n +=-+--=∑=

2.7 证明平方和分解公式：SST=SSE+SSR

证明：

2.8 验证三种检验的关系，即验证： （1）2

1)2(r r n t --=

；（2）22

2

1

??)2/(1/t L n SSE SSR F xx ==-=σ

β 证明：（1）

?t ===

=

=

=

（2）

2

2

2

22011111

1

1

1

??????()()(())(())n

n

n

n

i i i

i xx i i i i SSR y y x y y x x y x x L βββββ=====-=+-=+--=-=∑∑∑∑2212?/1

?/(2)xx L SSR F t SSE n βσ

∴===-

2.9 验证（2.63）式：2

211σ)L )x x (n ()e (Var xx i i ---=

证明：

11

222

2

222

???var()var()var()var()2cov(,)???var()var()2cov(,())()()11[]2[]()1[1]i i i i i i i i

i

i

i

i i xx xx

i xx

e y y

y y y y y x y y x x x x x x n L n L x x n L β

ββσσσσ

=-=+-=++-+---=++-+-=--

()()

∑∑==-+-=-=n i i

i i n i i Y Y Y Y Y Y SST 1212

]?()?[()

()

()

∑∑∑===-+--+-=n

i i

i n

i i i i n

i i

Y Y Y Y Y Y Y Y 1

2

1

12

)??)(?2?(

)()

SSE

SSR )Y ?Y Y Y ?n

1

i 2

i

i n

1

i 2i +=-+-=∑∑

==

其中：2

22221

111))(1()(1))(,()()1,())(?,(),())(?,(σσσββxx

i xx i n

i i xx i

i i n

i i i i

i i i i L x x n L x x n y L x x y Cov x x y n y Cov x x y Cov y y Cov x x y y Cov -+=-+=--+=-+=-+∑∑==

2.10 用第9题证明2?2

2-=

∑n e i

σ是σ2的无偏估计量

证明：

2

2

211

221122

11??()()()22()111var()[1]221

(2)2

n n i i i i n n i i i i xx E E y y E e n n x x e n n n L n n σσσσ=====-=---==----=

-=-∑∑∑∑ 2.11 验证决定系数与F 值之间的关系式

2

2-+=

n F F

r

证明：

21

1/1

2

1/(/(2))1221SSR SSR r SST SSR SSE SSE SSR

n SSR SSE n F n F n F =

==

++=-+

-==

-+-+

2.14 为了调查某广告对销售收入的影响，某商店记录了5个月的销售收入y （万元）和广告费用x （万元），数据见表2.6，要求用手工计算： 表2.6

（1） 画散点图（略）

（2） X 与Y 是否大致呈线性关系？ 答：从散点图看，X 与Y 大致呈线性关系。

（3） 用最小二乘法估计求出回归方程。

计算表

（4） 求回归标准误差

先求SSR （Q e ）见计算表。 所以

（5） 给出 的置信度为95%的区间估计； 由于(1-α)的置信度下， 的置信区间是 查表可得 915.110

667

.36?2?1

==

=

xx

L S σβ 所以 的95%的区间估计为：（7—3.182*1.915，7+3.182*1.915），即（0.906,13.094）。

351.6)10

25

51(667.36)1(?22

?

=+=+=xx L X n S σβ 所以 的95%的区间估计为：（-1-3.182*6.351，-1+3.182*6.351），

即（-21.211, 19.211）。^0β的置信区间包含0，表示^

0β不显著。

（6） 计算x 和y 的决定系数

10?,?ββ2

2

????(,)i

i

i i t s t s ααββ

ββ-?+?i

β?182

.3)3()2(025.02/==-t n t α1?

β0?

β

说明回归方程的拟合优度高。 （7） 对回归方程作方差分析

方差分析表

F 值=13.364>F 0.05(1,3)=10.13(当n 1=1,n 2=8时，α=0.05查表得对应的值为10.13),所以拒绝原假设，说明回归方程显著。

（8）做回归系数β1的显著性检验H0: β1=0

656.3915.1/7/?1

?

1===β

βS t t 值=3.656>t 0.05/2(3)=3.182,所以拒绝原假设，说明x 对Y 有显著的影响。

（8） 做相关系数R 的显著性检验

R 值=0.904>R 0.05(3)=0.878,所以接受原假设，说明x 和Y 有显著的线性关系。

（9） 对回归方程作残差图并作相应的分析

残差图(略) .从残差图上看出，残差是围绕e=0在一个固定的带子里随

机波动，基本满足模型的假设e i ~N(0, σ2 ), 但由于样本量太少, 所以误差

较大.

（10） 求广告费用为4.2万元时,销售收入将达到多少?并给出置信度为95%的置信区间.

解: 当X 0=4.2时,

4.282.471???0

100=?+-=+=X Y ββ

所以广告费用为4.2万元时, 销售收入将达到28.4万元. 由于置信度为1-α时，Y 0估计值的置信区间为:

02

2

?000

?0??Y

Y Y Y S t Y Y S t Y --?+<

)10

44

.1511(667.36)(11(?202

?0

++=-++=-xx Y

Y L X X n S σ

所以求得Y 0的95%的置信区间为: [6.05932 ,50.74068] 预测误差较大.

2.15 一家保险公司十分关心其总公司营业部加班的制度，决定认真调查一下现状。经过十周时间，收集了每周加班工作时间的数据和签发的新保单数目，x 为每周新签发的保单数目，y 为每周加班工作时间（小时）。见表2.7。

表2..7

2、由散点图可以看出， x 与y 之间大致呈线性关系。

3、用最小二乘法求出回归系数

由表可知：118.0β

= 00359.0β1

= 回归方程为： x 00359.0118.0y ?

+=

4、求回归标准误差σ

?

由方差分析表可以得到:SSE=1.843

故回归标准误差2

^2

SSE

n σ=-，^σ=0.48。

5、给出回归系数的置信度为95%的区间估计

由回归系数显著性检验表可以看出，当置信度为95%时：

^

0β的预测区间为[-0.701,0.937], ^

1β的预测区间为[0.003,0.005].

^0β的置信区间包含0，表示^

0β不拒绝为零的假设。

6、决定系数

由模型概要表得到决定系数为0.9接近于1，说明模型的拟合优度高。

7. 对回归方程作方差分析 由方差分析表可知：

F 值=72.396>5.32(当n 1=1,n 2=8时，查表得对应的值为5.32) P 值≈0，所以拒绝原假设，说明回归方程显著。 8、对^

1β的显著性检验

从上面回归系数显著性检验表可以得到^

1β的t 统计量为t=8.509，所对应的p 值近似为0，通过t 检验。说明每周签发的新保单数目x 对每周加班工作时间y 有显著的影响。

9.做相关系数显著性检验

相关系数达到0.949，说明x 与y 显著线性相关。 10、对回归方程作残差图并作相应分析

从残差图上看出，残差是围绕e=0随即波动，满足模型的基本假设。

11、该公司预计下一周签发新保单X0=1000张,需要的加班时间是多少?

当x 0=1000张时，7032.31000*00359.0118.0y =+=小时 12、给出Y 0的置信水平为95%的预测区间

通过SPSS 运算得到Y 0的置信水平为95%的预测区间为： （2.5195，4.8870）。

13 给出E （Y 0）的置信水平为95%的预测区间

通过SPSS 运算得到Y 0的置信水平为95%的预测区间为：（3.284，4.123）。

2.16 表是1985年美国50个州和哥伦比亚特区公立学校中教师的人均年工资y(美元)和学生的人均经费投入x(美元).

解答：（

由上图可以看出y与x的散点分布大致呈直线趋势。（2）建立y对x的线性回归。

利用SPSS进行y和x的线性回归，输出结果如下：

表1 模型概要

1) 由表1可知，x 与y 决定系数为697.0=r ，说明模型的拟合效果一般。x

与y 线性相关系数R=0.835，说明x 与y 有较显著的线性关系。 2) 由表2（方差分析表中）看到，F=112.811，显著性Sig.p 000.0≈,说明回

归方程显著。

3) 由表3 可见对1β的显著性t 检验P 值近似为零，故1β显著不为0，说明

x 对y 有显著的线性影响。

4) 综上，模型通过检验，可以用于预测和控制。

x 与y 的线性回归方程为：

x y

*314.3629.12112?+=

（3）绘制标准残差的直方图和正态概率图

图1 标准残差的直方图

图2 标准残差的正态概率P-P 图

由图1可见标准化后残差近似服从正态分布，由图2可见正态概率图中的各个散点都分布在45°线附近，所以没有证据证明误差项服从同方差的正态分布的假定是不真实的，即残差通过正态性检验，满足模型基本假设。

观测值概率

理论正 态概率

第3章 多元线性回归

思考与练习参考答案

3.2 讨论样本容量n 与自变量个数p 的关系，它们对模型的参数估计有何影响？

答：在多元线性回归模型中，样本容量n 与自变量个数p 的关系是：n>>p 。如果n<=p 对模型的参数估计会带来很严重的影响。因为： 1. 在多元线性回归模型中，有p+1个待估参数β，所以样本容量的个数应该大于解释变量的个数，否则参数无法估计。

2. 解释变量X 是确定性变量，要求()1rank p n =+

()1rank p <+X ，则解释变量之间线性相关，1()X X -'是奇异阵，则β

的估计不稳定。

3.3证明

随机误差项ε的方差σ2

的无偏估计。 证明:

2

212

2

2

2

21

1

1

1

1

2

22

1

111

?(),111()()(1)(1)()(1)1

?()()1n i i n n n

n

n

i

i ii ii

ii i i i i i n

i i SSE e e e n p n p n p E e D e h h n h n p E E e n p σσσ

σ

σσσ======='===------∴==-=-=-=--∴==--∑∑∑∑∑∑∑

3.4 一个回归方程的复相关系数R=0.99，样本决定系数R 2=0.9801，我们能判断这个回归方程就很理想吗？ 答：不能断定这个回归方程理想。因为：

1. 在样本容量较少，变量个数较大时，决定系数的值容易接近1，

()1?2--=p n SSE σ

而此时可能F 检验或者关于回归系数的t 检验，所建立的回归方程都没能通过。

2. 样本决定系数和复相关系数接近于1只能说明Y 与自变量X1,X2,…,Xp 整体上的线性关系成立，而不能判断回归方程和每个自变量是显著的，还需进行F 检验和t 检验。

3. 在应用过程中发现，在样本容量一定的情况下，如果在模型中增加解释变量必定使得自由度减少，使得 R 2往往增大，因此增加解释变量（尤其是不显著的解释变量）个数引起的R 2的增大与拟合好坏无关。 3.7 验证

证明：多元线性回归方程模型的一般形式为：

01122p p y x x x ββββε

=+++

++

其经验回归方程式为01122???

??

p p

y x x x ββββ=+++

+，

又01122????p p

y x x x ββββ=----， 故111222????()()()p p p

y y x x x x x x βββ=+-+-++-， 中心化后，则有111222????()()()i p p p

y y x x x x x x βββ-=-+-++-，

=

令21

(),1,2,,n

jj ij j i L x x i n ==-=∑，1,2,,j p =

2

1

??*,1,2,...,)n

jj j i j p

L X β

====-∑j

j

i j 其中: (X

12

()

???

p

x x

y x x

βββ

-

=++

样本数据标准化的公式为

1,2,,

ij i

x x y

x y i n

**

-

===，1,2,,

j p

=

则上式可以记为

1122

1122

???

???

i i i p ip

i i p ip

L

y x x x

L

x x x

βββ

βββ

****

******

=+++

=?+?++?

则有

??,1,2,,

j j

j p

β*==

3.10 验证决定系数R2与F值之间的关系式：

p

p

n

F

F

R

/)1

(

2

-

-

+

=

证明：

2

/

,

/(1)

1

1

1(1)/

1

SSR p

F

SSE n p

F SSE

SSR p

n p

F SSE

p

SSR SSR F p F

n p

R

F SSE

SST SSR SSE F p n p F n p p

p SSE

n p

=

--

?

∴=?

--

?

?

?

--

∴=====

?

+?+--+--

?+

--

3.11 研究货运总量y（万吨）与工业总产值x1（亿元）、农业总产值x2（亿元）、居民非商品支出x3（亿元）的关系。数据见表3.9（略）。（1）计算出y，x1，x2，x3的相关系数矩阵。

SPSS输出如下：

则相关系数矩阵为： 1.0000.5560.7310.7240.556 1.0000.1130.3980.731

0.113 1.0000.5470.7240.3980.547 1.000r ?????

?=????

??

（2）求出y 与x1，x2，x3的三元回归方程。

对数据利用SPSS 做线性回归，得到回归方程为

123?348.38 3.7547.10112.447y

x x x =-+++ （3）对所求的方程作拟合优度检验。

由上表可知，调整后的决定系数为0.708，说明回归方程对样本观测值的拟合程度较好。

（4）对回归方程作显著性检验；

原假设：0:3210===βββH

F 统计量服从自由度为（3，6）的F 分布，给定显著性水平α=0.05，查表得76.4)6.3(05.0=F ,由方查分析表得，F 值=8.283>4.76，p 值=0.015，拒绝原假设0H ，由方差分析表可以得到8.283,0.0150.05F P ==<，说明在置信水平为95%下，回归方程显著。 （5）对每一个回归系数作显著性检验；

做t 检验：设原假设为0:0=i H β，

i

t 统计量服从自由度为n-p-1＝６的t 分布，给定显著性水平0.05，查

得单侧检验临界值为1.943，X1的t 值=1.942<1.943，处在否定域边缘。 X2的t 值＝2.465>1.943。拒绝原假设。

由上表可得，在显著性水平0.05α=时，只有2x 的P 值<0.05,通过检验，即只有2x 的回归系数较为显著 ；其余自变量的P 值均大于0.05，即x1，x2的系数均不显著。

（6）如果有的回归系数没有通过显著性检验，将其剔除，重新建立回归方程，并作回归方程的显著性检验和回归系数的显著性检验。 解：用后退法对数据重新做回归分析，结果如下：

选择模型二，重新建立的回归方程为：

12?459.624 4.6768.971y

x x =-++

对新的回归方程做显著性检验： 原假设：0:210==ββH

F 服从自由度为（2，7）的F 分布，给定显著性水平α=0.05，查表得

74

.4)7.2(05.0=F ,由方差分析表得，F 值=11.117>4.74，p 值=0.007，拒

绝原假设0H .

认为在显著性水平α=0.05下，x1，x2整体上对y 有显著的线性影响，即回归方程是显著的。

对每一个回归系数做显著性检验：

做t 检验：设原假设为0:10=βH ，1t 统计量服从自由度为n-p-1＝７的t 分布，给定显著性水平0.05，查得单侧检验临界值为1.895，X1的t 值=2.575>1.895，拒绝原假设。故1β显著不为零，自变量X1对因变量y 的线性效果显著；

同理β2也通过检验。同时从回归系数显著性检验表可知：X1,X2的p 值 都小于0.05，可认为对x1，x2分别对y 都有显著的影响。 （7）求出每一个回归系数的置信水平为955D 置信区间

由回归系数表可以看到，β1置信水平为95%的置信区间[0.381,8.970]，

β2置信水平为95%的置信区间[3.134,14.808]