何晓群版应用回归分析考试重点题型

一元，多元线形回归分析：

一. 请分别叙述变量间统计关系与函数关系的区别，以及相关分析与回归分析的联系与区别。 答：各自然现象或社会现象之间普遍存在着各种联系，根据这些联系的紧密程度不同，可将之分为函数关系与统计关系。 一种情况下某变量Y 能被其余的一类变量1,

,n X X 完全决定，

这时两者之间存在着完全的确定性关系，这种关系可以通过一个函数

1(,,)n Y f X X = 表示。这样的确定性关系被称为函数关系。

另一种情况下变量之间虽然存在紧密的联系，但并不能互相唯一

确定，这种非确定性的紧密联系被称为统计关系。 相关分析与回归分析都是研究两边统计关系的方法，在实际问题的处理中往往结合使用两者。两者的区别主要在于：1.目标不同：相关分析主要用于刻画X,Y 两变量间的联系的密切程度，而回归分析除此之外，还关心对未观察Y 值的预测与控制。2.角度不同：相关分析中X ，Y 两变量地位相同，因此假设两者都是随机变量；而回归分析中只将变量Y 作为主要研究对象，因而往往假设Y 是随机变量，而X 是非随机变量。

二. 请叙述（一元）多元线性回归模型及其基本假设 答：1.一元线性模型的基本形式是：

i 01i i y =+x +ββε ，其中01ββ，称为回归系数，i ε称为随机误差。 其基本假设为：

G-M 假设：

i i j 2

E =0

0Cov =,i j i j

εεεσ≠??=?，（，）

或者更强的正态性假设： i ε独立同分布，21

N εσ（0，）

。

2.多元线性模型的基本假设是：

0p y=X +=,

,T

βεβββ，其中（）

称为回归系数阵，1=,,T

n εεε（）

称为随机

误差.

其基本假设为： a. G-M 假设：

i i j 2

E =0

0Cov =,i j i j

εεεσ≠??=?，（，）

或者更强的正态性假设： i ε独立同分布，21N εσ（0，）

。 b.rank(X)=p+1

三． 请叙述最小二乘法（最大似然法）的基本思路、理论基础与性质，并对两者作比较。

答：

1. 最小二乘法的基本思路是通过最小化残差平方和

20p 011p 1

Q(,

,)=(y )=(y x )'(y x )n

i i ip i βββββββ=--∑--x -...-x

求得回归系数i β的估计值。其理论基础是函数极值理论。 2．最大似然法的基本思路是最大化似然函数

/22/221

(2)()exp{(y x )'(y x )}2n n L πσββσ

--=---

求得回归系数i β的估计值。其理论基础是函数极值理论。

3.两者对β的估计结论是一致的，且结果均具有线性，无偏性，稳定性（在G-M 假设下是最小方差线性无偏估计，在正态性假设下是最小方差无偏估计，具体参见问题四）。

4.相对来说，使用最大似然法需要的假设较强，需要正态性假设，而最小二乘法本身不需要任何假设。但是，最大似然法可以得到2σ的估计，而最小二乘法不行。

四. 假设通过最小二乘估计得到回归方程01122y ...+i i i p pi x x x ββββε=++++ 的

估计，请叙述估计量1???=,,p βββ（）以及残差1n e=e ,

,e （）

的定义及其性质。 答：1.估计量具有线性，无偏性，稳定性，即：

a. ?β是y 的线性变换1?=x'x xy β-（）

b. ?β

是无偏的。?E ββ= c ．在G-M 假设下?β

是最小方差线性无偏估计，在正态性假设下是最小方差无偏估计。21?D()=x'x βσ-（）

。

2. 残差?i i i e y

y =-，它具有以下性质 a. i i Ee =E =0ε

b. 21

D e =I-H),H=x x'x x',I σ-（）（其中（）是单位阵，即

2,h H i ii ii σD （e ）=(1-h )是的主对角线元素。

c. x'e=0

d. ?(,)0Cov e β

=,且正态性假设下两者独立 e ．

2

1

2

n

i

i e

σ

=∑服从自由度为n-p-1的开方分布，即

221

2

(n p 1)n

i

i e

χσ

=--∑

五、叙述多元线性回归中常见的显著性检验方法及其关系。

答：常见的显著性检验方法有t 检验，F 检验，偏F 检验三种。假设检验水平

为α。 1.F 检验

012i H == (00)

p ββββ==?≠原假设：备择假设：存在 检验统计量：/F=

(p,n p 1)/1

SSR p

F SSE n p ----

判断法则：(p,n p 1)F F α>--时拒绝原假设。 2.t 检验

0H 00j j j ββ=?≠原假设：备择假设：

检验统计量：1?(n p 1),c x'x)jj t β---其中是矩阵(的主对角元素

判断法则：/2|t|t (n p 1)α≥--时拒绝原假设。

3.偏F 检验

0H 00j j j ββ=?≠原假设：备择假设： 检验统计量：

(j)(j)SSR F =

(1,n p 1),SSR x /1

j j SSR F SSE n p -----其中是剔除后的回归平方和。

判断法则：j (1,n p 1)F F α>--时拒绝原假设。

4.三者的关系。

t 检验与偏F 检验等价，F 检验与另两者不同（实质上是另两者的前提），

通常先做F 检验，再做t 检验或偏F 检验。

六、给出一元回归模型估计值的点估计与区间估计（置信度1-α）

答：1.在未观测点0x 处，y 的点估计为0010???=+x y ββ。 2.在未观测点0x 处，0y 的区间估计为（预测区间）

2

00/200(x )1?t (n ,x y h n Lxx

α-±-=+其中

n 相当大时(n>15),可以简化为0??2y

σ±。 3. 在未观测点0x 处，0Ey 的区间估计为（置信区间）

2

00/200(x )1?t (n ,x y h n Lxx

α-±-=+其中。

3. 给定置信上界2T 与置信下界1T 时，0x 的取值范围为

1020

101

1

1020101

1

????22?0??????22?0??T T x T T x σβσββββ

σβσββββ

+---><<

+---<>>时，时，

七.叙述样本数据与回归系数标准化的意义与方法

答：多元线性回归模型中，由于自变量的数量级差异较大，因而舍入误差将对估计的精度造成较大的影响；同时自变量的单位不同也会造成回归方程的解释比较困难，因而通常需要对样本数据进行预处理，即数据的标准化。 数据的标准化通常这样进行：

*2

ij

11

*2i 11

x 1x ,(x )1

,(y )n

n

j ij jj ij j i i n n

i yy i i i x x x L x n y y y y L y n ====-==-=

=-∑∑∑∑其中其中

利用标准化样本数据的得到的回归方程系数*?i

β称为标准化回归系数，其满足:

**0

???(1,2...,),0i

i i p βββ===.

八.给出偏决定系数、偏相关系数的定义

答：1.当其余自变量固定时，i x 对y 的影响程度称为i x 的偏决定系数，定义为 111

1

2

;1,2,...i 1,

1,...

111

(x , (x)

,x

,...x )(x ,...,x )

r (x , (x)

,x

,...x )

i i p p y i i p i i p S S E S S E

SSE -+-+-+-=

2. 当其余自变量固定时，i x 与j x 的相关程度称为两者的偏相关系数，定义为

??ij ;1,2...,...p r i ij i j -?=?其中是样本相关阵的行j 列的代数余子式。

计算：

1. （20分）近来某时尚杂志进行了一项关于高清数字电视的调查。对于各不同品牌不同型号的数字电视，该杂志基于画面质量给出了一个测试总分i x （i=1,2,…24），同时，该杂志也收集了这些数字电视的平均市场售价i y 。数据显示

24

24

1

1

1090,143101i

i i i x

y ====∑∑

24

24

24

2

2

1

1

1

50528,877429461,6562786i

i i i i i i x

y x y ======∑∑∑

假设样本数据符合正态性假设，随机项的方差为2σ。根据以上条件，请 （1）（5分）建立y 关于x 的一元线性回归方程 （2）（5分）给出作2σ的无偏估计。

（3）（5分）在=0.05α的显著性水平下，检验变量之间的显著性。（已知：

0.05F 22=4.30（1，））

（4）（5分）假设某种新上市的数字电视的评分为45分，请给出其市场建议价

0y ，并作该价格的置信水平为95%的区间估计。

解：（1）根据题意，有：

x=45.42y=5962.54， -----------1分

22xx 1L =-n()1023.83n

i i X X ==∑ ----------1分

xy 1

L =-n 63615.58n

i i i X Y XY ==∑ ------------1分

从而101

L ???=62.13,3140.59xy xx

y x L βββ==-= 所以回归方程为y=62.133140.59x + ---------2分

（2）

221

21SST=L -n(y)24183785.96,

?SSR 3952123.96,SSE=20231662n

yy i i xx

y L SST SSR β=====-=∑ ------3分

所以21

?=919621n-2

SSE σ

= -------2分 （3）建立假设为：

011H 00ββ=?≠原假设：备择假设： ------1分 构造检验统计量：/1

F=

4.30

(1,22)/22

SSR F SSE = ------3分

由于0.05F=4.30 4.30F 22≥=（1，）,所以拒绝原假设 ------1分 即认为变量之间存在显著的线性关系。

（4）0y 的估计值为0010???x =5936.44y ββ=+ ------1分 由于样本量较大，所以可以用近似公式计算预测区间 ------1分 即价格0y 的预测区间为

0??2=5936.442958.97=4018.507854.38y σ±±?（，） ------3分

2.（15分）某市最近进行的一项有关公共交通的调查发现，公交车的维护费用i

y 与其已使用月数i x 之间的关系可以用一元线性回归模型i 01i i y x ββξ=++描述，其误差项满足1i i i ξξμ-=+，其中随机项i μ满足G-M 假设。实验的实际观测数据（10组）由下表给出，请根据数据给出该回归模型的估计，并预

测某辆已使用了4年的公交车的维护费用。

解：由于误差项满足1i i i ξξμ-=+，而i μ满足G-M 假设,所以可以通过差分法来消

除自相关性。 ------1分 对原样本数据做一阶差分11y ,i i i i i i y y x x x --?=-?=-，得到差分数据样本

------4分

由于差分数据必然已中心化，所以差分回归模型为

i i

?y =x β??,其中2

22

?=14.16n

i

i

i n

i

i y x

x

β==??=-?∑∑ ------4分

从而回归方程为1111=-14.16(),=-14.16()i i i i i i i i y y x x y y x x -------即 ------4分

将11x 48=带入上述方程，得:11?6646.28y = ------2分

3.非参数检验（异方差）

证明：1.对一元线性模型证明三种检验统计量等价

证：对于一元线性回归模型来说，F 检验、t 检验、相关性检验的原假设与备择

假设相同，均为 011H 00

ββ=?≠原假设：备择假设： ------2分 而三者的检验统计量分别为：/1F=/n-2SSR SSE

，1t

，2t =

------1分

由各参数的定义

2211

22221

1

??,()?,n yy i i xx

i n

xy

xx i i xx yy yy

SST L SSR y y L L L SSE e r L L L ββ====-===

=∑∑ ------3分

所以

2

222111??/2

?2

xx

xx L L SSR

F t SSE n SSE

n ββ

σ=

===-- ------2分

212

22

2

21?(n 2)r ?1SSE/n-2

12xx

yy

yy xx

yy

L L SSR

t F r

L L n L ββ-===

=--?- ------2分

所以22

12F t t ==，即三种检验完全等价。

2. 在正态性假设下，求证2

21

1??=()n-2n

i i i y y σ=-∑ (一元)/ 2

21

1??=()n-p-1n

i i i y y σ=-∑（多元）是2σ的无偏估计 a. 记1

H=x'x 'x x -（

），则?y Hy =。再记??,i i i e y y e y y =-=-。则

1

?(e)E(Y )[(I H)Y](I )E(Y)(I H)E(X )(I H)X -X'X X'X 0

E Y

E H X HX X X βξβββββ-=-=-=-=-+=-=-==（）（） ------4分

22(e)CoV[(I H)Y,(I H)Y](I H)CoV(Y,Y)(I H)'(I H)(I H)'(I H)

D σσ=--=--=--=- ------4分

所以2Ee 0,(e )i i i Ee D == ------2分 从而 2

2

2

21

1

1

?(y )(e )(I H)(n p 1)n n n

i

i

i

i

i i i E

y

Ee D tr σσ===-===-=--∑∑∑ ------5分

即2

21

1??=()n-p-1n

i i i y y σ=-∑是2σ的无偏估计，证毕。

b. 记i i ?e =y -i y

. 则E 0i e =. -----1分 从而2???Ee (e )(y )Var(y )Var()2Cov(y ,)i i i i i i i i D D y y y ==-=+- ----2分 由正态性假设，

2(y )i Var σ=

2010101

2222

22???????Var =Var (,)

()111[2x ][]i i i i i i i ii xx xx xx xx

y Cov x x x x h n L L L n L ββββββσσσ-=++-?=+=（）(+x )=Var()+x Var()+2x ----3分

01122

22

2

????Cov(y ,)Cov(y ,x )Cov(y ,y)(x )Cov(y ,)(x )(x )1(x )[]i i i i i i i i i i ii xx xx

y x x x x h n L n L βββσσσσ=+=+---=+-=+= ----4分

从而22Ee (1-)i ii h σ= ----1分

22

2

211

1?(1h )()22n n

ii ii i i E n h n n σσσσ===-=-=--∑∑ ---3分 所以2

2

1

1??=()n-2n i i

i y y σ=-∑是2σ 的无偏估计 ----1分

3计算多元线性模型下，e β，的期望阵与方差 4. 证明数据标准化后参数估计值之间的转化关系 5.证明dw 的取值范围（0<=dw<=4）

2

221

1

1

2

2

2

2222

2

(e e

)

2DW n

n n

n

t

t t t t t t t t t n

n

t

t

t t e e

e e e

e

---======-+-=

=

∑∑∑∑∑∑ --------2

分

1?n

t t e e

ρ

-=∑ --------2分

样本充分大时，可以认为2212

2

n n

t t t t e e -===∑∑ --------1分

从而

11

22

222

2

?DW=2[1],n

n

t t t t t t n

n

t

t

t t e e

e e

e

e

ρ

--====-

=∑∑∑∑ --------3分

所以?2(1)DW ρ

=- --------1分 又?11ρ-≤≤，从而0DW 4.≤≤

其余：

一．叙述全模型、选模型的优缺点

答：设全模型为011y=+x +...+m m x βββε+，选模型为011y=+x +...+p p x βββε+（p

1. 选模型的缺点为：

a. 设j x 与p+1x ,...m x 至少一个相关，则jp ?β是有偏的，即jp jp j ?E =βββ≠。

b. 选模型的预测值0p ?y

是有偏的,即0p 0?E y y ≠。 2. 选模型的优点为：

a. 选模型回归参数的方差较小（稳定性较高），即

??D ()()

j p j m

D ββ

≤ b. 选模型的预测值的残差方差更小，即

00(e )D(e )p m D ≤，其中000000??,p p m m e y y e y y =-=- c. 选模型的预测值的均方误差更小，即

22000(e )p m m Ee Ee D ≤=

二．叙述变量选择的基本准则

答：通常根据以下三种准则进行变量选择。

1. 自由度调整的复决定系数最大

自由度调整的复决定系数是基于拟合效果提出的变量选择参数，定义为

221

R =1-

(1)1

n R n p α----，其中2SSR R SST =是回归方程的决定系数（拟合

优度）。

2. 赤池信息量（AIC ）或SBC 最小

赤池信息量是基于最大似然原则提出的变量选择参数，定义为

AIC=nln()+2p SSE

n

。

SBC 是对AIC 的修正，定义为

S B C =n l n ()+2l n (p )SSE

n 。

3. Mallows 统计量p C 最小

Mallows 统计量是基于预测效果（均方误差）提出的变量选择参数，

定义为 (n m 1)n 2p p m

SSE C p SSE =---+。

三．叙述变量选择的基本方法及其比较 答：变量选择的基本方法有以下三种： 1.前进法，具体步骤为： a. 对所有可选变量1x ,

,x p 作一元线性回归，

对这p 个回归方程分别作F 检验，选择其中统计量最大值1i F 。若1(1,n 2)i F F α≥-，则将i x 选作回归自变量。

b. 对所有的二元变量对12(x ,x ),(x ,x )...(x ,x )i i p i 作二元线性回归，对

这p-1个回归方程分别作（偏）F 检验，选择其中统计量最大值2j F 。若2(1,n 3)j F F α≥-，则将j x 选作回归自变量。

c. 以此类推，直到引入q 个自变量后所有q+1元回归方程的F 统计

量值均小于(1,1)F n q α--。

2. 后退法，具体步骤为： a. 对全部可选变量1x ,

,x p 作P 元线性回归，

对该回归方程作t 检验，选择其中统计量最小值1i t 。若1/2t t (n 1)i p α≤--，则将i x 删除。

b. 对剩余自变量作p-1元线性回归，对该回归方程作t 检验，选择其

中统计量最小值2j t 。若2/2t t (n 2)j p α≤--，则将j x 删除。

c. 以此类推，直到所有剩余自变量均能通过t 检验。

3.逐步回归法，具体步骤为： a. 使用前进法选择自变量。

b. 每选入一个自变量，则利用后退法删除所有需要删除的自变量。

c. 以此类推，直到剩余自变量均不能被选入。

由于前进法有进无出（自变量被选入之后无法被删除），后退法有出

无进（自变量被删除后无法被再次选入），所以在选择效果上通常都不如逐步回归。

四．叙述所有违背基本假设的情形及其检验、改进方法

答：违背基本假设的情形一共有四种:异方差性、自相关性、异常值以

及多重共线性。

1. 异方差性：

a.可以通过spearman 等级相关系数检验，其方法为： 0s s H 00γγ=?≠原假设：备择假设：，

其中2

s 2

1

61(n 1)n

i i d n γ==--∑，i d 是|e |i i x 与的等级差。

检验统计量：(p,n 2)t -

判断法则：/2||(2)t t n α>-时拒绝原假设。

b.可以通过加权最小二乘法改进

2. 自相关性

a.自回归阶数为1时可以通过D-W 检验法检验，其方法为： 根据样本容量n 与解释变量个数p+1查得dw 下届L d 与dw 上

界d U 。计算D-W 统计量，其定义为

2

i

12

22

(e

)DW=

n

i i n

i

i e e

-==-∑∑

若U U

U

L 0d d d

4-d

L L U L DW d DW ≤≤??

<≤??

≤??≤??≤?存在正自相关不能判断无自相关性不能判断存在负自相关

b.可以通过迭代法或者差分法改进

3.异常值

异常值可以简单分为y 的异常值与x 的异常值两种。 a. y 的异常值可以用残差大小判断，通常认为学生化残差

i |SRE |>3或者标准化残差i |ZRE |3>即说明i y 是异常值；精确的

判断可以用学生化删除残差(i)SRE 进行，其中

1/2(i)2

2

(

)1i i

n p SRE SRE n p SRE --=---。 b. x 的异常值可以用库克距离i D 判断，其定义为

2i 22

e D =,h ?(p 1)(1)i ii

ii ii h h σ

+-其中是杠杆值。 通常认为0.5i D <说明i x 不是异常值，1i D >说明i x 是异常值。 b ’ 对于x 还有强影响点的概念，是否属于强影响点可以通过杠

杆值h ii 判断，通常认为ii 3(p 1)

h n

+>说明i x 是强影响点。

3. 多重共线性

多重共线性可以通过方差扩大因子或者条件数进行检验。 a. 方差扩大因子法：

j VIF 10≥即认为j x 与其余自变量之间存在着多重共线性。

也可用均值判断，若p

1

1VIF=

1p i i VIF =>>∑即认为自变量整体

存在着较强的多重共线性。 b. 条件数法 条件数

m i x'x x'x i k λλ=

其中是的最大特征根，是的特征根。 若010k <<，则认为无多重共线性；

10100k ≤<，则认为有较强的多重共线性；

100k ≤，则认为有严重的多重共线性。 改进方法通常为改用有偏估计值估计回归系数。

五．叙述BOX-COX 变换的定义与基本思路

答：BOX-COX 变换是处理异方差性与自相关性的有效手段，基本思路是通

过对y 进行变换使其满足正态性假设以保证最小二乘法的优良性。

具体的方法为： ()

(y a)10y ln(y a)

λλλλλ+-?>?=??+=?

其中a 为任意选取的正常数，以保证BOX-COX 的合理性。λ称为变换

参数，可以通过最大似然法估计。通常取

1

1(0((2

λλλ=-==倒数变换),对数变换)，平方根变换)。

六．叙述岭参数k 选择方法 答：通常有三种选择方法

1.通过岭迹法选择参数k 。

2.通过使所有的方差扩大因子jj c ≤（k ）

10来选择参数k,其中(k)jj c 是矩阵11x'x+kI x'x x'x+kI --（）（）的主对角线元素。

3.通过不等式(k)cSSE SSE <来选择参数k ，其中c 是预先指定的大于1的常数。

七．当自变量或因变量是定性变量时，回归方程的拟合方法

答：当自变量是定性变量时，我们通过引入虚拟变量来建立回归方程，方法为：

设定性自变量X 可以取值i A 1

,2.....)i k =（，则引入如下的k-1个自变量： 12k -112k -11,X =A 1,X =A 1,X =A x x ......x 0,0,0,???===???

???

若若若；。其余其余其余 当因变量为只能取两值的定性变量时，我们改用逻辑回归模型拟合，回

归方程为：

011011

...1...E y

,,x .1p p

p p x x

n x x e e

ββββββ+++++++（|x ）=