一元线性回归模型的置信区间与预测

§2.5 一元线性回归模型的置信区间与预测

多元线性回归模型的置信区间问题包括参数估计量的置信区间和被解释变量预测值的置信区间两个方面，在数理统计学中属于区间估计问题。所谓区间估计是研究用未知参数的点估计值（从一组样本观测值算得的）作为近似值的精确程度和误差范围，是一个必须回答的重要问题。

一、参数估计量的置信区间

在前面的课程中，我们已经知道，线性回归模型的参数估计量^

β是随机变量

i y 的函数，即：i i y k ∑=1?β，所以它也是随机变量。在多次重复抽样中，每次

的样本观测值不可能完全相同，所以得到的点估计值也不可能相同。现在我们用参数估计量的一个点估计值近似代表参数值，那么，二者的接近程度如何？以多大的概率达到该接近程度？这就要构造参数的一个区间，以点估计值为中心的一个区间（称为置信区间），该区间以一定的概率（称为置信水平）包含该参数。

即回答1β以何种置信水平位于()

a a +-1

1?,?ββ之中，以及如何求得a 。 在变量的显著性检验中已经知道

)

1(~^

^

---=

k n t s t i

i

i βββ (2.5.1)

这就是说，如果给定置信水平α-1，从t 分布表中查得自由度为(n-k-1)的临界值2

αt ，那么t 值处在()

22,ααt t -的概率是α-1。表示为

α

αα-=<<-1)(2

2

t t t P

即

α

ββαβα-=<-<

-1)(2

^

2

^

t s t P i

i

i

α

ββββαβα-=?+<

^

2

^i

i

s t s t P i i i

于是得到：在（α-1）的置信水平下i β的置信区间是

)

(^^2

^

2

^i

i

s t s t i i βαβαββ?+?-，i=0,1 （2.5.3）

在某例子中，如果给定01.0=α，查表得

012

.3)13()1(005.02==--t k n t α

从回归计算中得到01.0,15,21.0?,3.102?1

??10====β

βββS S 根据（2.5.2）计算得到10,ββ的置信区间分别为()48.147,12.57和（0.1799,0.2401）

显然，参数1β的置信区间要小。

在实际应用中，我们当然希望置信水平越高越好，置信区间越小越

好。如何才能缩小置信区间？从（2.5.3）式中不难看出：（1）增大样本容量n 。

在同样的置信水平下，n 越大，从t 分布表中查得自由度为（n-k-1）的临界值

2

α

t 越小；同时，增大样本容量，在一般情况下可使估计值的标准差β?S 减小，因为式中分母的增大是肯定的，分子并不一定增大。（2）更主要的是提高模型的拟合度，以减小残差平方和∑2i e 。设想一种极端情况，如果模型完全拟合样本观测值，残差平方和为0，则置信区间也为0。（3）提高样本观测值的分散度。在一

般情况下，样本观测值越分散，标准差越小。置信水平与置信区间是矛盾的。置信水平越高，在其他情况不变时，临界值

2

α

t 越大，置信区间越大。如果要求缩小

置信区间，在其他情况不变时，就必须降低对置信水平的要求。

二、预测值的置信区间

1、

点预测

计量经济学模型的一个重要应用是经济预测。对于模型

i i i u x y ++=10ββ，n i ,,2,1 =

如果给定样本以外的解释变量的观测值f x ，有

f f f u x y ++=10ββ

因f x 是前述样本点以外的解释变量值，所以f u 和()n i u i ,,2,1 =是不相关的。引用已有的OLS 的估计值，可以得到被解释变量f y 的点预测值：

f

f x y 10???ββ+= (2.5.4) 但是，严格地说，这只是被解释变量的预测值的估计值，而不是预测值。原因在于两方面：一是模型中的参数估计量是不确定的，正如上面所说的；二是随机项的影响。所以，我们得到的仅是预测值的一个估计值，预测值仅以某一个置信水平处于以该估计值为中心的一个区间中。于是，又是一个区间估计问题。

2、

区间预测

如果已经知道实际的预测值f y ，那么预测误差为

f f f y

y e ?-= 显然，f e 是一随机变量，可以证明

()()

()()

()0

???10101010=+-+=+-++=-=f f f f f f f f x x x E u x E y y E e E ββββββββ 而

()()()

()()()()()

f f f u f f f f f f f f f f f f f y y C o v y

D y y C o v y y C o v y y C o v

y y y y C o v e e C o v

e D ?,2??,??,2,?,?,2

-+=+-=--==σ

因为f y

?由原样本的OLS 估计值求得，而f y 与原样本不相关，故有： ()0?,=f f y y Cov ，()()f u f y

D e D ?2

+=σ 可以计算出来：

()()212

1

?u i i f f x x x

x n y

D σ????

?

?

?

?--+=∑= (2.5.5) ()()

2

1

2

1

1u n

i i

f f x x

x

x n e D σ?????

?

?

?--+

+=∑= (2.5.6) 因f y

?和f e 均服从正态分布，可利用它们的性质构造统计量，求区间预测值。利用f y

?构造统计量为： ()()()

1,0~1?2

12

?N x x x x n y E y

N u n

i i f f f y f σ????

?

?

??--+-=

∑=

将2u σ用估计值2

?u σ代入上式，有

()()()

2~?1?2

12?-??

??

?

? ?

?

--+-=

∑=n t x x x x n y E y t u n

i i f f f y f σ

这样，可得显著性水平α下()f

y E

的置信区间为

()()?????

?

?

?

?

??

???? ??--+*+????

?

? ??--+*-∑∑==2122212

2?1? ,?1?u n i i f f u

n i i f f x x x x n t y x x x x n t y σσαα (2.5.7) (2.5.7)式称为f y 的均值区间预测。

同理，利用

f

e 构造统计量，有

()()()

1,0~11?112

122

12N x x x x n y

y x x x x n e N u

n i i f f f u

n i i f f

e f σσ??

??

?

?

??--++-=

??

??

?

? ??--++=

∑∑==

将2u σ用估计值2

?u σ代入上式，有：

()()()2~?11??112

12

2

12

-????

??

?

?

--++-=

????

?

?

?

?

--++=

∑∑==n t x x x x n y

y x x x x n e t u n

i i f f f u n

i i f f

e f σσ

根据置信区间的原理，得显著性水平α下

f

y 的置信区间：

()()??????

? ?

??????

?

??

--++*+??????

??--++*-∑∑==212

22122?11? ,?11?u n i i f f u n i i f f x x x x n t y

x x x x n t y σσαα

（2.5.8）

上式称为f y 的个值区间预测，显然，在同样的α下，个值区间要大于均值区间。(2.5.7)和(2.5.8)也可表述为：f y 的均值或个值落在置信区间内的概率为

α-1，α-1即为预测区间的置信度。或者说，当给定解释变量值f x 后，只能得

到被解释变量f y 或其均值()f y E 以)1(α-的置信水平处于某区间的结论。

经常听到这样的说法，“如果给定解释变量值，根据模型就可以得到被解释变量的预测值为……值”。这种说法是不科学的，也是计量经济学模型无法达到的。如果一定要给出一个具体的预测值，那么它的置信水平则为0；如果一定要回答解释变量以100%的置信水平处在什么区间中，那么这个区间是∞。

在实际应用中，我们当然也希望置信水平越高越好，置信区间越小越好，以增加预测的实用意义。如何才能缩小置信区间？从（2.5.5）和(2.5.6)式中不难看出：（1）增大样本容量n 。在同样的置信水平下，n 越大，从t 分布表中查得自由度为（n-k-1）的临界值2

αt 越小；同时，增大样本容量，在一般情况下可使

2

?2

2-=

∑n e i

u σ减小，因为式中分母的增大是肯定的，分子并不一定增大。（2）更

主要的是提高模型的拟合优度，以减小残差平方和∑2i e 。设想一种极端情况，如果模型完全拟合样本观测值，残差平方和为0，则置信区间长度也为0，预测区间就是一点。（3）提高样本观测值的分散度。在一般情况下，样本观测值越分散，作为分母的()2

∑-x x i 的值越大，致使区间缩小。置信水平与置信区间是矛

盾的。置信水平越高，在其他情况不变时，临界值2

αt 越大，置信区间越大。如

果要求缩小置信区间，在其他情况不变时，就必须降低对置信水平的要求。

四、一元线性回归模型参数估计实例

为了帮助读者理解一元线性回归模型参数估计的原理，下面以我国国家财政文教科学卫生事业费支出模型为例，不采用计量经济学应用软件，用手工计算，进行模型的参数估计。

经分析得到，我国国家财政中用于文教科学卫生事业费的支出，主要由国家财政收入决定，二者之间具有线性关系。于是可以建立如下的模型：

t t t FI ED μβα++=

其中，t ED 为第t 年国家文教科学卫生事业费支出额（亿元），t FI 为第t 年国家财政收入额（亿元），t μ，为随机误差项，βα和为待估计的参数。选取1991—1997年的数据为样本，利用（2.2.6）和（2.2.7）的计算公式，分别计算参数估计值。

8812

=∑t

t

ED

38500

=∑t

t

FI

1259=ED

5500=FI 236869644

2

=∑t

t

FI

54078207

·=∑t

t

ED

FI 5612207

.=∑t

t

FI

2511964

2

.=∑t

FI

由电脑计算的参数估计值为

24.0?,65.39?=-=βα

全部统计结果如下表。

从表中可看出，判定系数=2

R 0.99，表示以国家财政收入额来解释国家文教科学卫生

事业费支出额，在1991至1997年间，拟合度相当理想。截距项α的估计值对应的t-统计量为0.47，不能通过显著性检验，即不能推翻α为0的假设；而一次系数β的估计值对应的t-统计量为20.34，不用查表即可知通过显著性检验，即β显著不为0，因果关系成立。

F-统计量的值为413.58，也表示方程系数显著不为0。

表一：Eviews计算结果

Dependent Variable: ED

Method: Least Squares

Date: 09/21/02 Time: 16:22

Sample: 1991 1997

Included observations: 7

Variable Coefficient Std. Error t-Statistic Prob.

C 30.05237 63.90691 0.470252 0.6580

FI 0.223419 0.010986 20.33659 0.0000 R-squared 0.988055 Mean dependent var 1258.857 Adjusted R-squared 0.985666 S.D. dependent var 459.8972 S.E. of regression 55.06160 Akaike info criterion 11.08974 Sum squared resid 15158.90 Schwarz criterion 11.07428 Log likelihood -36.81408 F-statistic 413.5768 Durbin-Watson stat 1.644626 Prob(F-statistic) 0.000005

表二：不含截距项的Eviews计算结果：

Dependent Variable: ED

Method: Least Squares

Date: 09/21/02 Time: 16:19

Sample: 1991 1997

Included observations: 7

Variable Coefficient Std. Error t-Statistic Prob.

FI 0.228304 0.003337 68.40877 0.0000 R-squared 0.987526 Mean dependent var 1258.857 Adjusted R-squared 0.987526 S.D. dependent var 459.8972 S.E. of regression 51.36364 Akaike info criterion 10.84730 Sum squared resid 15829.34 Schwarz criterion 10.83957 Log likelihood -36.96556 Durbin-Watson stat 1.630622

Dependent Variable: LED

Method: Least Squares

Date: 09/21/02 Time: 16:21

Sample: 1991 1997

Included observations: 7

Variable Coefficient Std. Error t-Statistic Prob.

C -1.522329 0.383141 -3.973290 0.0106

LFI 1.005563 0.044764 22.46341 0.0000 R-squared 0.990188 Mean dependent var 7.077084 Adjusted R-squared 0.988226 S.D. dependent var 0.382958 S.E. of regression 0.041554 Akaike info criterion -3.288701 Sum squared resid 0.008634 Schwarz criterion -3.304156 Log likelihood 13.51045 F-statistic 504.6048 Durbin-Watson stat 1.930000 Prob(F-statistic) 0.000003

多元线性回归模型的参数估计实例

例2.3.1 建立中国消费模型。根据消费模型的一般形式，选择消费总额为被解释变量，国内生产总值和前一年的消费总额为解释变量，变量之间关系为简单线性关系，选取1981年至1996年统计数据为样本观测值。样本观测值列于表2.3.1中。

以y 代表消费总额，1代表国内生产总值，2代表前一年消费总额，应用计量经济分析软件包TSP6.5中普通最小二乘法估计模型，得到下列结果： 21^

1985.04809.05286.540x x y i ++= （2.3.13）

（6.83） （32.36） （5.70）

9997.02

=R

682.28=F 4501.1..=W D 4386132

=∑i

e

5.337392

^=μσ

08

.79^0

=βs

0149

.0^1

=βs

0348

.0^2

=βs

式中各项都是评价估计结果优劣的重要标准，后面将逐一介绍。这里仅讨论参数估计值。两个解释变量前的参数估计值分别为0.4809和0.1985，都为正数，且都处于0与1之间，常数项的估计值也为正，这些参数估计值的经济含义是合理的。随机误差项的方差的估计值为33739.5。

狼（现群主）：职业数据分析师，IT男

过风（旧群主）：老板旗下88家连锁酒店

要饭（群员）：职业产品经理，北京某私企

铁心（群员）：职业总助某知名上市医药公司

路飞（群员）：信息不明

志（群员）：信息未知

石头（群员）：职业猎头重庆某私企单位

格格（群员）：职业大佬金融行业

影（群员）：职业算法师IT男北京某企业新星

沙（群员）：职业创业者

O.O_LEO.TANG（群员）：职业富二代低调的奢华

叶实（群员）：职业学生富二代

阿呆（群员）：职业创业者玉石行业

77（群员）：职业学生上交大研究生

firework（群员）：职业扫地起早贪黑

呆小毛（群员）：运营总监重庆某私企

金丽（群员）：信息未知

苏贱贱（群员）：职业电商（下属N个）杭州唯品会合作商翔（群员）：职业畜牧医生某国企单位

啊莫（群员）：职业母亲医疗类专家研究生

静静（群员）：职业总助苏州某电视导购公司

阿默（群员）：职业数据分析湖南OPPO总公司