回归分析中异常值的诊断与处理

回归分析中异常值的诊断与处理

1 引言

对调查得到的大量原始数据进行加工处理，提取其中有用的信息，即统计整理，是进一步进行统计分析的前提．但是通常的统计整理方法往往都对样本数据有一个前提假设，即样本数据是来自同一个总体，而这个假设有时却不能成立．原因一是由客观因素造成的，如总体条件的突然变化或人们未知的某个因素的突然出现等等；二是由主观方面的因素造成的，即人为的差错如调查人员读错或抄错数据，不小心把另一些不同条件下的样本数据混杂进来．当样本中的个别数据明显的偏离样本中其余数据时，这些数据可能是来自不同的总体，我们称这样的数据为异常数据．若对混有异常数据的样本按常规进行统计整理、分析、推断，往往会得出不符合实际的结论．本文就样本中的异常数据提出了诊断方法和处理方法，并结合实例说明了简单回归中上述方法的具体应用．

2 异常值的概念

所谓异常值就是在所获统计数据中相对误差较大的观察数据，也称奇异值(Outliers)．狭义地定义异常值就是一批数据中有部分数据与其余数据相比明显不一致的数据，也称离群值．

社会经济统计中一切失实数据统称为异常值．由于人为或随机因素的影响，失实的数据随时都有可能出现，因而统计数据中的任何一个都有可能成为异常值，而狭义界定的异常值是指离群值，如果把统计数据按由小到大排列，若有异常值，它必位于其数据的两端，左端称为异常小值，右端的称为异常大值．

残差：考虑线性回归模型

y X e β=+，()0E e =，()2n Cov e I σ=．

()1 其中 ?

?????

??????=n y y y y 2

1，???

???

????????=---1,11,2211,111111p n n p p x x x x x x X ，??????????????=-110p ββββ ，?????

?

??????=

n e e e e 21． 分量形式为

011,11i i i p p i y x x e βββ--=++

++，n i ，， 1=．

()2 定义???e

y y y X β=-=-为残差向量，其中??y X β=称为拟合值向量，β?为β在模型()1下的最小二乘估计．如果用n x x '',1

表示X 的n 个行向量，则称 ??i i i e

y x β'=-， n i ，， 1=， 为第i 次试验或观测的残差．对简单回归，12111n x x X x ??

??

??=????

??，?????

???????=n y y y y 21，??????=10βββ．

则??i

i

i

e y x β'=-，n i ，， 1=，其中()1,i i

x x '=．

于是，异常值就是在回归分析中，一组数据()i i y x ,'如果它的残差i e

?较其它组数据的残差大的多，则称此数据为异常值．

异常值的出现有主客观的原因．主观上抽样调查技术有问题，疏忽大意记错，或人为的虚报，谎报数据等都可能导致异常数据，这直接影响了统计数据的质量；客观上某些样品由于特定原因在某些变量上的确表现突出，明显超出平均水平，这也可能产生异常值．

异常值的存在必将导致相应统计分析误差增大，会对分析结果(平均值与标准差)产生重要影响，会降低测量的精度．如果不预先处理它们，用通常的统计整理方法所得出的结论可靠性差．而异常值的诊断与处理是保证原始数据可靠性，平均值与标准差计算准确性的前提．

3 异常值的诊断方法

在讨论异常值诊断问题时，通常要假设所得样本观测值在某中意义下遵从一定的分布规律．拿到一批数据，若能从其实际背景中明确看出它服从某中分布形式时，一般的做法是在这种分布假设下，导出能较好反映异常值与正常值差异的统计量，在没有异常值的原假设下作假设检验．

以下给出两种检验方法．

3.1 F 分布检验法

学生化残差：考虑线性回归模型()1，记??y

X β=，称y ?为拟合值向量，称其第i 个分量β??i i x y

'=为第i 个拟合值，则 ()1

?y X X X X y Hy -''==，

这里()1

H X X X X -''=．文献中通常称H 为帽子矩阵．前面已经定义了

??i i i e

y x β'=-, n i ，， 1=， 为第i 次试验或观测的残差．将其标准化为ii

i h e

-1?σ，再用σ

?代替σ，得到所谓学生化残差

ii i i h e r -=

1??σ

， n i ， ,1=，

这里ii h 为H 的第i 个对角元，p

n e

n

i i

-=∑=122??σ

．

把正态线性回归模型()1改写成分量形式

i i i e x y +'=β，()2,0~σN e i ，n i ，， 1=，

这里i e ，)1(n i ，， =相互独立．如果第j 组数据()j j y x ,'是一个异常点，那么它的残差就很大．它的残差之所以很大是因为它的均值()j y E 发生了非随机性漂移η．从而

()ηβ+'=j j x y E ．这产生了一个新的模型

i i i

j

j j y x e y x e ββη'=+???'=++?? ()2

~0,,i i j e N σ≠ ()3 记[]0,

,0,1,0,

,0j d '=．将模型()3改写成矩阵的形式

j y X d e βη=++， ()I N e 2,0~σ， ()4

模型()3和()4称为均值漂移线性回归模型．要判定()j j y x ,'不是异常点，等价于检验假设

0=η：H ．

引理1 用()i y ，()i X 和()i e 分别表示从Y 、X 和e 剔除第i 行所得到的向量或矩．从线性回

归模型()1剔除第i 组数据后，剩余的1-n 组数据的线性回归模型为

()()()i i i y X e β=+，

()()0i E e =，()()

21n i Cov e I σ-=． ()5 将从这个模型求到的β的最小二乘估计记为()

i β?，则 ()

()i ii

i i x X X h e

11???-'--=ββ． 证明：因为()()()

()

()()1

?i i i i i X X X y β-''=． ()6

设A 为n n ?可逆阵，v u 和均为1?n 向量．用恒等式

()

v

A u A v u A A v u A 11

11

1

1-----'-'+='-

有

()()()

()()

()()

1

1

1

11

1i i i i i

i

ii

X X x x X X X X X X x x X X h -----'''''''=-=+

-， ()7

这里i x '为X 的第i 行．将上式两边右乘X y '，并利用

()()i i i i X y X y y x ''=+

以及()6式，有

()()()()()()ii

i i i

i i i i h x x X X x X X y -''-'+=--1???11

β

ββ．

()8

将()7式右乘i x ，可以得到如下关系式

()()()

()i ii

i i

i

x X X h x X X 11

11

--'-=

'． 将其代入()8式，得到

()

()i ii

i i x X X h e

11???-'--=ββ． 引理2 对均值漂移线性回归模型()4，β和η的最小二乘估计分别为

()

j ββ?=*和j jj

e h ?11

-=*η，

其中()

j β?为从非均值漂移线性回归模型()1剔除第j 组数据后得到的β的最小二乘估计．()()X X X X h H jj ''==-1

，jj h 为H 的第j 个对角元．j e

?为从模型()2导出的第j 个残差． 证明：显然，j j y y d ='，1='j j d d ．记()12,,

,n X x x x '

=．则j j x d X ='．

于是，根据定义()

1

1

1j j j j j j X X X X

x X y X

d y d d x y βη-*-*''''??????????

??==?? ? ???????'''??????

??????

??． 根据分块矩阵的逆矩阵公式(见附录1)，以及

()j j jj x X X x h 1

-''=．

()()()()()()()()111111111111111111??1111?111??11

?1j j j jj jj j j jj jj

j j j j jj jj

j j jj jj j j jj

j jj X X X X x x X X X X x h h X y y x X X h h X X x x X X x y h h x y h h X X x e h e h βηββββ----**----??'''''+-??--'??????

=??????????''-??

--????'''+- ?--

?= ?'-+ ? ?--??

?'--=-?? ?

? ? ? ??

． 再由引理1知命题得证．

现在应用引理来求检验0=η：H 的检验统计量．注意到，对现在的情形，在约束条件

0=η下，模型()4就化为模型()1，于是

=H RSS 模型()1无约束情形下的残差平方和 y X y y ''-'=β

?． 而模型()4的无约束残差平方和

y d y X y y RSS j '-'-'=**'ηβ． ()9

利用引理2得

()

2???1??111H j

j j j j j jj jj jj

RSS RSS X y d y e y e e x h h h ββηβ**'

''-=-+'=-+=---．

这里β??j j j x y e

'-=为第j 组数据的残差． 利用*β和*η的具体表达式将()9式作进一步化简：

jj j j jj

j j h y e h y e y X y y RSS ---+''-'=1?1???β

=()jj

j h e p n ---1??22σ

，

其中p

n e

n

i i

-=∑=1

22??σ

．根据引理2，所求的检验统计量为

()()()

()22222111?1?1?1j

j jj j jj j

H r p n r p n h p n e p n p n h e p n RSS RSS

RSS F ----=--------=---=σ． 于是，我们证明了如下事实：

定理[]2 对于均值漂移线性回归模型()4，如果假设0=η：H 成立，则

()1,12

2

~1------=

p n j j j F r p n r p n F ．

据此，我们得到如下检验：对给定的()10<<αα，若

()()α1,12

2

1-->----=

p n j

j j F r

p n r p n F ，

则判定第j 组数据()j j y x ,'为异常点．当然，这种检验会犯“判无为有”的错误，也就是

()j

j

y x ,'可能不是异常点，而被误判为异常点．但我们犯这种错误的概率只有α，事先我们

可以把它控制的很小．

显然，根据t 分布与F 分布的关系，我们也可以用t 检验法完成上面的检验．若定义

()

()2

1

22

11??

?????

?----==j j j j r p n p n r F t ． 对给定的α，当

??

?

??>--21αp n j t t

时，我们拒绝假设0=η：H ．即判定第j 组数据()j j y x ,'为异常点．

3.2 残差及残差图检验异常值

前面定义了β??X y e

-=，称为残差向量，其分量形式??i i i e y x β'=-，()1,,i n =，称为

第i 次试验或观测的残差．特别地，对简单回归，()i i x x ，1='，

n i ，， 1=．??

?????

? ??---=??????=∑∑==n i i n i i i x n x y x n y x x y 122

1110????ββββ．所以，()

i i i x y e 10???ββ+-=，n i ，， 1=． 残差是最重要的一种回归诊断量，它蕴涵了有关模型基本假设的许多重要信息．残差分析就是对残差进行统计处理，从中提炼出这些信息的方法．而残差图就是残差分析中使

用的基本工具．所谓残差图就是残差i e

?对因变量y 或自变量n X X X ，， 21,，或其它导出统计量（如拟合值i y

?）的点子图，有时候也用残差对时间或对数据序数的点子图．最简单的图，尤其在简单回归中，为残差i e

?对拟合值i y ?的图． 所谓异常数据就是相对于其它观测值来说，具有大的残差的数据点．利用残差及残差

图检验异常值的方法是用所给数据计算出残差i e

?，与其余观测值的残差进行比较，具有大的残差的数据点被怀疑为异常值．然后作出自变量与因变量的散点图，残差i e

?对拟合值i y ?的残差图以及残差i e

?对自变量i x 的残差图，从图中观察，那些远离大多数观测点的孤立的点有理由被认为是异常点．然后从数据中删除这些点，再次估计回归方程，作出X 与Y 的