判别分析与聚类分析

判别分析（Discriminant Analysis）

一、概述：

判别问题又称识别问题，或者归类问题。

判别分析是由Pearson于1921年提出，1936年由Fisher首先提出根据不同类别所提取的特征变量来定量的建立待判样品归属于哪一个已知类别的数学模型。

根据对训练样本的观测值建立判别函数，借助判别函数式判断未知类别的个体。

所谓训练样本由已知明确类别的个体组成，并且都完整准确地测量个体的有关的判别变量。

训练样本的要求：类别明确，测量指标完整准确。一般样本含量不宜过小，但不能为追求样本含量而牺牲类别的准确，如果类别不可靠、测量值不准确，即使样本含量再大，任何统计方法语法弥补这一缺陷。

判别分析的类别很多，常用的有：适用于定性指标或计数资料的有最大似然法、训练迭代法；适用于定量指标或计量资料的有：Fisher二类判别、Bayers多类判别以及逐步判别。半定量指标界于二者之间，可根据不同情况分别采用以上方法。

类别（有的称之为总体，但应与population的区别）的含义——具有相同属性或者特征指标的个体（有的人称之为样品）的集合。如何来表征相同属性、相同的特征指标呢？

同一类别的个体之间距离小，不同总体的样本之间距离大。

距离是一个原则性的定义，只要满足对称性、非负性和三角不等式的函数就可以称为距

绝对距离

马氏距离：（Manhattan distance）

设有两个个体（点）X与Y（假定为一维数据，即在数轴上）是来自均数为μ，协方差阵为∑的总体（类别）A的两个个体（点），则个体X与Y的马氏距离为

（，）X与总体（类别）A的距离D X Y=

（，）

为D X A=

明考斯基距离（Minkowski distance）:明科夫斯基距离

欧几里德距离（欧氏距离）

二、Fisher两类判别

一、训练样本的测量值

A类训练样本

编号 1x 2x

m x

1 11A x 12A x 1A m x 2

21A x

22A x

2A m x

A n

1A An x 2A An x

A An m x 均数

1A x

2A x

Am x

B 类训练样本

编号 1x 2x m x

1 11B x 12B x 1B m x 2

21B x

22B x

2B m x

B n

1B Bn x 2B Bn x B Bn m x 均数

1B x

2B x

Bm x

二、建立判别函数(Discriminant Analysis Function)为：

1122m m Y C X C X C X =+++

其中：1C 、2C 和m C 为判别系数（Discriminant Coefficient ） 可解如下方程组得判别系数。

1111221112112222221122()()()()

()()

m m m m m m mm m m m w C w C w C x A x B w C w C w C x A x B w C w C w C x A x B +++=-+++=-+++=-

各类的离差阵分别以()L A 、()L B 表示

1112121

22212()()()()()()()()()()m m m m mm L A L A L A L A L A L A L A L A L A L A ⎛⎫

⎪ ⎪

= ⎪

⎪⎝⎭

1112121

22212()()()()()()()()()()m m m m mm L B L B L B L B L B L B L B L B L B L B ⎛⎫

⎪ ⎪

= ⎪

⎪⎝⎭

类内离差阵W 为()L A 、()L B 之和

()()W L A L B =+

11121212221

2

m m m m mm w w w w w w W w w w ⎛⎫

⎪ ⎪

=

⎪ ⎪⎝⎭

三、Y 值的判别界值

将1()x A 、2()x A 、 、()m x A 代入判别函数，得到相应的()Y A ， 将1()x B 、2()x B 、 、()m x B 代入判别函数，得到相应的()Y B ，

两类的判别界值为：

()()

2

c Y A Y B Y +=

当两类的样本含量相差较多时应加权，用下式计算判别界值

()()

A B c A B

n Y A n Y B Y n n +=

+

将每个个体的1x 、2x 、 、m x 代入判别函数计算Y ，根据判别界值c Y 判别归

类。

四、对判别函数检验

T 为训练样本中两类和在一起的离差阵（注意与W 的区别）

111212122212

m m m m mm t t t t t t T t t t ⎛⎫ ⎪ ⎪= ⎪ ⎪⎝⎭ 计算Wilks 统计量U

W U T

=

11

U N m F U m

---=

⋅， 1m ν=，21n m ν=--

五、回代 观察判别函数的判别效果

举例 设要建立一个判别函数来判别医院的工作情况，公认的A 类医院11所，

B 类医院9所。

X 1 ：床位使用率 X 2 ：治愈率 X 3 ：诊断指数

判别指标如下两表：

A 类医院

编号 X 1 X 2 X 3 Y 1 98.82 85.49 93.18 7.9839 2 85.37 79.10 99.65 7.9879 3 86.64 80.64 96.94 7.9391 4 73.08 86.82 98.70 8.1008 5 78.73 80.44 97.61 7.8836 6 103.44 80.40 93.75 7.8807 7 91.99 80.77 93.93 7.8161 8 87.50 82.50 94.10 7.3665 9 81.82 88.45 97.90 8.1802 10 73.16 82.94 92.12 7.6592 11 86.19 83.55 93.30 7.8919 均数

89.3373

82.8273

94.7073

7.8781

B 类医院

编号 X 1 X 2 X 3 Y 1

72.48

78.12

82.38

7.0300

2 58.81 86.20 73.46 6.7616

3 72.48 84.87 74.09 6.8505

4 90.56 82.07 77.1

5 7.0413 5 73.73 66.63 93.98 7.2244

6 72.79 87.59 77.15 7.0550

7 74.27 93.91 85.54 6.7346

8 93.62 85.8

9 79.80 7.3152 9 78.69 77.01 86.79 7.2522 均数

76.3811

79.1433

81.1489

7.0331

合计均数

81.857 81.170 88.606

1．计算各类中的变量值均数

2．计算各类的离差阵及两类的离差阵之和

921.956085.6700104.7177()89.7890 6.1099187.6898L A --⎛⎫ ⎪

= ⎪ ⎪⎝⎭

867.113745.535261.9823()602.2566390.0085360.0057L B ⎛⎫ ⎪

=- ⎪ ⎪⎝⎭

1789.069740.134842.7354()()692.0456383.8986547.6955W L A L B --⎛⎫ ⎪

=+=- ⎪ ⎪⎝⎭

3．

11()()x A x B -=86.3376-76.3811=9.9562

22()()x A x B -=82.8273-79.1433=3.6840 33()()x A x B -=94.7073-81.1489=13.5584

4．

111122133112112222332231132233333()()()()

()()

w C w C w C x A x B w C w C w C x A x B w C w C w C x A x B ++=+++=+++=+

1231231231789.069740.134842.73549.956240.1348692.0456383.8986 3.6840

42.7354383.8986547.695513.5584

C C C C C C C C C --=-+-=--+=

解此方程组得

1C =0.007440 2C =0.032412 3C =0.048055

判别函数为

1230.0074400.0324120.048055Y x x x =++

5．求c Y

()Y A =7.8781 ()Y B =7.0331

()()

2

c Y A Y B Y +=

=7.4556

()()

A B c A B

n Y A n Y B Y n n +=

+=7.4978

6．检验

2279.7392141.4208625.4625759.2241136.65461457.6529T ⎛⎫ ⎪=- ⎪ ⎪⎝⎭

W U T

=

=

410978769

2130041753

=0.192944

11

U N m F U m

---=

⋅=22.3085 13m ν==

2116N m ν=--=

W 、 T 为相应矩阵的行列式的值

7．回代（internal validation ）

判别效果

原分类 判别函数的判别归类 A B A

10 1 B

A 正确率= 90.9%

B 正确率= 100%

总正确率（符合率）= 91%

A 误判率=

B 误判率= 总误判率= 5%

符合率的高低取决于所选判别指标的特异性以及训练样本中各个体分类的可靠性。

组内回代 组外回代 剔除回代

Bayes 多类判别

121212,,,.,,,.,,,()1,2,,;

1,2,,;

1,2,g m g kij k kij g A A A m x x x n n n X x k g i n j m

x k i j ==== 设有个总体，记为提取了个特征变量，记为对各个总体分别做了次试验，得到的观测数据记为代表第个总体的第个样本的第个特征变量的观测值。

注意总体、样品的概念

Bayes 多类判别是要建立g 个判别函数

1011112121()()()()()m m Y A C A C A X C A X C A X =++++ 2021212222()()()()()m m Y A C A C A X C A X C A X =++++

01122()()()()()g g g g m g m Y A C A C A X C A X C A X =++++

将每个个体代入每个函数式求得1()Y A 、

2()Y A ()g Y A ，对于具体某个个体，哪个Y 值最大，就将其判为哪类。

C j 为判别系数

过程Bayes 多类判别分析的过程

1．计算判别系数

（1）计算各组每个各变量的均数 kj x 1,2,,,k G =

1,2,,j m =

（2）计算各组的离差阵()k L A 和类内离差阵

W =12()()()G L A L A L A +++

11

12121

2221

2

m m m m mm w w w w

w w W w w w ⎛⎫

⎪ ⎪

= ⎪ ⎪⎝⎭

（3）求W 的逆矩阵1

W

-

A 1类的判别系数计算：

12111221222

1

1m m m mm m w w w w w w W w w w -⎛⎫

⎪ ⎪

=

⎪ ⎪ ⎪⎝

⎭

12

111

221

222

111121221

1()()()()()()()m m

m mm m m m m C A x A w w w C A x A w

w w N G C A x A w w w ⎛⎫⎛⎫

⎛⎫

⎪ ⎪ ⎪ ⎪ ⎪ ⎪

=- ⎪ ⎪

⎪ ⎪ ⎪

⎪ ⎪⎝⎭⎝⎭

⎝

⎭

01111

1()()()2m

j j j C A C A x A ==-∑

其余各类的判别系数以同样的方法求得，并可对每个个体的所属类判定求出后

验概率（或称事后概率posterior probability ，与之对应的是先验概率或事前概率prior probability ），这与后面的逐步判别分析中的计算方法一样，这里不做介绍。

2．假设检验（略放在逐步之后？还是先讲） 3．判别函数的判别效果观察

举例 用Bayes 多类判别分析法对前面Fisher 二类判别分析的例子。 1．原始数据及基本计算（略） 1．计算类内离差阵数据和其逆矩阵

1789.069740.134842.7354692.0456383.8986547.6955W --⎛⎫ ⎪=- ⎪ ⎪⎝⎭

其逆矩阵为

10.00056370.00009340.00010950.00237980.00167540.0030087W -⎛⎫ ⎪

= ⎪ ⎪⎝⎭

123()0.00056370.00009340.000109586.3373()(202)0.00237980.001675482.8273()0.003008794.7073C A C A C A ⎛⎫⎛⎫⎛⎫

⎪ ⎪⎪

=- ⎪ ⎪⎪ ⎪ ⎪⎪⎝⎭

⎝⎭⎝⎭

= 1.20196.54937.7970⎛⎫ ⎪ ⎪ ⎪⎝⎭

0()C A =

-692.3312

的A 类的判别函数为

123()692.2342 1.2019 6.54937.797Y A x x x =-+++ 123()558.1299 1.068 5.9658 6.932Y B x x x =-+++

其中

逐步判别分析 (Stepwise Discriminant Analysis)

从m 个可能有判别能力的变量中筛选出对判别分类有统计学意义的p

（p m ≤）个变量，建立判别函数

10111121211()()()()()ln ()p p Y A C A C A X C A X C A X Q A =+++++

2021212222()()()()(

)l n ()

p p Y A C A C A X C A X C A X Q A =+++++

0112

2()()()()()l n ()g g g g p

g p g

Y A C A C A X C A X C A X Q A =++++

+

式中1()Q A 、2()Q A ()g Q A 为各类的先验概率 1．准备工作

（1）计算各类各指标的均数，计算各指标的总均数

（2）计算类内离差阵 W ，记为 0

W （此为初始阵）

计算总离差阵 T ，记为 0

T

（3）确定检验水准（或与之相对应的F 值）

2．逐步筛选变量（前进法、后退法、逐步法）

筛选变量过程中（无论是引入一个变量还是剔出一个变量），每一步都要对上一

步所得的矩阵作消去变换。设现在进行到（g+1）步，上一步（g 步）曾得到两个矩阵（()

g W

，

(1)g T +），本步要引入（或剔除）变量r x ，()g W 和(1)g T +要按下式以（r,r ）为主元作消去

变换。

(1)

1,,ij

g rr

g

rj g

rr g g ij

g rr

g g ir rj g ij g

rr i j r w w i r j r w w w i r j r w w w w i r

j r

w +⎧

⎫

==⎪⎪⎪

⎪⎪⎪=≠⎪⎪⎪⎪=⎨⎬⎪⎪-≠=⎪⎪⎪⎪⎪⎪-≠≠⎪⎪⎩⎭

(1)1,,ij

g

rr

g

rj g

rr g g

ij g rr

g g ir rj g ij g

rr i j r t t i r j r t t t i r j r t t t t i r

j r

t +⎧⎫==⎪⎪⎪

⎪⎪⎪=≠⎪⎪⎪⎪=⎨⎬⎪⎪-≠=⎪⎪⎪⎪⎪⎪-≠≠⎪⎪⎩

⎭

每一步中哪个变量的判别能力强？看Wilks U

(1)()()

g g g r rr rr

U t w += 检验方法：是否要剔除？

1(1)

r r U N G l F U G l

----=

⋅

-， 11G ν=-，2(1)N G l ν=--- 是否要剔除？

1r r U N G l

F U

G l

---=

⋅-， 11G ν=-，2N G l ν=-- (略)

Bayes 多类判别（续）

1．检验判别函数的判别能力

W U T

=

2(1)ln 2

l G

N U χ+---

(1)l G ν=-

2．计算判别系数，建立判别函数

应加入先验概率

3．判别函数对任意两类之间的判别能力

Wilks U 反映G 类之间总的判别能力，任意两类（如E 类和F 类）间用

Mahalanobis D 2反映（公式略）

对马氏距离的检验用

(1)()()

E F

EF E F N G l n n F l N G n n --+=

-+

11G ν=-，21N G l ν=--+

4．判别分类

对于某个体，代判别函数，分别计算1()Y A 、2()Y A ()g Y A ，其中()F Y A 最

大，则判为该个体数F A 类，必要时还可计算出后验概率：

()

()

1

()F j Y A F G

Y A j e P A e

==

∑

5．回代 观察判别函数的判别效果

聚类分析（Cluster Analysis ）

常用的系统聚类、逐步聚类和模糊聚类法

1．根据相似系数和距离聚类

其中相似系数有 （1）相关系数

ij l r =

（2）列联系数

ij C =

（3）点相关系数

ij r =

常用的距离包括： （1）绝对距离

121121122212m m d x x x x x x =-+-++-

缺点：各变量量纲不同，数量级不同，不能直接向加 （可先行标准化后消除上述缺点）

个体a 、b 的距离（也称L 1距离）为

1

m

ab ak bk k d x x ==-∑（标化后）

（2）平方距离（也称L 2距离）为

ab d =

2．系统聚类法

常用，可用于对个体的聚类，也可用于对指标的聚类 以个体间聚类的基本思想： 首先定义样品间的距离（L 1或L 2），以d 表示，并定以类间的距离（最大距离法、

最小距离法、平均距离法），以D 表示。

然后开始聚类，开始一个个体一类，n 个个体，则有n 类。

将距离近的两类合并成新的一类，重新计算新类与其他类之间的距离。 将距离近的两类合并成新的一类，再重新计算新类与其他类之间的距离。

这样每次聚类之后，减少一类，直至最后所有个体都合成一类。最后将整个聚类过程汇成聚类图，参照图进行分析，以便确定分几类为宜。

举例设有12个个体，各测了3个指标

编号

指标

X1X2X3

1 5 7 10

2 7 1 5

3 3 2 14

4 6

5 2

5 6 6 9

6 7 7 7

7 8 1 4

8 20 7 9

9 19 8 12

10 7 4 4

11 4 5 13

12 6 5 7

1．计算各类（个体间）的距离

12类(个体)之间的L1距离（d ij）即D ij

2

3

4

5

6

7

8

9

10

11

12 12

d12=| 5-7 |+| 7-1 |+| 10-5 |=13

d39=| 3-19 |+| 2-8 |+| 14-12 |=24

a2与a7距离(2)最近，将其合并，并命名为G13。重新计算其他10类与G13之间的距离，它们与G13间的距离按最小距离法定义，因此

D1,13= min{D1,2，D1,7} = min {13,15} =13

D3,13 = min{D3,2，D3,7} = min{14,16} =14

11类(个体)之间的L1距离

G3

G4

G5

G6

G8

G9

G10

G11

G12

G13 G13 三个3，任意选定其中两类合并，如G1与G5和并-------G14

G4

G6

G8

G9

G10

G11

G12

G13

G14 G14 有两个3 ，合并起中之一对，G6和G12-----G15

G13

G14

G15 G15 合并G14与G15-----G16

G4

G8

G9

G10

G11

G13

G16 G16 合并G4与G10--------G17

G8

G9

G11

G13

G16

G17 G17

合并G13、G17-----------G18

G8

G9

G11

G16

G18 G18

并G3、G11--------G19

G9

G16

G18

G19 G19

并G8与G9 ----------G20

G18

G19

G20 G20

并G16与G18 ----------G21

G20

G21 G21

并G19与G21 ----------G22

G22 G22

并G20与G22----------合为一类

于是只有G20 ，G22他们之间的距离为15，最后合并为一类

可归纳为下表：

步数合并的类别距离新类名类内个体

1 G2，G7

2 G1

3 a2，a7

2 G1，G5

3 G1

4 a1，a5

3 G6，G12 3 G15 a6，a12

4 G14，G1

5 3 G1

6 a1，a5，a6，a12

5 G4，G10 4 G17 a4，a10

6 G13，G1

7 4 G1

8 a2，a4，a7，a10

7 G3，G11 5 G19 a3，a11

8 G8，G9 5 G20 a8，a9

9 G16，G18 5 G21 a1，a2，a4，a5，a6，a7，a10，a12

10 G19，G21 6 G22 a1，a2，a3，a4，a5，a6，a7，a10，

a11，a12

11 G20，G22 15 G23 全部

2

7

4

10

1

5

6

12

3

11

8

9

聚类方法不同，得各类的结果也不同

对指标的聚类

也有最大相似系数和最小相似系数法

例牙槽弓的形态特征需用22个指标才能全面描述，现测量609副牙槽弓的形态指标，得结果如下：

609副牙弓形态指标的测量值

编号

指标

X1X2X22

1 32.5 41.0 31.0

2 34.0 40.5 37.5

3 34.5 41.0 34.0

609 25.0 33.0 34.0 均数31.5 39.3 33.0 标准差 3.5 3.5 4.0

指标间的相关系数（*0.01）

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22 22

步数合并的类别相关系数新类名

1 15，16 0.91 23

2 1，21 0.90 24

3 3，

4 0.89 25

4 6，22 0.89 26

5 8，9 0.88 27

6 12，13 0.8

7 28

7 23，19 0.79 29

8 17，18 0.79 30

9 7，27 0.73 31

10 28，30 0.73 32

11 24，2 0.72 33

12 29，20 0.69 34

13 26，14 0.68 35

14 25，5 0.67 36

15 31，10 0.54 37

16 32，34 0.50 38

17 33，38 0.39 39

18 36，37 0.32 40

19 35，39 0.20 41

20 41，11 0.14 42

21 40，42 0.00 43