Fisher线性判别原理(实例论证解析)
Fisher 线性判别原理
原始数据：
1112
12122212p p n n np n p
x x x x x x X x x x ???????=???????? 寻找关于X 的线性组合，使得Y Xa =，其中
121p p a a a a ???????=????????为p 维列向量。使得1112121112122222
11221
p p p p n n p np n n a x a x a x y a x a x a x y Y Xa a x a x a x y ?+++??
??????+++?
???==????????+++?????
?
对于Y 中的每个分量来说，离差平方和为：
2
2
21
1
()n
n
i
i
i i y y y
ny ==-=-∑∑
令111
11n n n H I n
??'=-，则有：
[][][][]121212121212100101
011(111)00
111
11111
111111n n n n n n y y Y HY y y y n y n n n y y y y y n n
n y n
n n y y y y y y y y y ??????
?????????
???'=-?????????
?????????
??---?????
?????---????=????????????---?
???
????
??
=---?????22
2
11
()n n
i
i i i y ny y y ==?=-=-∑∑
而
2
1
()
()n
i
i y y Y HY Xa HXa a X HXa a Ta ='''''-====∑
若n 个原始数据X 来自J 个不同的组，每个组有j n 个数据，12+
+J n n n n +=。
将X ，Y 重新标记为：
111(1)(1)
(1)11121(1)(1)(1)2122
2(1)(1)(1)12
()()()11121()()()2122
2()()()1
2
J J J p
p n n n p J J J p J J J p J J J n n n p n p x x x x x x x x x X x x x x x x x x x ???????????????=?
???????????????1(1)1(1)2(1)()1()2()J n J J J n y y y Y y y y ??????
????????
=????????????????
，Y Xa = 其中(j)表示其属于第j 组的数据。
令()1()2()
()1
j i j i j i
j ip p x x
x x ???
????=????????，()11()1()()221
()()()11j j j n j i i j j n j j i i j j j p n j ip i j p x n x x x x n x x n ===???
??
??
??
??????????????==??????????????
????
??
????∑∑∑，()1111()22
11()111
j j j n J j i j i j n J j i j i j p n J j ip j i j p x Jn x x x x Jn x x Jn ======???????????????????
????==????????????????????????∑∑∑∑∑∑， Y Xa =，()()j j i i y a x '=，()
()()()1
1
j
j
n n j j i
i
j j i i j
j
y
a x
y a x n n ==''=
=
=∑∑
()()()
()
1
1
1
1
1
1
j
j
n n j j i
i
J
J
J
J
j j i i j j j j j j y
a x
y
a x
n n y a x J J
J
J
======'''=
=
=
=
=∑∑∑
∑
∑∑，
那么离差平方和
2
1
()
n
i
i y y =-∑可以写为：
2
()2
()2
()()2
()2
1
11
11
11
11
()()2
()2
11
1
()()
()()
11
()()()()()()()(()())j
j
j
j
j
j
n n n n n J
J
J
J
j j j j j i
i
i
j j i
i j i j i j i j i n J
J
j j j i
j j i j n J
j j j j i
i
j i y y y
y y
y y y y
y y y a x
a x n a x a x a x
x x
x ==============-=-=-+-=-+-''''=-+-'''=--∑∑∑∑∑∑∑∑∑∑∑∑∑∑()()1(()())J
j j j j a a n x x x x a
=''+--∑令()()
()()
11()()j
n J
j j j j i
i
j i W x
x x
x =='=
--∑∑,()()1
()()J
j j j j B n x x x x ='=--∑。
上式写为：
()211
()j
n J
j i
j i y
y a Wa a Ba a Ta =='''-=+=∑∑
通过使组间平方和与组内平方和的比值达到最大，找到线性组合Y Xa =中a 的取值。
max{
}a Ba
a a Wa
''对应的向量为什么？
定理：max{}a Ba
a Wa ''对应的向量a 为1W B -的最大特征值对应的特征向量。
问题：证明此定理
当J=2时，1
a W d -=，其中(1)
(2)d x
x =-。
判别法则：(1)(2)1
(1)
(2)2
1
(())0,2
1(())0,2
a x x x x G a x x x x G '-+>∈'-+<∈
问题：如何确定一个新的x 属于第一类还是第二类？ 问题：请用R 写出W 和B 矩阵的计算方法。 距离判别原理
设
分别为
的均值向量和协方差阵。通常采用马氏距离进行判别，即
，则：
1. 当
时，
21(2)1(2)(1)1(1)11(2)(2)1(2)1(2)11(1)(1)1(1)1(1)(1)11(1)1(1)
(1)1(2)1(2)(,)(,)
()()()()
()22D x G D x G x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x -----------------''=-∑---∑-''''''''=∑-∑-∑+∑-∑+∑+∑-∑''''→∑=∑=∑'''=∑-∑+∑1(2)(1)1(1)(1)1(2)(2)1(1)(2)1(1)
(1)(2)1(1)1(1)(1)1(2)(2)1(1)(2)1(2)(1)(2)1(1)(2)1(1)(2)(1)(2)1(()2()2()()()
1
2()((2
x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x ------------'-∑''''→∑=∑=∑'''''=-∑-∑-∑+∑+∑''=-∑--∑+'=-∑-1)(2)))
x +