模式识别作业第三章2

第三章作业已知两类训练样本为

1:(0 0 0 )',(1 0 0)' ,(1 0 1)',(1 1 0)'

ω

2:(0 0 1)',(0 1 1)' ,(0 1 0)',(1 1 1)'

ω

设0)'

(-1,-2,-2,

)1(=

W,用感知器算法求解判别函数，并绘出判别界面。

$

解：matlab程序如下：

clear

%感知器算法求解判别函数

x1=[0 0 0]';x2=[1 0 0]';x3=[1 0 1]';x4=[1 1 0]';x5=[0 0 1]';x6=[0 1 1]';x7=[0 1 0]';x8=[1 1 1]';

%构成增广向量形式，并进行规范化处理

[

x=[0 1 1 1 0 0 0 -1;0 0 0 1 0 -1 -1 -1;0 0 1 0 -1 -1 0 -1;1 1 1 1 -1 -1 -1 -1];

plot3(x1(1),x1(2),x1(3),'ro',x2(1),x2(2),x2(3),'ro',x3(1),x3(2),x3(3),'ro',x4(1),x4(2),x4(3),'ro');hold on; plot3(x5(1),x5(2),x5(3),'rx',x6(1),x6(2),x6(3),'rx',x7(1),x7(2),x7(3),'rx',x8(1),x8(2),x8(3),'rx');grid on; w=[-1,-2,-2,0]';c=1;N=2000;

for k=1:N

|

t=[];

for i=1:8

d=w'*x(:,i);

if d>0

w=w;

、

t=[t 1];

else

w=w+c*x(:,i);

t=[t -1];

end

-

end

if i==8&t==ones(1,8)

w=w

syms x y

z=-w(1)/w(3)*x-w(2)/w(3)*y-1/w(3);

《

ezmesh(x,y,z,[ 1 2]);

axis([,,,,,]);

title('感知器算法')

break;

else

{

end

end

运行结果：

w =

3

]

-2

-3

1

判别界面如下图所示：

!

若有样本123[,,]'x x x x =;其增广]1,,,[321x x x X =;

则判别函数可写成： 1323')(321+*-*-*=*=x x x X w X d

若0)(>X d ,则1ω∈x ，否则2ω∈x

已知三类问题的训练样本为

123:(-1 -1)', (0 0)' , :(1 1)'ωωω

<

试用多类感知器算法求解判别函数。

解：（方法一）

增广向量形式：123:(-1 -1 1)', (0 0 1)' , :(1 1 1)'X X X

任取初始权向量1;)'0,0,0()1()1()1(321====c W W W

第一次迭代： 0)'*1()1(111==X W d

[

0)'*1()1(122==X W d

0)'*1()1(133==X W d

11ω∈X ,但()()1121d d >且()()1131d d >不成立

三个权向量都需要修改：

)'1,1,1(*)1()2(111--=+=X c W W

}

)'1,1,1(*)1()2(122-=-=X c W W

)'1,1,1(*)1()2(133-=-=X c W W

第二次迭代：1)'*2()2(211==X W d

1)'*2()2(222-==X W d

1)'*2()2(233-==X W d

|

22ω∈X ,但()()2212d d >且()()2232d d >不成立

三个权向量都需要修改：

)'0,1,1(*)2()3(211--=-=X c W W

)'0,1,1(*)2()3(222=-=X c W W

)'2,1,1(*)2()3(233-=-=X c W W

·

第三次迭代：2)'*3()3(311-==X W d

2)'*3()3(322==X W d

0)'*3()3(333==X W d

22ω∈X ,但()3)3(13d d >且()()3323d d >不成立

三个权向量都需要修改：

（

)'0,1,1(*)3()4(311--=-=X c W W

)'1,0,0(*)3()4(322-=-=X c W W

)'1,2,2(*)3()4(333-=-=X c W W

迭代到六、七、八次有权向量的解：

)'1,1,1()6()7()8(1111---====W W W W

{

)'0,0,0()6()7()8(2222====W W W W

)'2,2,2()6()7()8(3333-====W W W W

判别函数： 1)(211---=x x X d

0)(2=X d

222)(213-+=x x X d

(

（方法二）

编写matlab 程序如下：

clear

%多类感知器算法求解判别函数

x1=[-1 -1]';x2=[0 0]';x3=[1 1]';

—

%增广向量形式

x=[-1 0 1;-1 0 1;1 1 1];

w1=[0 0 0]';w2=w1;w3=w1;

N=100;c=1;

for k=1:N

！

t=[0 0 0];

for i=1:3

d1=w1'*x(:,i);

d2=w2'*x(:,i);

d3=w3'*x(:,i);

.

switch i

case 1

if d1>d2&d1>d3

t(i)=1;

elseif d1>d2&d1<=d3

~

w1=w1+x(:,i);

w2=w2;

w3=w3-x(:,i);

elseif d1>d3&d1<=d2

w1=w1+x(:,i);

~

w2=w2-x(:,i);

w3=w3;

elseif d1<=d2&d1<=d3

w1=w1+x(:,i);

w2=w2-x(:,i);

—

w3=w3-x(:,i);

end

case 2

if d2>d1&d2>d3

t(i)=1;

>

elseif d2>d1&d2<=d3

w1=w1;

w2=w2+x(:,i);

w3=w3-x(:,i);

elseif d2>d3&d2<=d1！

w2=w2+x(:,i);

w1=w1-x(:,i);

w3=w3;

elseif d2<=d1&d2<=d3

w2=w2+x(:,i);

-

w1=w1-x(:,i);

w3=w3-x(:,i);

end

case 3

if d3>d2&d3>d1

）

t(i)=1;

elseif d3>d2&d3<=d1

w3=w3+x(:,i);

w2=w2;

w1=w1-x(:,i);

—

elseif d3>d1&d3<=d2

w1=w1;

w3=w3+x(:,i);

w2=w2-x(:,i);

elseif d3<=d2&d3<=d1 -

w3=w3+x(:,i);

w2=w2-x(:,i);

w1=w1-x(:,i);

end

end

；

end

if t==ones(1,3)

w1,w2,w3

break;

else

》

end

end

运行结果：

w1 =

-1

$

-1

-1

w2 =

w3 =

2

2

-2

~

故可得判别函数：1)(211---=x x X d

0)(2=X d

222)(213-+=x x X d

用LMSE 算法求解习题中两类模式的判别函数，并绘出判别界面。 解：编写matlab 程序如下：

$

clear

%LMSE 算法求解判别函数

x1=[0 0 0]';x2=[1 0 0]';x3=[1 0 1]';x4=[1 1 0]';x5=[0 0 1]';x6=[0 1 1]';x7=[0 1 0]';x8=[1 1 1]'; %规范化增广样本矩阵

x=[0 0 0 1;1 0 0 1;1 0 1 1;1 1 0 1;0 0 -1 -1;0 -1 -1 -1;0 -1 0 -1;-1 -1 -1 -1];

!

plot3(x1(1),x1(2),x1(3),'ro',x2(1),x2(2),x2(3),'ro',x3(1),x3(2),x3(3),'ro',x4(1),x4(2),x4(3),'ro');hold on ; plot3(x5(1),x5(2),x5(3),'rx',x6(1),x6(2),x6(3),'rx',x7(1),x7(2),x7(3),'rx',x8(1),x8(2),x8(3),'rx');grid on ; %伪逆矩阵

X=inv(x'*x)*x'; %x 的伪逆矩阵

B=ones(8,1);z=10*ones(8,1);t=[z];

（

for i=2:1000

W=X*B;

e=x*W-B;

t=[t e];j=i-1;

%-------------------------

。

%这里存在问题，有待解决.但不影响本题

a=e>0;

b=e<0;

if a==0

W',B',e',i

;

break ;

elseif sum(b,1)==8

disp('线性不可分模式')

brek;

else

|

B=B+(e+abs(e));

End

%-------------------------

syms x y

z=-W(1)/W(3)*x-W(2)/W(3)*y-W(4)/W(3); ~

ezmesh(x,y,z,[ 1 2]);

axis([,,,,,]);

title(' LMSE算法·¨')

运行结果：

W =

B =

e =

*

i =

53

已知两类模式

12:(0 1)',(0 -1)' :(1 0)',(-1 0)'ωω 用LMSE 算法检验模式样本的线性可分性。 解：写出规范化增广样本矩阵：

1]- 0 1;1- 0 1;-1 1- 1;0 1 [0X =

求伪逆矩阵：

#10022(')'1/422001111X X X X --????==-????--??

取(1)[1 1 1 1]'B =,1c =

#(1)(1)[ 0 0 0 0]'W X B ==

[](1)(1)(1)-1 -1 -1 -1e XW B =-= (1)e 全部分量为负，无解，停止迭代。为线性不可分模式。