模式识别感知器算法求判别函数

感知器算法求判别函数

一、 实验目的

掌握判别函数的概念和性质，并熟悉判别函数的分类方法，通过实验更深入的了解判别函数及感知器算法用于多类的情况，为以后更好的学习模式识别打下基础。

二、 实验内容

学习判别函数及感知器算法原理，在MA TLAB 平台设计一个基于感知器算法进行训练得到三类分布于二维空间的线性可分模式的样本判别函数的实验，并画出判决面，分析实验结果并做出总结。

三、 实验原理

3.1 判别函数概念

直接用来对模式进行分类的准则函数。若分属于ω1，ω2的两类模式可用一方程d (X ) =0来划分，那么称d (X ) 为判别函数，或称判决函数、决策函数。如，一个二维的两类判别问题，模式分布如图示，这些分属于ω1，ω2两类的模式可用一直线方程 d (X )=0来划分。其中

0)(32211=++=w x w x w d X (1) 21,x x 为坐标变量。

将某一未知模式 X 代入（1）中：

若0)(>X d ，则1ω∈X 类；

若0)(

若0)(=X d ，则21ωω∈∈X X 或或拒绝

维数=3时：判别边界为一平面。

维数>3时：判别边界为一超平面[1]。

3.2 感知器算法

1958年，(美)F.Rosenblatt 提出，适于简单的模式分类问题。感知器算法是对一种分

类学习机模型的称呼，属于有关机器学习的仿生学领域中的问题，由于无法实现非线性分类而下马。但“赏罚概念（ reward-punishment concept ）” 得到广泛应用，感知器算法就是一种赏罚过程[2]。

两类线性可分的模式类 21,ωω，设X W X d T )(=其中，[]T 1

21,,,,+=n n w w w w W ，[]T

211,,,,n x x x =X 应具有性质

（2）

对样本进行规范化处理，即ω2类样本全部乘以(－1)，则有：

（3）

感知器算法通过对已知类别的训练样本集的学习，寻找一个满足上式的权向量。

感知器算法步骤：

（1）选择N 个分属于ω1和 ω2类的模式样本构成训练样本集{ X1 ,…, XN }构成增广向量形式，并进行规范化处理。任取权向量初始值W(1)，开始迭代。迭代次数k=1。

（2）用全部训练样本进行一轮迭代，计算W T (k )X i 的值，并修正权向量。

分两种情况，更新权向量的值：

1. ()，若0≤T i k X W 分类器对第i 个模式做了错误分类，权向量校正为：

()()i c k k X W W +=+1 c ：正的校正增量。 2. 若()，0T >i k X W 分类正确，权向量不变：()()k k W W =+1,统一写为：

（4）

（3）分析分类结果：只要有一个错误分类，回到（2），直至对所有样本正确分类。

感知器算法是一种赏罚过程：

分类正确时，对权向量“赏”——这里用“不罚”，即权向量不变；

分类错误时，对权向量“罚”——对其修改，向正确的方向转换[3]。

3.3 感知器算法的流程及框图

1、确1定样本：输入向量P 、目标向量T 。

2、网络大小：根据向量的维数来选择网络规模。

3、初始化：W 、b 取随机值，范围[-1, +1]。

???∈<∈>=21T ,0,0)(ωωX X X W X 若若d

4、网络输出：根据P、W、b来计算网络的输出Y。

5、学习偏差：E=T-Y。

6、新的网络参数：

W? = W + E×PT、θ? = θ + E （5）反复训练，直到达到目标，或达到最大的训练次数。

图1 感知器算法流程图

四、实验结果与分析

本次实验先产生了三组服从正态分布的样本，通过感知器算法画出了他们的判别函数如图2所示：

图2 画出的判别面

得到的判别函数分别是:

d1=47.2296x1-92.9167x2+20.0000

d2=55.4429x1-80.6872 x2-48.0000

d3=-252.8807x1-224.7119x2 -72.0000

通过分析上述实验结果，虽然由于感知器算法是俩俩比较，并且是线性分类，所以第三条判别函数可能会穿过第三类样本，但可以看出判别函数把三类样本两两分开，达到了实验的目的，也掌握了感知器算法的原理。

五、总结

本文通过研究基于感知器算法进行样本分类，用MATLAB语言设计了程序，结果表明该系统基本实现了要求的功能，但系统也存在第三条判别函数不理想的情况，这也是感知器算法无法实验非线性分类的结果，以后学习其他算法后可以改进。

参考文献

[1]夏东盛, 李永涛, 张晓,等. 模式线性可分时的一种单层感知器算法[C]// 中国计算机学会第一届全国Web信息系统及其应用学术会议. 2004:29-31.

[2]刘建伟, 申芳林, 罗雄麟. 感知器学习算法研究[J]. 计算机工程, 2010, 第7期(7):190-192.

[3]易中凯. 感知器网络学习算法研究与应用[D]. 北京理工大学, 2001.

附录

程序源代码

clear;clc;

mu1=[1 2];

S1=[0.25 0;0 0.7 ];

data1=mvnrnd(mu1,S1,100);

mu2=[4 6];

S2=[0.5 0 ;0 0.45 ];

data2=mvnrnd(mu2,S2,100);

mu3=[-5 5];

S3=[0.7 0;0 0.4 ];

data3=mvnrnd(mu3,S3,100);

data=[data1;data2;data3];%生成三组服从正态分布的样本

one=zeros(100,1);one(:,1)=1;

X1=[data1 one];

X2=[data2 one];

X3=[data3 one];%增广矩阵

W1=[0,0,0];W2=[0,0,0];W3=[0,0,0];%初始权向量

while true

counter=0;

for i=1:100%对第一组训练样本迭代

d11=W1*X1(i,:)'; d12=W2*X1(i,:)'; d13=W3*X1(i,:)';

if d11>d12&&d11>d13

counter=counter+1;

else

W1=W1+2*X1(i,:);W2=W2-2*X1(i,:);W3=W3-2*X1(i,:);

end

end

for i=1:100%对第二组训练样本迭代

d21=W1*X2(i,:)'; d22=W2*X2(i,:)'; d23=W3*X2(i,:)';

if d22>d21&&d22>d23

counter=counter+1;

else

W1=W1-2*X2(i,:);W2=W2+2*X2(i,:);W3=W3-2*X2(i,:);

end

end

for i=1:100%对第三组训练样本迭代

d31=W1*X3(i,:)'; d32=W2*X3(i,:)'; d33=W3*X3(i,:)';

if d33>d31&&d33>d32

counter=counter+1;

else

W1=W1-2*X3(i,:);W2=W2-2*X3(i,:);W3=W3+2*X3(i,:);

end

end

if counter==300

break

end

end

plot(data(:,1),data(:,2),'b.','MarkerSize',6);%绘出三组聚类点hold on;

a1=W1(:,1);b1=W1(:,2);c1=W1(:,3);

a2=W2(:,1);b2=W2(:,2);c2=W2(:,3);

a3=W3(:,1);b3=W3(:,2);c3=W3(:,3);

x=linspace(-10,25,1000);

y1=-(a1-a3)*x/(b1-b3)-(c1-c3)/(b1-b3);%生成函数

y2=-(a2-a1)*x/(b2-b1)-(c2-c1)/(b2-b1);

y3=-(a3-a2)*x/(b3-b2)-(c3-c2)/(b3-b2);

hold on;

plot(x,y1,'c',x,y2,'r',x,y3,'b')%绘出判决面

axis([-10 10 -2 10]);

hold on; grid on;

7 Too late为时太晚

The plane was late and detectives were waiting at the airport all morning. They were expecting a valuable parcel of diamonds from South Africa. A few hours earlier, someone had told the police that thieves would try to st eal the diamonds.

When the plane arrived, some of the detectives were waiting inside the main building while others were waiting on the airfield. Two men too k the parcel off the plane and carried it into the Customs House.

While two detectives were keeping guard at the door, two others opened t he parcel.

To their surprise, the precious parcel was full of stones and sand!

飞机误点了，侦探们在机场等了整整一上午。他们正期待从南非钻石的贵重包裹。几个小时前，有人告诉警察，小偷想偷钻石。

当飞机到达时，一些侦探等候在主楼内，另一部分则等在停机坪。两个男人带着包裹下了飞机，进了海关。

当两个侦探把住门口，另外两个打开包裹。令他们吃惊的是，那珍贵的包裹里面装的全是石头和沙子！

The best and the worst最好的和最差的

Joe Sanders has the most beautiful garden in our town. Nearly e verybody enters for 'The Nicest Garden Competition' each year, but Joe wins every time. Bill Frith's garden is larger than Joe's.

Bill works harder than Joe and grows more flowers and vegetabl es, but Joe's garden is more interesting. He has made neat paths and has built a wooden bridge over a pool.

I like gardens too, but I do not like hard work. Every year I ente r for the garden competition too, and I always win a little prize f

or the worst garden in the town!

乔〃桑德斯拥有我们镇上最漂亮的花园。几乎每个人都参加每年举办的最佳花园竞赛，而每次都是乔获胜。比尔弗里斯的花园比乔。比尔比乔工作努力，种植了更多的花和蔬菜，但乔的花园更有趣。他修筑了一条条整洁的小路，池塘上架了一座小木桥。我也喜欢花园，但是我不喜欢辛苦的工作。每年的花园竞赛我也参加，我总因是镇上最差的花园！