感知器算法有代码

基于模式识别的判别函数分类器的

设计与实现

摘要：本文主要介绍了模式识别中判别函数的相关概念和感知器算法的原理及特点，并例举实例介绍感知器算法求解权向量和判别函数的具体方法，最后按照线性函数判决函数的感知算法思想结合数字识别，来进行设计，通过训练数字样本（每个数字样本都大于120），结合个人写字习惯，记录测试结果，最后通过matlab编码来实现感知器的数字识别。

关键字：模式识别判别函数感知器 matlab

1 引言

模式识别就是通过计算机用数学技术方法来研究模式的自动处理和识别。对于人类的识别能力我们是非常熟悉的。因为我们在早些年就已经会开发识别声音、脸、动物、水果或简单不动的东西的技术了。在开发出说话技术之前，一个象球的东西，甚至看上去只是象个球，就已经可以被识别出来了。所以除了记忆，抽象和推广能力是推进模式识别技术的关键技术。最近几年我们已可以处理更复杂的模式，这种模式可能不是直接基于通过感知器观察出来的随着计算机技术的发展，人类对模式识别技术提出了更高的要求。

本文第二节介绍判别函数分类器，具体介绍了判别函数的概念、特点以及如何确定判别函数的正负；第三节介绍了感知器的概念、特点并用感知器算法求出将模式分为两类的权向量解和判别函数，最后用matlab实现感知判别器的设计。

2 判别函数分类器

2.1 判别函数概念

直接用来对模式进行分类的准则函数。若分属于ω1，ω2的两类模式可用一方程d(X) =0来划分，那么称d(X) 为判别函数，或称判决函数、决策函数。如，

一个二维的两类判别问题，模式分布如图示，这些分属于ω1，ω2两类的模式可用一直线方程 d (X )=0来划分。其中0)(32211=++=w x w x w d X 式中： 21,x x 为坐标变量。

图2-1 两类二维模式的分布

将某一未知模式 X 代入： 32211)(w x w x w d ++=X 若0)(>X d ，则1ω∈X 类； 若0)(

若0)(=X d ，则21ωω∈∈X X 或或拒绝 维数=3时：判别边界为一平面。 维数>3时：判别边界为一超平面。

2.2 判别函数正负值的确定

判别界面的正负侧，是在训练判别函数的权值时确定的。如图2-2。

2x 1x

图2-2 判别函数正负的确定

图中 d (X )=0表示的是一种分类的标准，它可以是1、2、3维的，也可以是更高维的。

2.3 确定判别函数的两个因素

1）判决函数d (X )的几何性质。它可以是线性的或非线性的函数，维数在特征提取时已经确定。

已知三维线性分类 —— 判决函数的性质就确定了判决函数的形式：

4332211)(w x w x w x w d

+++=X

非线性判决函数，其示意图如图2-3所示：

图:2-3 非线性判决函数图示

1

x 0

2x 1

x

2x 1x

2）判决函数d (X )的系数，由所给模式样本确定的。

3感知器算法设计与实现

对一种分类学习机模型的称呼，属于有关机器学习的仿生学领域中的问题，由于无法实现非线性分类而下马。但“赏罚概念（ reward-punishment concept ）” 得到广泛应用，感知器算法就是一种赏罚过程。

3.1 感器算法原理及特点

3.1.1 感知器算法原理

两类线性可分的模式类 21,ωω，设

X

W

X d T

)(=其中，

[]T

121,,,,+=n n w w w w W ，[]T

211,,,,n x x x =X 应具有性质

（3-1）

对样本进行规范化处理，即ω2类样本全部乘以(－1)，则有：

2)

-(3 0)(T

>=X W

X d

感知器算法通过对已知类别的训练样本集的学习，寻找一个满足上式的权向量。

感知器算法步骤：

（1）选择N 个分属于ω1和 ω2类的模式样本构成训练样本集{ X1 ,…, XN }构成增广向量形式，并进行规范化处理。任取权向量初始值W(1)，开始迭代。迭代次数k=1。

（2）用全部训练样本进行一轮迭代，计算W T (k )X i 的值，并修正权向量。

分两种情况，更新权向量的值：

1. ()，若0≤T i k X W 分类器对第i 个模式做了错误分类，权向量校正为：

()()i c k k X W W +=+1

??

?∈<∈>=2

1

T

,0,0)(ωωX X X W X 若若d

c ：正的校正增量。 2. 若()，

0T

>i

k X W

分类正确，权向量不变：()()k k W W =+1,统一写为：

()()()()(),01,

T k

T

k k

k k k k C k ?≥?

+=?

+

X (3-3)

（3）分析分类结果：只要有一个错误分类，回到（2），直至对所有样本正确分类。

感知器算法是一种赏罚过程：

分类正确时，对权向量“赏”——这里用“不罚”，即权向量不变； 分类错误时，对权向量“罚”——对其修改，向正确的方向转换。

3.1.2 感知算法特点--收敛性

收敛性：经过算法的有限次迭代运算后，求出了一个使所有样本都能正确分类的W ，则称算法是收敛的。感知器算法是在模式类别线性可分条件下才是收敛的。

3.1.3 感知器算法用于多类情况

采用多类情况3的方法时，应有：

若i ω∈X ，则(),,)(i j d d j i ≠?>X X M j ,,1 =

对于M 类模式应存在M 个判决函数： {}M i d i ,,1, =,,,,, 算法主要内容：

设有M 中模式类别：M ωωω,,,21 设其权向量初值为：

()M

j j ,,1,1 =W 训

练样本为增广向量形式，但不需要规范化处理。第K 次迭代时，一个属于ωi 类的模式样本X 被送入分类器，计算所有判别函数

()()M

j k k d

j

j ,,1,T

==X W (3-4)

分二种情况修改权向量：

① 若()()M j i j k d k d j i ,,2,1;, =≠?>，则权向量不变；

()()M

j k k j j ,,2,1,

1 ==+W W

② 若第L 个权向量使()()k d k d l i ≤，则相应的权向量作调整，即：

()()()()()()?

??

??≠=+-=++=+l

i j k k c k k c k k j j l l i i ,,111W W X W W X

W W

(3-5)

其中c 为正的校正增量，只要模式类在情况3判别函数时是可分的，则经过有限次迭代后算法收敛。

3.2 实例说明

为了说明感知器算法的具体实现，下面举出实例加以说明： 已知两类训练样本

:1ω[]T

10,0=X []T 21,0=

X

:2ω[]T

30

,1=X []T 41

,1=X

用感知器算法求出将模式分为两类的权向量解和判别函数。

解：所有样本写成增广向量形式；进行规范化处理，属于ω2的样本乘以(－1)。

[]T 11,0,0=X []T 21,1,0=X []T

31,0,1--=X []T 41,1,1---=X

任取W (1)=0，取c =1，迭代过程为： 第一轮：

[]0,1000,0,0)1(1T

=??????????=X W []

T

11,0,0)1()2(,

0=+=≤X W W 故

[]1,1101,0,0)2(2T

=????

??????=X W []

T

1,0,0)2()3(,

0==>W W 故

[]-1,1-01-1,0,0)3(3T

=??????????=X W []T

30,0,1-)3()4(,

0=+=≤X W W 故

[]1,1-1-1-0,0,1-)4(4T

=????

??????=X W []

T

0,0,1-)4()5(,

0==>W W 故

有两个W T (k )X i ≤0的情况（错判），进行第二轮迭代。

第二轮：

[]T

11T

1,0,1-)5()6(,00)5(=+=≤=X W W X W 故

[]

T

2T

1,0,1-(6))7(,

01)6(==>=W W X W

故

[]T

33T

0,0,2-)7()8(,

00)7(=+=≤=X W W X W 故

[]

T

4T

0,0,2-)8()9(,

02)8(==>=W W X W

故

第三轮：

[]

T

11T

1,0,2-)9()10(,

00)9(=+=≤=X W W X W

故

(10))11(,01)10(2T

W W X W =>=故

)11()12(,

01)11(3T

W W X W =>=故

)12()13(,

01)12(4T

W W X W =>=故

第四轮：

)13()14(,01)13(1T

W W X W =>=故 (14)

)15(,01)14(2T

W W X W =>=故

)15()16(,

01)15(3T

W W X W

=>=故

)16()17(,

01)16(4T

W W X W =>=故

该轮迭代的分类结果全部正确，故解向量[]T 1,0,2-=W 相应的判别函数为：12)(1+=x d X

图3-1 判决函数示意图

判别界面d (X )=0如图示。当c 、W (1)取其他值时，结果可能不一样，所以感

x 3()1,02X 1x

()0,01X

知器算法的解不是单值的。

3.3 matlab的感知器算法设计与实现

本设计是按照线性函数判决函数的感知算法思想结合数字识别，来进行设计，通过训练数字样本（每个数字样本都大于120），结合个人写字习惯，记录测试结果，最后通过matlab编码来实现感知器的数字识别。

3.3.1 Matlab代码设计

function y=jiangcheng(sample)

clc;

load templet pattern;

w=zeros(26,10);

d=[];

maxpos=0;

maxval=0;

f=1;

n=[];m=[];

%依次输入样本

for j=1:100

for i=1:10

f=1;

pattern(i).feature(26,j)=1;

for k=1:10

m=pattern(i).feature(:,j);

d(k)=w(:,k)*m;

end

%判断是否为最大值，如果是，f=1，否则f=0；

for=1:10

if k=i

if d(i)<=d(k)

I=0;

end

end

end

%修正权值

if f

for k=1:10

if k==i

w(:,k)=w(:,k)+pattern(i).feature(:,j);

else

w(:,k)=w(:,k)-pattern(i).feature(:,j);

end

end

end

end

end

sample(26)=1;

h=[];

%计算各类别的判别函数

for k=1:10

h(k)=w(:k)'*sample';

end

[maxval,maxpos]=max(h);

y=maxpos-1;

3.3.2 matlab实现

首先通过，手写输入0-9个数字的训练样例各130个，如下图所示：

图3-2 数字训练样品

训练样本准备好后，进行数字识别测试,其测验如下：

图3-3 数字测验结果正确样例

图3-4 数字测试不正确样例

3.3.3 设计结果分析

通过多次手写验证测试，有65%通过，其结果如节显示，由于模式识别的算法复杂，步骤较多，实现起来有一定的难度。为了使样品库少一些，将精力着重放在算法的理解及编程实现上，此次设计用的是6x6的设计模板，这个比较小，其对测试结果的正确性起着确定性的作用。故增大设计模板以及提高算法的精确度可以使计算更为准确。

参考文献：

１.《模式识别与智能计算的ＭＡＴＬＡＢ实现》许国根、贾瑛编著，北京航空航天大学出版社；

２.《模式识别与智能计算Matlab技术实现》杨淑莹著，电子工业出版社；３.《Matlab从入门到精通》胡晓东、董晨辉著，人民邮电出版社；

４.《模式识别第二版》边肇祺著，清华大学出版社；

５.《模式识别第四版》西奥多里德斯，电子工业出版社。