模式识别报告

一、模式识别概论

在信息的处理过程中，首先需要解决的就是信息的分类问题。按“物以类聚”的自然规律，将大容量的信息分门别类，各种类别的信息分别归集在一起，然后找出它们内部的规律，以及它们相互之间的规律，然后按规律建立模型，进行生产过程的操作和控制，这样才能达到事半功倍的效果。

对具体的个别事物进行观测所得到的具有时间和空间分布的信息称为模式，而把模式所属的类别或同一类中模式的总体称为模式类。人们为了掌握客观事物，按事物相似的程度组成类别。模式识别的作用和目的就在于对某一具体事物时将其准确地归入某一类别。模式识别系统都由两个过程所组成，即设计和实现。设计是指用一定数量的样本进行分类器的设计。实现是指用所设计的分类器对待识别的样本进行分类决策。模式识别系统主要由4个部分组成:数据获取，预处理，特征提取和选择，分类决策。

分类决策就是在特征空间中用统计方法把被识别对象归为某一类别。基本作法是在样本训练集基础上确定某个判决规则，使按这种判决规则对被识别对象进行分类所造成的错误识别率最小或引起的损失最小。

二、模式识别的方法

模式分类是模式识别的主要内容，即将某个模式分到某个模式类中。在这个过程中首先需要建立样本库，然后根据样本库建立判别函

数，这一过程由机器来实现，成为学习过程。然后对一个未知的新对象分析它的特征，并根据判别函数决定它属于哪一类。模式分类是一种监督学习的方法。可用于模式分类的方法有很多，经典的方法有：

①统计模式识别

统计模式识别方法是受数学中的决策理论启发而产生的一种识

别方法。其基本思想是将特征提取阶段得到的特征向量定义在一个特征空间中，这个空间包含了所有的特征矢量。不同的特征向量，或者说不同类别的对象，都对应于此空间中的一点。在分类阶段，则利用统计决策的原理对特征空间进行划分，从而达到识别不同特征对象的目的。统计识别中应用的统计决策分类理论相对比较成熟，研究的重点是特征提取。这类方法中常用的方法有贝叶斯分类、线性分类、非线性分类和聚类分析。

这类方法的优点是比较成熟，能考虑干扰噪声等影响，识别模式基元能力强。但是该方法对结构复杂的模式抽取特征困难，不能反映模式的结构特征，难以描述结构的性质。难以从整体角度考虑识别问题。

②句法结构模式识别

句法识别是对统计识别方法的补充。统计方法用数值来描述图像的特征，句法方法则是用符号来描述图像特征的。它模仿了语言学中句法的层次结构，采用分层描述的方法，把复杂图像分解为单层或多层的简单子图像，主要突出了识别对象的结构信息。图像识别是从统计方法发展起来的，而句法方法扩大了识别的能力，使其不仅

限于对象物的分类，而且还用于景物的分析与物体结构的识别。这类方法中常用的方法有自动机技术、CYK剖析算法、Early算法和转移图法。

该类方法识别方便，可以从简单的基元开始，由简至繁。能反映模式的结构特征，能描述模式的性质。对图形的畸变抗干扰能力较强。但是该方法当存在干扰和噪声时，抽取特征基元困难，且易失误。

③模糊模式识别

模糊模式识别的理论基础是模糊数学。它根据人辨识事物的思维逻辑，吸取人脑的识别特点，将计算机中常用的二值逻辑转向连续逻辑。模糊识别的结果是用被识别对象隶属于某一类别的程度即隶属度来表示的，一个对象可以在某种程度上属于某一类别，而在另一种程度上属于另一类别。一般常规识别方法则要求一个对象只能属于某一类别。基于模糊集理论的识别方法有:最大隶属原则识别法、择近原则识别法和模糊聚类法。

该方法由于隶属度函数作为样本与模板间相似程度的度量，能反映整体的与主体的特征，从而允许样本有相当程度的干扰与畸变。但是该方法准确合理的隶属度函数往往难以建立，故限制了它的应用。

（1）贝叶斯分类

贝叶斯判别的核心问题是：样本为特征向量X时，它属于哪一类可能性有多大。如能确定属于各个类别的百分比(概率)，分类决策就有了依据。贝叶斯分类有最大后验概率判决准则和最小风险贝叶斯判决准则。

①最大后验概率判决准则

如果P(ω1|x)>P(ω2|x), 则判决x 属于ω1;

如果P(ω1|x)

如果P(ω1|x)=P(ω2|x), 则判决x 属于ω1或属于ω2。

这种决策称为最大后验概率判决准则, 也称为贝叶斯(Bayes)判决准则。假设已知P(ωi )和p(x|ωi )(i=1, 2, …, m), 最大后验概

率判决准则就是把样本x 归入后验概率最大的类别中, 也就是 {1,2,,}

(|)max (|)j i i m P P ωω∈=x x 则x∈ωj 。

由于已知P(ωi )和p(x|ωi ), 因此需要找到P(ωi |x)与它们之间

的关系。假设特征变量为X ，由Bayes 公式 (|)()(|)()

i i i p P P p ωωω=x x x 若{1,2,,}

(|)()max (|)()j j i i i m p P p P ωωωω∈=x x ，则x ∈ωj ; 在最大后验概率判决准则中, x∈ωj 的决策区域R j 为

(|)()|,1,2,,,(|)()j i j i j p P R i m i j p P ωωωω????=>=≠??????x x x (j =1, 2, …, m )

最大后验概率判决准则的一个优良性质就是使平均错误概率达到最小。因此,最大后验概率判决准则又称为最小错误概率判决准则。 ②最小风险贝叶斯判决准则

基于最小风险的贝叶斯决策的基本思路是给每一种决策规定一个损失值(或代价), 将其作为因错误决策而导致的损失的度量。

1.决策a i ： 将样本x 的类别判为第j 类。

2.损失函数λ(a j ,w i )：对真实类别为第i 类的样本采取决策a j 所带来的损失。

3.条件风险

当样本x 的真实类别未知时, 决策a j 的条件风险是对x 为所有可

能的真实类别条件下将样本判为第j 类的代价求平均, 即

1(|)(,)(|)m

j j i i i R P αλαωω==∑x x

最小风险贝叶斯判决准则:

1,2,,(|)min (|)k j j m R R αα==x x

则判决x ∈ωk ，其中1(|)(,)(|)m

j j i i i R P αλαωω==∑x x 。

（2）线性分类

线性判别函数的形式如下:

0()T g w =+x w x

即011220()0T d d g w w x w x w x w =+=++++=x w x 。其中12(,,,)T d w w w =w ，12(,,,)T d x x x =x 。其几何意义为d 维欧几里德空间中的一个超平面。线性分类器设计的关键在于确定权向量w 和阈值权w0。

对于两类分类问题, 线性判决函数的几何意义在于利用一个超平面实现对特征空间Rd 的划分。即

12()0T -=w x x

其中w 指向R1, R1中的点在H 的正侧。R2中的点在H 的负侧。如下图所示：

超平面示意图

g(x)是x 到超平面距离的一种代数距离。该距离有符号,当符号为正时,表明x 对应的点在超平面的正侧, 反之在负侧。

对于多类分类问题，利用线性判别函数设计多类分类器。可以把n 个类问题化简为n-1个问题，其中第i 个问题可以用线性判别函数把属于w i 类的点与不属于w i 的点区分。最麻烦的方法是用c （c-1）

/2个线性判别函数把样本分为c 个类别，每个判别函数只针对两个类进行分类。定义c 个判别函数

0()T

j j j g x w x w =+

如果对于一切j i ≠，存在()()i j g x g x >，则把x 归于w i 类。如果()()i j g x g x =则拒绝决策。

线性判别函数设计的一般步骤：

1.选择样本集z={x1,x2,…,xN}。样本集中的样本来自两类且类别已知。

2.确定一个准则函数J, 要求满足以下两个条件:

①J 是样本集、w 和w 0的函数;

②J 的值反映分类器性能,它的极值对应于“最好”的决策。 3.用最优化技术求解准则函数,得到极值点对应的w*和w*0。

常见的线性判断准则有最小距离判别，欧几里德线性判别，马氏距离线性判别，Fisher 线性判别。

①Fisher 线性判别

Fisher 线性判决的基本思想是寻找一个最好的投影方向, 当特征向量x 从d 维空间映射到这个方向上时, 两类能最好地分开。即向量W 的方向选择应能使两类样本投影的均值之差尽可能大些，而使类内样本的离散程度尽可能小。这就是Fisher 准则函数的基本思路。寻找最好的投影方向, 在数学上就表现为寻找最好的变换方向w *。

Fisher 线性判决函数为

21212

()()F J S S μμ-=+w 分子反映了映射后两类中心的距离平方,该值越大,类间可分性越好；分母反映了两类的类内离散度,其值越小越好；从总体上来讲, J F (w)的值越大越好。在这种可分性评价标准下,使J F (w)达到最大值的w 即为最佳投影方向。

将J F (w)化成w 的显示格式，故Fisher 线性判决函数化为

() T b F T w J =w S w w w S w

求J F (w)的极大值点

*112

()w -=-w S μμ 利用w *

, 将样本x 往该方向上投影, 可得

*()T y =w x 在投影空间内的决策准则为: 若y >y 0, 则x ∈ω1, 否则x ∈ω2。

②欧几里德线性判别

任意特征向量x 和一个代表点之间的欧几里德平方距离可以用下面的公式描述

2'''''()||||()()k k k k k k k k d x x m x m x m xx m x x m m m =-=--=--+

选择2()k d x 使得最小化的类w k 也就是m k 将包含m k 的项放到一起我们得到

2'''()2(0.5)k k k k d x m x m m xx =--+

假设类别数c=2，那么类之间对应的决策边界为2212()()d x d x =即

'2'2'112212120.5||||0.5||||()[0.5()]0m x m m x m m m x m m -=-?--+=

最后得到一个关于x 的线性等式它表示了一个垂直于'12()m m -并且通过均值点的中心点120.5()m m +的超平面。它是一个划分w 1和w 2的线性判别。

③马氏距离线性判别

马氏距离是欧几里德距离尺度的一个推广它非常适合于解决协方差不相等以及特征之间相互联系的情况假设所有的类别具有一个相同的协方差矩阵C 这表明各类特征向量的分布就有一个相似的超椭圆形状，根据欧几里德平方距离得

2'1()()()k k k d x x m C x m -=--

再次根据k m 进行合并，得到

21''1'1()2[()0.5]k k k k d x C m x m C m xC x ---=--+

决策函数为：

',0()k k k g x w x w =+

其中，1k k w C m -=；'1,00.5k k k w m C m -=-

得到一个超平面形式的线性判别函数它通过连接均值点线段的中点和前面一节得到的结果的唯一不同就是如今划分类 w i 和类 w j 的超

平面是和向量1()i j C m m -- 相互正交。

（3）非线性分类

线性分类器的分界面是一个超平面。 当类与类之间不能用任何

一个超平面实现划分时,类间的分界面应是一个超曲面。考虑到曲线可以由多个线段近似表达,曲面可以由多个平面逼近, 因此,也可以用多个超平面近似表达超曲面,分段线性分类器正是基于这种思路而设计的一种分类器。

分段线性距离分类器中最小距离分类器, 其判决函数为

221122

ωω?--?∈??x μx μx 即221122

0ωω?---?∈??x μx μx ，这时类间的决策面为 2212-=-x μx μ

它是两类均值点连线的垂直平分面。

H1

H2w1w2

两类非线性可分时可用多段超平面分开

（4）神经网络

神经网络是由大量的人工神经元广泛互连而成的网络。神经网络信息处理包括学习和执行两个阶段。

① 学习阶段也称为训练阶段：给定训练样本集, 按一定的学习规则调整权系数, 使某种代价函数达到最小, 也就是使权系数收敛到最优值。

② 执行阶段：利用学习阶段得到的连接权系数, 对输入信息进行处理, 并产生相应的输出。

BP 网络是采用误差反向传播算法的多层前馈网络其学习规则采用梯度下降算法。在网络学习过程中,把输出层节点的期望输出(目标输出)与实际输出(计算输出)的均方误差,逐层向输入层反向传播,分配给各连接节点,并计算出各连接节点的参考误差,在此基础上调整各连接权值,使得网络的期望输出与实际输出的均方误差达到最小。

逐个处理的BP 算法训练步骤如下:

①初始化。根据实际问题,设计网络连接结。

②输入一个样本,用现有的权值计算网络中各神经元的实际输出。

()

,0,0,,1??()()n i k i k j i j k

j y f y f w h ===∑

③计算局部误差ε(i )

p ,k (i =1,2,…,l ,l +1),l 为隐含层的个数。

④计算权值变化量ΔW (i )p ,k (i =1,2,…,l ,l +1),并更新相应的权值。

⑤输入另一样本,转步骤②。把训练集中所有样本都加到网络上，直到网络收敛且均方误差小于给定的阈值训练结束。此时，固定权值，网络就构成了一个模式分类器。

三 、应用实例

以车牌识别为例，说明模式识别的应用。车牌的识别的过程如下图所示：

常见的车牌拍摄图如下所示：

英文字母中的I和O一般避而不用，以免和数字中的1和0混淆。车牌大小为440*140mm。汉字字体为黑体，数字和字母字体为国家公安部门开发的特殊字体。

①车牌识别预处理

1.字符分割

2.字符细化

②特征空间向量的选择

由于车牌中字母和数字都有特定的字体，且作为汽车的“身份证”，车牌制作过程严谨，相同字符形态区别不大，他们的差异性和共同点都很明显。基于上节描述的设计准则，综合考虑了提取特征的编程复杂度和特征对不同字符的区分度，本系统分别从字符的形态、结构、笔画特点出发，采用了4个类别共10个特征值作为判断的矢

量依据（特征提取时均以细化后图像为基础）。

字符的重心判断：

1.字符重心位于上方/下方，分别计算字符上下半区的像素数目，如果其差值在一个固定的小范围内(试验得出此差值在0-20像素内为最佳)，则该特征值记为2，上方偏多记为1，下方偏多记为3；

2.字符重心位于左方/右方，分别计算字符左右半区的像素数目，如果其差值在一个固定的小范围内(试验得出此差值在0-20像素内为最佳)，则该特征值记为2，左方偏多记为1，右方偏多记为3。

特定位置的扫描线特征：

3.图像垂直1/3处扫描线穿越的线条数目；

4.图像垂直1/2处扫描线穿越的线条数目；

5.图像垂直2/3处扫描线穿越的线条数目；

6.图像水平1/3处扫描线穿越的线条数目；

7.图像水平2/3处扫描线穿越的线条数目；

笔画特征：

8.字符中“竖”的数目，计算图像在水平方向上的投影，投影点的像素数目累加值超过1/3图像高度且无超过5像素的中断，记为“竖”的数目加1；

9.字符中“横”的数目，计算图像在垂直方向上的投影，投影点的像素数目累加值超过1/3图像宽度且无超过5像素的中断，记为“横”的数目加1；

在实际情况中，由于车牌图像并不总是标准的，当出现倾斜、几何失真等情况时，字符中的横或竖不可能全部投影在一点上，而是在一个小范围内密集分布。经过多次尝试，结合车牌字符本身特点，本文将判定存在竖/横笔画的门限值设为图像高度/宽度的1/3左右。

为了消除可能的图像几何失真带来的影响，计算笔画数目时均不重复计算20像素点以内的笔画，既若该点存在横/竖，则在该投影方向上向下/后移动20像素继续判断。

结构特征：

10.字符中存在闭合回路的数目。利用递归实现区域生长算法，对所有独立连通区域进行标号处理，最后将连通区域个数减一(外围背景区域也作为一个连通区域被标号，需要在特征值中减去)记为该特征值。

③字符识别

采用最小距离准则进行模板匹配的识别。判决的标准采用欧式距离最小准则，计算当前图形的特征向量与34个特征向量(除字母I 和O 以外的所有数字和字母，共34个)的欧式距离，取其中最小的为判决结果。于是待识别样品与模板k 之间的欧式距离k d 为：

10

2

21||k

i i i d x y ==-∑ 其中距离最短者为：

3310

2

201min{||}i i k i d x y ===-∑∑ 在本系统中，使用一个识别模块来识别当前样品，其算法流程图

如下图：

对每一个样品的判决过程为：遍历所有模板，计算其模板与样品间的欧式距离，取最小值作为最终判决结果。如果最短距离小于某个规定的阈值，则结果为这个最小值相对应的类别；否则判定为无法识别。识别结果如图所示 :