模式识别补充整理-long

1.模式的概念

存在于时间和空间中可观察的事物，如果我们可以区别它们是否相同或是否相似，都可以称之为模式。 模式所指不是事物本身，而是我们从事物获得的信息。

模式就是要让机器自动识别的事物。

用模式识别的术语来说，所见的具体事物是样本，通过对具体的个别事物进行观测所得到的具有时间和空间分布的信息称为模式，把模式所属的类别或同一类中模式的总体称为模式类(或简称类)。

模式识别的关键：找到有效地度量不同类事物的差异的方法是最关键的。让机器辨别事物的最基本方法是计算，原则上讲是对计算机要分析的事物与作为标准的称之为“模板”的相似程度进行计算。

1.3 模式识别的主要方法

1.基于知识的方法

基本思想：根据人们已知关于研究对象的知识，整理出若干描述特征与类别间关系的准则，建立一定 的计算机推理系统，对未知样本通过这些知识推理决策其类别。（句法模式识别可看作特 殊的基于知识的模式识别方法。）

2.基于数据的方法

基本思想：确定了描述样本所采用的特征之后，收集一定数量的已知样本，用这些样本作训练集来训

练一定的模式识别机器，使之在训练后能够对未知样本进行分类。（主要的方法，基础是统

计模式识别。）

2.4 ROC 曲线

ROC 曲线是反映敏感性和特异性连续变量的综合指标,是用构图法揭示敏感性和特异性的相互关系，它通过将连续变量设定出多个不同的临界值，从而计算出一系列敏感性和特异性，再以敏感性为纵坐标、（1-特异性）为横坐标绘制成曲线，曲线下面积越大，诊断准确性越高。ROC 曲线越靠近左上角,试验的准确性就越高。最靠近左上角的ROC 曲线的点是错误最少的最好阈值，其假阳性和假阴性的总数最少。传统的诊断试验评价方法有一个共同的特点，必须将试验结果分为两类，再进行统计分析。ROC 曲线的评价方法与传统的评价方法不同，无须此限制，而是根据实际情况，允许有中间状态，可以把试验结果划分为多个有序分类，如正常、大致正常、可疑、大致异常和异常五个等级再进行统计分析。因此，ROC 曲线评价方法适用的范围更为广泛。

5.3 线性判别函数的实现

①方程的形式（固定为线性，维数和形式已定）②方程的系数。

如何确定线性判别函数的系数：

1）首先按需要确定一准则函数J ，如Fisher 准则、感知器算法、LMSE 算法。

2）确定准则函数J 达到极值时 及 的具体数值； 3）确定判别函数，完成分类器设计。

线性分类器设计任务是在给定样品集条件下，确定线性判别函数的各项系数，对待测样品进行分类时，能满足相应的准则函数J 为最优。

5.4感知器算法

判别函数可写成一般方程形式 训练过程就是对判断好的样品集求解权矢量W ，即根据已知类别的样品求出权系数，形成判别界线（面），再对未知类别的样品求出其类别。

感知器代价：准则函数以使错分类样本到分界面距离之和最小为原则。

感知器算法的特点

①当样本线性可分情况下，学习率合适时，算法具有收敛性；

②收敛速度较慢；

③当样本线性不可分情况下，算法不收敛，且无法判断样本是否线性可分。

单个感知器神经能够完成线性可分数据的分类问题，是一种最简单的可学习机器，它无法解决非线性问题。

XW *W *0W

5.5 最小平方误差算法(LMSE)

LMSE 方法的基本思想是将求解线性不等式组的问题转化为求解线性方程组：

准则函数求解：1）伪逆法求解 2）梯度下降法求解

LMSE 算法特点

①算法的收敛依靠η(k)的衰减，一般取η(k)=η(1)/k ；

②算法对于线性不可分的训练样本也能够收敛于一个均方误差最小解；

③取b=1时，当样本数趋于无穷多时，算法的解以最小均方误差逼近贝叶斯判别函数；

④当训练样本线性可分的情况下，算法未必收敛于一个分类超平面。

5.6 Fisher 分类

把模式样本在高维的特征向量空间里投影到一条直线上，然后在此一维空间上进行分类。Fisher 法即找到某个最好的方向，使样本投影到这个方向的直线上是最容易分得开的。

最好的投影方向：使投影以后两类尽可能分开，而各类内部又尽可能聚集。

Fisher 准则函数： （投影以后的空间）

6.1 线性支持向量机

最优超平面：

一个超平面，如果它能够将训练样本没有错误地分开，并且两类训练样本中离超平面最近的样本与超平面中间的距离是最大的，则把这个超平面称作最优超平面。

线性分类器的间隔： 到超平面最近的样本与此超平面之间的距离。

支持向量：距离超平面最近的点。具有最大间隔的线性分类器叫做最大间隔线性分类器。其就是一种最简单的支持向量机(SVM) (称为线性支持向量机，即LSVM)

6.2 支持向量机

思路：对特征进行变换，在新特征空间里求线性分类器来实现原空间的非线性分类器。

定义支持向量的等式为： 无论变换的具体形式如何，变换对支持向量机的影响是把两个样本在原特征空间中的内积变成在新空间中的内积。新空间中的内积也是原特征的函数

通过内积实现的非线性支持向量机中的差别是，原来的内积运算 变成了核函数 从计算角度，不论原来的内积运算所生成的变换空间维数有多高，这个空间里的线性支持向量机求解都可以在原空间通过核函数进行，这样就避免了高维空间里的计算，而且计算核函数的复杂度与计算内积并没有实质性的增加。进一步分析很容易发现，只要知道了核函数 ，实际上甚至没有必要知道 的实际形式。

泛函空间的有关理论告诉我们，可以直接设计核函数 ，而不设计变换

， 从而通过设计非线性变换来求解非线性的支持向量机。

6.3 SVM 寻优算法

利用二次型优化技术解决对偶问题时，将原问题分解为若干个子问题，按照某种迭代策略，通过反复求解子问题，最终使得结果收敛于原问题的最优解。

7.5 神经网络模型简介（ 补充） ,Ya =b 0

>b 221222212()max ()b F w S m m J w S S S -==+ 01)))()(((y 1

i =-+?∑

=n i i i b x x ??α ),(j i x x

),K(j i x x ),K(j i x x )(x ? ),K(j i x x )(x ?

(1) 前馈神经网络

特点：节点按照一定的层次排列，信号按照单一的方向从一层节点传递到下一层节点，网络连接是单向的。

(2) 反馈神经网络

特点：输入信号作用于神经元节点上后，各个节点的输出又作为输入反馈到各节点，形成一个动态系统，当系统稳定后读取其输出。

(3) 竞争学习型神经网络－－自组织网络-----（非监督）学习网络

特点：神经元节点通常排列在同一层次上，没有反馈连接，但是神经网络之间有横向的连接或相互影响，在学习时通过神经元之间的竞争实现特定的映射。

8.1.1 最近邻法

最小距离分类器:

它将各类训练样本划分成若干子类，并在每个子类中确定代表点。

未知样本的类别则以其与这些代表点距离最近作决策。该方法的缺点是所选择的代表点并不一定能很好地代表各类，其后果将使错误率增加。

最近邻分类器

最小距离分类器的一种极端的情况，以全部训练样本作为代表点，计算测试样本与所有样本的距离，并以最近邻者的类别作为决策。将与测试样本最近邻样本的类别作为决策的方法称为最近邻法。

k-近邻法:

最近邻法的扩展，其基本规则是，在所有N 个样本中找到与测试样本的k 个最近邻者，其中各类别所占个数表示成ki, i ＝1，…，c 。

定义判别函数为： gi(x)=ki, i=1, 2,…,c 。

决策规则为：

近邻法则在原理上属于模板匹配。它将训练样本集中的每个样本都作为模板，用测试样本与每个模板做比较，看与哪个模板最相似(即为近邻)，就按最近似的模板的类别作为自己的类别。

优点：在模板数量很大时其错误率指标还是相当不错的。这就是说近邻法有存在的必要。

缺点：要存储的模板很多，每个测试样本要对每个模板计算一次相似度，因此在模板数量很大时，距离 计算量也很大的。

3. 参数估计：已知概率密度函数形式，但其中参数未知，概率密度函数的估计问题就是用样本来估计这些参数。 主要方法有：最大似然估计与贝叶斯估计

非参数估计：概率密度函数形式未知，或概率密度函数不符合目前研究的任何分布模型，因此不能仅仅估计几个 参数，而是用样本把概率密度函数数字化的估计出来。

()max (),1,...,j i i

g g i c ==x x

9.1特征提取和特征选择

两类提取有效信息、压缩特征空间的方法：特征提取和特征选择

特征提取：用映射（或变换）的方法把原始特征变换为较少的新特征。

特征选择：从原始特征中挑选出一些最有代表性，分类性能最好的特征。

特征的选择与提取与具体问题有很大关系，目前没有理论能给出对任何问题都有效的特征选择与提取方法。

9.2 特征的评价准则－类别可分离性判据

理想准则：某组特征使分类器错误概率最小（直观想法）

在实际问题中并不一定可行：

1）概率密度函数已知，错误率的计算仍然非常复杂；

2）概率密度未知，分类器的错误率更困难；

3）用样本对错误率进行实验估计，需要采用交叉验证等方法，大大增加计算量

想定义与错误率有一定关系、又便于计算的类别可分性准则J。

类别可分离性判据：衡量不同特征及其组合对分类是否有效的定量准则。

理想准则：某组特征使分类器错误概率最小。

实际的类别可分离性判据应满足的条件：

1）度量特性2）与错误率有单调关系3）当特征独立时有可加性4）单调性：

常见类别可分离性判据：基于距离、概率分布、熵函数

Fisher线性判别准则：样本投影后，类内离散度尽可能小，类间离散度尽可能大

基于距离的准则概念直观，计算方便，但与错误率没有直接联系。

基于概率的可分性判据：用概率密度函数间的距离来度量

基于熵函数的可分性判据：在特征的某个取值下，如果样本属于各类的后验概率越平均，则该特征越不利于分类；