模式识别结课论文

模式识别结课论文

题目:模式识别中基于支持向量机算法分析学院：电气工程与信息工程学院

专业：电气工程

姓名：

学号：

指导教师： 教授

1支持向量机

支持向量机是从线性可分情况下的最优分类面发展而来的，因此我们也从线性可分情况下的支持向量机思想开始讨论支持向量机的理论

1.1线性支持向量机

首先我们分析如下图的分类问题

图1线性可分分类问题

图1中包含两类共十个样本点，我们现在的目的是将其正确分开为两类，显然有许多直线能将两类样本点正确分开，所以我们需要讨论的是哪条分类直线更好一些。而最好的一条分类直线就是使分类间隔最大的直线，这条直线的求解方式如下。

首先我们假定分类直线方程为

0T x w b += （1.1）

我们定义过两类样本点中离分类线最近点平行分类线的直线为支持直线，则支持直线方程为

11

T T

x w b x w b +=+=- （1.2）

则两条支持直线之间的距离为

2

2w

，这样我们求最优分类线的问题就转化

为求使

2

2w

取最大值的w 的问题。而分类问题的最基本要求是能够正确分类，

因此样本点应该在如下区域中

11

T T

x w b x w b +≥+≤- （1.3）

这样我们可以得到如下的最优化问题

()2

1min 2..1,1,2,,10

T i i w s t

y x w b i +≥=L （1.4） 此时引入Lagrange 函数得到

()()()

()10

21

101

10

1

1,,10,1,2,,102,,0

,,0

T

i i i i i i i i i i i i L w b w y x w b i L w b w y x w L w b y b ααααααα===??=-+-≥=???=-=??==?∑∑∑L （1.5）

这样可以得到式（1.5）的对偶问题

()()10

10

1,110

1

1max 2..01,2,,10

T i i j i j i j i i j i i i

i W y y x x s t

i y

αααααα====-≥==∑∑∑L （1.6）

这是一个凸规划问题，我们根据KKT 条件，假设得到该对偶问题的解为

?,1,2,10i i α

=L ，那么 10

1

1

???p

i i i i i i i i w

y x y x αα====∑∑ （1.7） 选取?,1,2,10i i α

=L 中的一个正分量?j α，据此计算 ()10

1??j

i i i j i b y y x x α==-∑ （1.8）

构造分类超平面??0T x w

b +=，由此求得决策函数 ()()()sgn f x g x = （1.9）

其中

()()10

1????T

T i i i i g x x w b y x x b

α==+=+∑ （1.10） 这就是线性可分支持向量机的基本原理。

1.2 非线性支持向量机

上面讨论的是最优和广义线性分类函数，要解决一个特征空间中的最优线性分类问题，我们只需知道这个空间中的内积运算即可。支持向量机的最主要特点还是解决非线性问题的能力，我们假设如下XOR 问题

(a)

(b)

图2非线性分类问题

我们首先观察图2(a)中的分类问题，无法通过线性方法处理，因此我们需要寻找其他方法。假定()12,x x x =，我们定义映射

()()()()()()(

)()

2

2

1231212,,,x x x x x x x φφφφ== （1.11）

这样我们可以得到四个样本点的如下映射

()()(

)(()()()()

0,00,0,01,10,10,1,01,01,0,0→→→→ （1.12） 这样就形成了如图2(b)所示的空间关系，在这个三维空间上，分类问题成为了线性问题。这就是支持向量机处理非线性问题思想的简单表示，将该非线性问题通过函数映射到更高维的空间中，使其变为线性问题，继而在高维空间中进行线性规划。具体算法如下

给定训练集

()(){}(){}11,,,,,1,1,1,,l

n l l n

i i T x y x y R y x R y y i l

=∈?∈∈=-=L L （1.13）

选取适当的从欧氏空间到Hilbert 空间的变换()x x φ=，以及惩罚参数C>0。构造并求解如下的凸二次规划问题

()()()

,11

11min

2..00,1,,l

l

i j i j i j j i j j l

i i

i i y y x x s t

y C i l

α

ααφφαα

α===?-=≤≤=∑∑∑L （1.14）

得解()***1,,T

l ααα=L ，选取()*0,j C α∈，得到

()()()

*

*1l

i i i i j i b y y x x αφφ==-?∑ （1.15）

从而得到决策函数()()()sgn f x g x =，其中()()()()**1

l

i i i i g x y a x x b φφ==?+∑。

1.3 核函数

我们在分析非线性支持向量机思想时，很容易发现变换φ在算法中的作用完全是通过内积()()()

i j x x φφ?和()()()i x x φφ?实现的，换句话说，变换φ总是以内积的形式出现，因此函数()()()(),''K x x x x φφ=?是很重要的，只要选定了该函数，则并不需要考虑变换φ而仍然可以得到决策函数。我们称这个函数为核函数。将核函数引入支持向量机之后，可以将式（1.14）改为如下的最优化问题

(),11

1

1min

,2..00,1,,l

l

i j i j i j j i j j l

i i

i i y y K x x s t

y C i l

α

αααα

α===-=≤≤=∑∑∑L （1.16）

得到的决策函数中()()**1

,l

i i i i g x y a K x x b ==+∑

这就是标准支持向量机（SVM ），我们所讨论的支持向量机就是这个模型。 核函数的选取是支持向量机算法中十分重要的内容，只要满足mercer 条件的函数均可以作为核函数使用，目前使用比较多的核函数有：

线性核函数：K(x ，y) = x*y ；

径向基核函数：K(x ，y) = 2

2

||exp{}x y σ--

;

2 支持向量机分类算法的实现

支持向量机算法是在训练样本的特征空间求取能把两类样本没有错误分开的最大间隔超平面，在数学上表示为一个凸二次规划的问题。也可以说算法求解的主要内容是通过求解二次规划(QP)问题，这个优化问题的求解是支持向量机算法的核心，可以说支持向量机的算法就得到了实现。前面所述支持向量机算法可以表示为在式(2.2)和式(2.3)的约束下求式(2.1)取最小值时的拉格朗日乘子

12(,.....,)T n A =???为训练样本的个数。

()1/2T T Q A A I A DA =-+ (2.1)

0A C ≤≤ (2.2)

0T A y = (2.3) 其中： 12(,,....,)T n A =???为n 元列向量，是要求的拉格朗日乘子；

(,)ij i j i j D y y K x x = 是一个正定矩阵； 12(,,...)T n y y y y =是样本的所属类别，由1或一1组成的列向量；xi 为训练样本。可以看出，求解支持向量机就是求解上述的一个二次规划问题，求解后得到拉格朗日乘子12(,,....,)T n A =??? ，也就求得了最大间隔超平面。求解这个二次规划问题需要深厚的数学功底数值计算方面的技能，在主流程序语言中实现算法又需要专业的计算机程序设计的知识。 在MATLAB 环境下求解这一问题会变得非常简单，这得益于MATLAB 软件强大的优化工具箱，提供了一个求解二次规划的函数，可以直接调用。二次规划问题(quadratic programming)的标准形式为：

''1

min 2

f x x Hx +

sub ．to Ax b ≤ Aeqx=beq lb x ub ≤≤

其中，H 、A 、Aeq 为矩阵；f 、b 、beq 、lb 、ub 、x 为向量，其它形式的二次规划问题都可转化为标准形式。 函数quadprog 格式如下：

[x ，fva1]=quadprog(H ，f ，A ，b ，Aeq ，beq ，lb ，ub ，x0)

其中H 、f 、A 、b 、Aeq 、beq 、lb 、ub 为标准形中的参数；x 为求解得到的最优

值，也就是二次规划的解析解；lb 、ub 分别为x 的下界与上界，满足不等式约

b x ub ≤≤；Aeq 、beq 满足等约束条件Aeq*x=beq ；x0为设置的初值，这个值是

人为赋予x 的值，一般x 为零；fval 为目标函数最小值，可以看出，支持向量机算法是一个标准的二次规划问题； (,)ij i j i j H D y y K x x ==，根据训练样本数据求出；f = -1；支持向量机算法没形式的不等式约束条件，所以A 、b 为空矩阵；

T Aeq A y = ，beq=Y ，实现A Y=0等式约束；Lb=0、ub=C ，实现 0A C ≤≤不等式约束；x0=0，赋予A 的初始值为零。样本数据已知，c 是人工赋于的值。

3．实例说明及实验结果

3.1实验程序代码

%定义核函数及相关参数

nu = 0.2; % nu -> (0,1] 在支持向量数与错分样本数之间进行折衷

ker = struct('type','linear'); % 构造两类训练样本

n = 50;

randn('state',6); x1 = randn(2,n); y1 = ones(1,n); x2 = 5+randn(2,n); y2 = -ones(1,n);

figure;

plot(x1(1,:),x1(2,:),'bx',x2(1,:),x2(2,:),'k.'); axis([-3 8 -3 8]); title('C-SVC') hold on ;

X = [x1,x2]; %训练样本，d*n 的矩阵，n 为样本个数，d 为样本维数 Y = [y1,y2]; % 训练目标，1*n 的矩阵，n 为样本个数，值为+1或-1 % ------------------------------------------------------------% % 训练支持向量机 tic

svm = svmTrain('svc_nu',X,Y,ker,nu); t_train = toc %寻找支持向量? a = svm.a;

epsilon = 1e-8; %如果小于此值则认为是0 i_sv = find(abs(a)>epsilon); %支持向量下标 plot(X(1,i_sv),X(2,i_sv),'ro');

% ------------------------------------------------------------% % 测试输出

[x1,x2] = meshgrid(-2:0.1:7,-2:0.1:7);

[rows,cols] = size(x1);

nt = rows*cols; % 2测试样本数

Xt = [reshape(x1,1,nt);reshape(x2,1,nt)];

tic

Yd = svmSim(svm,Xt); % 测试输出

t_sim = toc

Yd = reshape(Yd,rows,cols);

contour(x1,x2,Yd,[0 0],'m'); %分类面

hold off;

3.2实验结果