线性分类器-模式识别

作业2-线性分类器

第一章感知机算法 (2)

1.1算法原理 (2)

1.2程序代码 (2)

1.3运行结果及解释 (4)

第二章最小二乘算法 (6)

2.1算法原理 (6)

2.2程序代码 (7)

2.3运行结果及解释 (8)

第三章支持矢量机算法 (10)

3.1算法原理 (10)

3.2程序代码 (11)

3.3运行结果及解释 (13)

第四章三种方法比较 (16)

理解和体会 (18)

附录 (18)

主程序代码：stp2.m (18)

生成样本数据代码createSample.m (20)

绘图代码plotData.m： (21)

第一章 感知机算法

1.1 算法原理

对于两类的情况，线性分类器是一个超平面: *T =w x 0 ，其中*w 是法向量，x 是训练集的增广向量（每一个训练样本的最后一维值为1），应该满足如下条件：

*1

*2

T T w w >?∈

x

该算法的代价函数定义为()()T

Y

J δ∈=

∑x

x w w

x 其中Y 是所有的被分错的训练样本

的集合，而针对每一个分错的样本x ，其对应的δx 满足:

12

11

w w δδ=-∈=+∈x x x x ，因

此()J w 一定大于0的。现在的目标就是求解优化函数min ()J w ，为了简单起见，采用梯度下降法，()()Y

J δ∈?=

∑w x

x w x ，迭代步骤为(1)()()t

Y

t t αδ∈+=-∑x

x w w x ，

其中t α是迭代步长，同样为了简单起见，可以取一个较小的常数（太大会导致迭代在最小值附近振荡，太小会导致迭代很慢）

1.2 程序代码

function [w, ws, miss] = perceptron( data, nSample, dim, alpha, nStep) %% 感知机算法 %% 输入 % data 训练数据

% nSample 训练的个数，是一个向量（每个类的个数） % dim 代表特征的个数 % alpha 迭代步长 % nStep 迭代次数 % %% 输出

% w 线性分类结果 w'x = 0; (x 是增广向量) % ws 迭代过程ws 的变化情况 % miss 迭代过程中分错数的变化情况

%% 初始化权重向量 w = rand(dim+1, 1); ws = zeros(dim+1, nStep);

miss = zeros(1, nStep);

data1 = data{1, 1};

data2 = data{1, 2};

%% 感知机算法流程

for i = 1 : nStep

% 做第i次迭代

ws(:, i) = w; % 存储当前w的值

missNum = 0;

% 第一类分错统计

for k = 1 : nSample(1)

% 遍历当前组的第k个实例

x = data1(:, k);

if(w' * x < 0)

w = w + alpha * x; % 修改w，分错了x，（x属于第一类，本应该满足w'x > 0）

missNum = missNum + 1;

end

end

% 第二类分错统计

for k = 1 : nSample(2)

% 遍历当前组的第k个实例

x = data2(:, k);

if(w' * x > 0)

w = w - alpha * x;

missNum = missNum + 1;

end

end

miss(i) = missNum;

end

end

1.3运行结果及解释

对上述函数，生成实例的系数为{[2.0 0.8; -1.5 1.7;], [-1.7 1; 1.3 -0.6;]};

分别代表两类数据的两个特征的正太分布的均值和系数。

α=，迭代201次的结果如下图1-1：

当算法取步长0.001

图1-1 感知机算法结果图

图1-1的左边部分为分错次数变化图，说明了算法效果还不错，分错次数一开始降得很快，但因为两类数据不能完全分开，导致错误次数始终不能降到0，从右图中也可以看出，决策线从初始的绿色逐渐变回红色，不断地调整。

α=时，迭代201次结果如下图1-2所示：

当取算法步长1

图1-2 感知机算法结果图

可以发现，由于步长太大的时候，分错样本数发生振荡，因此，梯度下降法不能把步长取太大。

α=，迭代201次的结果如下图1-1：生成样本系数修改为

当算法取步长0.001

{[2.0 0.8; -1.8 0.9;],[-1.9 1; 1.9 -0.6;]};时候两类可以完全分开，发现算法很快就得到了一条决策线（但是这根线离蓝色类很近，直观上讲并不是最佳的线）

图1-3 感知机算法结果图

下面给出三维的分类结果：

图1-4 感知机算法三维分类结果图

第二章 最小二乘算法

2.1 算法原理

此算法采用了不一样的代价函数，定义为：2

2()T

J =w y -w x ，其中y 的第i 项

i y 代表每一个样本对应的函数值，可以用两种方式定义，

第一种：

12

11

T i i i T

i i i w w ==+?∈==-?∈y w x x y w x x （此种情况，就不考虑两类的权重），

第二种：

21211122

/()/()

T i i i T

i i i N N N w N N N w ==+?∈==-+?∈y w x x y w x x （此种情况，考虑了两类的权重）

第二种方法中，12,N N 分别代表第一类和第二类的样本数量。

分析优化函数min ()J w ，目的是求解T =y x w ，则有：

1()T T T -=?=?=y x w xy xx w w xx xy ，这个叫做求伪逆。

下面思考，这两种方法有什么不同呢？事实上，对于第一种方案，min ()J w 的

效果就是得到三条平行的超平面，1

2

1

1

T T T w w =+∈==-∈w x x w x w x x ，第一个平面是第一类的

线性拟合结果，第二个平面是决策面，第三个平面是第二类的线性拟合结果，这种情况下，决策面刚好位于两个拟合平面的中央。

对于第二种情况，得到的三个超平面变为2121

1122

/()

/()

T T T N N N w N N N w =+∈==-+∈w x x w x w x x ，

故而当12N N > 时， 决策面就更靠近第一类所拟合的超平面这是因为此时：

212112/()/()N N N N N N +<+

2.2程序代码

function [w, ww] = meanSquareError( data, nSample, dim) %% mse算法最小化 ||y - w'x||

%% 输入

% data 训练数据

% nSample 训练的个数，是一个向量（每个类的个数）

% dim 代表特征的个数

%

%% 输出

% w 线性分类结果 w'x = y; (y 值为1，或-1)

% ww 带权重的，（y 值为 n1/n, -n2/n）

%% 最小二乘流程

n1 = nSample(1);

n2 = nSample(2);

n = n1 + n2;

x = zeros(dim+1, n);

y = zeros(n, 1);

x(:, 1 : n1) = data{1, 1};

x(:, n1+1 : n) = data{1, 2};

%% 没有权重的情况

y(1:n1, 1) = 1;

y(n1+1 : n) = -1;

% 最小二乘公式，伪逆

w = inv(x * x') * x * y;

%% 有权重的情况

y(1:n1, 1) = n2 / n;

y(n1+1 : n) = -n1 / n;

% 最小二乘公式，伪逆

ww = inv(x * x') * x * y;

end

2.3运行结果及解释

针对生成系数{[2.0 0.8; -1.8 0.9;], [-1.9 1; 1.9 -0.6;]}; 一类有1000个样本，二类只有300个样本时，运行结果如下：

图2-1 最小二乘算法结果图

可以看到，两种方法生成了同样的拟合直线，但是在不带权重的条件下，决策面在两条拟合线的中央，而带权重的时候，决策面偏向了蓝色区域（第一类）。

当两类的样本数量一样的时候，就可以得到一样的结果。

图2-2 最小二乘算法结果图

图中‘+’型黄色直线和实型黄色直线也重合了，验证了2.1节中理论的正确性。下面给出三维的结果图：

图2-3 最小二乘算法三维结果图

图2-4 最小二乘算法三维结果图

第三章 支持矢量机算法

3.1 算法原理

目的是最大化每一类的所有样本点到决策面的欧几里得距离中的最小距离。可以参考july 的博客https://www.360docs.net/doc/042331838.html,/v_july_v/article/details/7624837。

决策面函数()T g =x w x ，那么样本点x 到决策面的欧几里得距离是

()g x w

，

我们可以通过缩放w ，使得第一类最接近决策面的样本点1x 满足是1()1g =x ，第二类最接近决策面的样本点2x 满足是2()1g =-x 。也就是说优化问题变成了

2

2

1()2

()1

J subject to Y =

?≥T minimize w w w x ， 这是一个凸优化的问题，可以用cvx 工具箱解决。cvx 工具箱的下载地址：https://www.360docs.net/doc/042331838.html,/cvx/download/，当样本不可分的时候，如下图：

图3-1 svm 算法不可分情况图

使用凸优化求解的时候会发生不可解的情况。就需要把优化问题转换为

2

21

1()2()11,2,...,01,2,...,N

i

i i i J C Y i N subject to

i N

ξξξ==+?≥-=≥=∑T

minimize w w w x 其中C 是一个常量，用于

控制决策面的结果（具体效果见3.3节），这也是一个凸优化的问题，可直接使用cvx 工具箱求解。

3.2 程序代码

function [ out, cvx_optval] = stpCvxSvm(data, nSample, dim, type) %% svm 的优化求解，使用cvx 工具箱

% min ||w|| s.t. y .* (w' * x) >= 1 (x 是增广向量) % %% 输入

% data 训练数据

% nSample 训练的个数，是一个向量（每个类的个数） % dim 代表特征的个数

% type 表示svm 类型，如果为1表示训练集完全可分，否则不可分 % %% 输出

% out 线性分类结果 out'x = y; (y 值为1，或-1) % cvx_optval cvx 输出结果

%% 初始化数据 n1 = nSample(1); n2 = nSample(2); n = n1 + n2;

x = zeros(dim+1, n); y = zeros(n, 1);

x(:, 1 : n1) = data{1, 1}; x(:, n1+1 : n) = data{1, 2};

y(1:n1, 1) = 1; y(n1+1 : n) = -1;

%% 核心代码，调用cvx 工具箱，优化该QP 问题 if type == 1 cvx_begin

variable w(dim+1, 1);

minimize( norm(w, 2));

subject to

y .* (x' * w)>= 1;

cvx_end

else

cvx_begin

variables w(dim+1, 1)rho(n);

minimize( norm(w, 2) + 1 * sum(rho) ); subject to

y .* (x' * w) >= 1 - rho;

rho >= 0;

cvx_end

end

out = w;

end

3.3运行结果及解释

对于二维情况，在线性可分的时候，结果如下：

图3-2 svm算法线性可分结果图

可以看到，决策线（黄色线）位于两类的支持向量的中央。

调整生成参数，使得二类线性不可分时，使用cvx工具箱就会不可解：

图3-3 svm算法线性不可分时cvx输出结果图

C=时，运行结果如下：

为此，采用3.1节中的第二种方案，当1

图3-4 svm算法线性不可分时法二结果图

C=时，得到如图3-5：可以看出，程序成功对二类分离了，当调整0.001

图3-5 svm算法线性不可分时法二结果图

对比图3-4，可以看到C的目的是调整支持向量的位置。Svm算法的三维结果图如下：

图3-6 svm算法三维分类结果图

当线性不可分的时候，第二种方案的三维结果图如下：

图3-7 svm算法三维分类结果图

第四章三种方法比较

对于这三种方法来说，个人认为svm算法是比较好的方法。下面给出三种方法的对比图：生成系数为：{[2.0 0.7; -1.8 0.6;], [-1.9 0.6; 1.9 -0.7;]}

图4-1 三种算法对比图

生成系数为：{ [2.0 1.3; -1.8 1.1;], [-1.9 1.2; 1.9 -0.7;]}，三种算法的结果相对比较接近。

图4-2 三种算法对比图

三维情况如下：

图4-3 三维情况下三种算法对比图

理解和体会

分类算法根据不同的优化需求，转化为数学的优化问题之后，再进行求解。目前仅仅对两类进行分类，且相对的线性可分，对于下图的这种完全线性不可分的情况将完全无法使用，分类问题还有更多的知识需要学习和了解。而且svm算法中使用了凸优化的相关知识及cvx 工具箱（当然也可以使用libsvm工具箱），需要更多的掌握这方面的知识。

图5-1线性不可分图

附录

主程序代码：stp2.m

%% 模式识别第二次作业

% 作者：厍斌

% 学号：201511010202

% 时间：2015-10-08 18:44

close all;

clear;

clc;

%% 创建初始数据

nSample = [1000, 1000];

% 三维情况

dim = 3;

coeff = {

[1.1 0.8; -1.5 0.7; 1.4 -1;], ...

[-1.7 1; 1.6 -1.2; -1.5 1.1;]};

%

% 二维情况

% dim = 2;

% coeff = {

% [2.0 1.7; -1.8 1.1;], ...

% [-1.9 1.8; 1.9 -1.7;]};

%

data = createSample(nSample, dim , coeff);

%% 感知机算法

nStep = 201;

[wn1, ws, miss] = perceptron( data, nSample, dim, 1, nStep);

% 感知机算法绘图

subplot(1, 2, 1);

plot(1:nStep, miss);

title('分错次数变化图');

swn1 = wn1;

subplot(1, 2, 2);

if dim == 2

%% 二维绘制情况

nout = 10; % 输出10条线

iterval = floor(nStep / 10);

% 绘制迭代过程权重w的变化情况

for i = 1 : nout

swn1(:, i) = ws(:, (i-1)*iterval+1 );

end

if mod(nStep, 10) ~= 0

swn1(:, nout+1) = ws(:, nStep);

end

end

% 绘图

plotData( data, swn1, dim);

title('感知机线性分类器');

%% 均方差算法s

[wn2, ww] = meanSquareError( data, nSample, dim);

% 均方差方法绘图

figure;

% 绘图

w1 = wn2; w1(dim+1) = w1(dim+1) - 1;

w2 = wn2; w2(dim+1) = w2(dim+1) + 1;

w3 = ww; w3(dim+1) = w3(dim+1) - nSample(2)/(nSample(1) + nSample(2)) ;

w4 = ww; w4(dim+1) = w4(dim+1) + nSample(1)/(nSample(1) + nSample(2)) ;

swn2 = [wn2, ww, w1, w2, w3, w4];

plotData( data, swn2, dim);

title('mse算法');

legend(sprintf('%d个一类', nSample(1)), sprintf('%d个二类', nSample(2)), ...

'类别不带权重的结果', '类别带权重结果'...

, '不带权重一类拟合', '不带权重二类拟合', '带权重一类拟合', '带权重二类拟合');

% legend(sprintf('%d个一类', nSample(1)), sprintf('%d个二类', nSample(2)), '类别不带权重的结果', '类别带权重结果');

%% svm 算法

[ wn3, optval] = stpCvxSvm(data, nSample, dim, 2);

if optval == Inf

fprintf('cvx优化错误\n');

else

figure;

w1 = wn3; w1(dim+1) = w1(dim+1) - 1; % 一类边界

w2 = wn3; w2(dim+1) = w2(dim+1) + 1; % 二类边界

swn3 = [wn3, w1, w2];

plotData( data, swn3, dim);

legend(sprintf('%d个一类', nSample(1)), sprintf('%d个二类', nSample(2)), ...

'svm算法分类结果', '一类支持向量', '二类支持向量');

title('svm算法');

end

%% 三种算法比较

figure;

swn4 = [wn1, wn2, wn3];

plotData( data, swn4, dim);

legend(sprintf('%d个一类', nSample(1)), sprintf('%d个二类', nSample(2)), ...

'感知机算法', 'MSE最小二乘算法', 'svm算法');

title('三种算法对比');

生成样本数据代码createSample.m

function [data] = createSample(nSample, dim, coeff)

%% 创建训练集合的函数

%% 输入

% nSample 训练的个数，是一个向量（每个类的个数）

% dim 代表特征的个数

% coeff 是生成训练结合的系数，是一个cell类型的

%