R语言与机器学习 支持向量机_光环大数据 Python培训机构
https://www.360docs.net/doc/d33284312.html,
R语言与机器学习支持向量机_光环大数据 Python培训机构
说到支持向量机，必须要提到july大神的《支持向量机通俗导论》，个人感觉再怎么写也不可能写得比他更好的了。这也正如青莲居士见到崔颢的黄鹤楼后也只能叹“此处有景道不得”。不过我还是打算写写SVM的基本想法与libSVM 中R的接口。一、SVM的想法回到我们最开始讨论的ＫＮＮ算法，它占用的内存十分的大，而且需要的运算量也非常大。那么我们有没有可能找到几个最有代表性的点（即保留较少的点）达到一个可比的效果呢？要回答这个问题，我们首先必须思考如何确定点的代表性？我想关于代表性至少满足这样一个条件：无论非代表性点存在多少，存在与否都不会影响我们的决策结果。显然如果仍旧使用KNN算法的话，是不会存在训练集的点不是代表点的情况。那么我们应该选择一个怎样的“距离”满足仅依靠代表点就能得到全体点一致的结果？我们先看下面一个例子：假设我们的训练集分为正例与反例两类，分别用红色的圆圈与蓝色的五角星表示，现在出现了两个未知的案例，也就是图中绿色的方块，我们如何去分类这两个例子呢？
在KNN算法中我们考虑的是未知样例与已知的训练样例的平均距离，未知样例与正例和反例的“距离”谁更近，那么他就是对应的分类。同样是利用距离，我们可以换一个方式去考虑：假设图中的红线是对正例与反例的分类标准（记为w ? x+b=0），那么我们的未知样例与红线的“距离”就成了一个表示分类信度的标准，而w ? y+b（y为未知样例的数据）的符号则可以看成是分类的标识。但是遗憾的是我们不知道这样的一条分类标准（分类线）是什么，那么我们一个比较自然的想法就是从已知的分类数据（训练集）里找到离分割线最近的点，确保他们离分割面尽可能的远。这样我们的分类器会更稳健一些。从上面的例子来看，虚线穿过的样例便是离分割线最近的点，这样的点可能是不的，因为分割线并不确定，下图中黑线穿过的训练样例也满足这个要求：
所以“他们离分割面尽可能的远”这个要求就十分重要了，他告诉我们一个稳健的超平面是红线而不是看上去也能分离数据的黄线。这样就解决了我们一开始提出的如何减少储存量的问题，我们只要存储虚线划过的点即可（因为在w ?x+b=-1左侧，w ? x+b=1右侧的点无论有多少都不会影响决策）。像图中虚线划过的，距离分割直线（比较专业的术语是超平面）最近的点，我们称之为支持向量。这也就是为什么我们这种分类方法叫做支持向量机的原因。至此，我们支持向量机的分类问题转化为了如何寻找较大间隔的优化问题。二、SVM的一些细节支持向量机的实现涉及许多有趣的细节：如何较大化间隔，存在“噪声”的数据集怎么办，对于线性不可分的数据集怎么办等。我这里不打算讨论具体的算法，
https://www.360docs.net/doc/d33284312.html,
是介绍遇到问题时的想法，以便分析数据时合理调用R中的函数。几乎所有的机器学习问题基本都可以写成这样的数学表达式：给定条件：n个独立同分布观测样本(x1 , y1 ), (x2 , y2 ),……,(xn , yn )目标：求一个最优函数f (x,w* )最理想的要求：最小化期望风险R（w）不同的是我们如何选择f,R。对于支持向量机来说，f(x,w*)=w? x+b，最小化风险就是较大化距离|w ?x|/||w||，即arg max{min（label ?（w ?x+b））/||w||} (也就是对最不confidence 的数据具有了较大的 confidence)这里的推导涉及了对偶问题，拉格朗日乘子法与一堆的求导，我们略去不谈，将结果叙述如下：
我们以鸢尾花数据来说说如何利用svm做分类，由于svm是一个2分类的办法，所以我们将鸢尾花数据也分为两类，“setosa”与“versicolor”（将后两类均看做一类），那么数据按照特征：花瓣长度与宽度做分类，有分类：
从上图可以看出我们通过最优化原始问题或者对偶问题就可以得到w,b，利用 sign（w.x+b）就可以判断分类了。我们这里取3, 10,56, 68,107, 120号数据作为测试集，其余的作为训练集，我们可以看到：训练集 setosa virginicasetosa 48 0virginica 0 96测试集 setosa virginicasetosa 2
0virginica 0 4也就是完全完成了分类任务。我们来看看鸢尾花后两类的分类versicolor和virginica的分类，我们将数据的散点图描绘如下：（我们把第一类“setosa“看做”versicolor“）
不难发现这时无论怎么画一条线都无法将数据分开了，那么这么办呢？我们一个自然的办法就是允许分类有一部分的错误，但是错误不能无限的大。我们使用一个松弛项来分类数据。最优化问题转变为：
当我们确定好松弛项C后，就可以得到分类：
我们还是先来看看分类的效果：（C=10）训练集 versicolor virginicaversicolor 93 2virginica 3 46测试集 versicolor virginicaversicolor 4 2virginica 0 0虽然分类中有一些错误，但是大部分还是分开了的，也就是说还是不错的，至少完成了分类这个任务。我们再来看看一个更麻烦的例子：假设数据是这样的：
https://www.360docs.net/doc/d33284312.html,
这时再用直线作为划分依据就十分的蹩脚了，我们这时需要引入核的方法来解决这个问题。在上图中，我们一眼就能看出用一个S型去做分类就可以把数据成功分类了（当然是在允许一点点错误的情况下），但是计算机能识别的只有分类器的分类结果是-1还是1，这时，我们需要将数据做出某种形式的转换，使得原来不可用直线剖分的变得可分，易分。也就是需要找到一个从一个特征空间到另一个特征空间的映射。我们常用的映射有：线性核:u’*v多项式核:(gamma*u’*v+ coef0)^degree高斯核:exp(-gamma*|u-v|^2)Sigmoid核:tanh(gamma*u’*v + coef0)我们这里使用各种常见的核来看看分类效果：
从图中我们可以看到正态核的效果是较好的,用数据说话，我们来看看分类错误率与折10交叉验证的结果（报告平均分类正确率）：
我们可以看到，无论从存储数据量的多少（支持向量个数）还是分类较精确度来看，高斯核都是最优的。所以一般情况，特别是在大样本情况下，优先使用高斯核，至少可以得到一个不太坏的结果(在完全线性可分下，线性函数的支持向量个数还是少一些的)。三、libSVM的R接口有许多介绍SVM的书都有类似的表述“由于理解支持向量机需要掌握一些理论知识，而这对读者来说有一定的难度，建议直接下载LIBSVM使用。”确实，如果不是为了训练一下编程能力，我们没有必要自己用前面提到的做法自己实现一个效率不太高的SVM。R的函数包e1071提供了libSVM的接口，使用e1071的函数SVM（）可以得到libSVM相同的结果，write.svm（）更是可以把R训练得到的结果写为标准的libSVM格式供其他环境下的libSVM使用。在介绍R中函数的用法时，我们先简要介绍一下SVM 的类型，以便我们更好地理解各个参数的设置。
对于线性不可分时，加入松弛项，折衷考虑最小错分样本和较大分类间隔。增加了算法的容错性，允许训练集不完全分类，以防出现过拟合。加入的办法有以下3类，写成最优化问题形式总结如上图：上图中e为所有元素都为1的列向量，Qij=yiyjK(xi; xj), K(xi; xj) =phi(xi) ?phi (xj), phi(.)为核函数，K （. ；.）表示对应元素核函数的内积。现在我们来看看svm（）函数的用法。## S3 method for class ‘formula’svm(formula, data = NULL, …, subset,na.action =na.omit, scale = TRUE)## Default S3 method:svm(x, y = NULL, scale = TRUE, type = NULL,kernel =“radial”, deg ree = 3, gamma = if(is.vector(x)) 1 else 1 / ncol(x),coef0 = 0, cost = 1, nu =
0.5,class.weights = NULL, cachesize = 40,tolerance = 0.001, epsilon = 0.1,shrinking = TRUE, cross = 0, probability =FALSE, fitted = TRUE, seed
https://www.360docs.net/doc/d33284312.html,
式，在第二个表达式中使用的的x，y可以理解为y~x。Data：数据集Subset：
可以指定数据集的一部分作为训练集Na.action：缺失值处理，默认为删除数据条目Scale：将数据标准化，中心化，使其均值为0，方差为1.默认自动执行。Type：SVM的形式，使用可参见上面的SVMformulation，type的选项有：
C-classification，nu-classification，one-classification (for novelty detection)，eps-regression，nu-regression。后面两者为利用SVM做回归时
用到的，这里暂不介绍。默认为C分类器，使用nu分类器会使决策边界更光滑
一些，单一分类适用于所有的训练数据提取自同一个类里，然后SVM建立了一个分界线以分割该类在特征空间中所占区域和其它类在特征空间中所占区域。Kernel：在非线性可分时，我们引入核函数来做非线性可分，R提供的核介绍如下：线性核:u’*v多项式核:(gamma*u’*v + coef0)^degree高斯
核:exp(-gamma*|u-v|^2)Sigmoid核:tanh(gamma*u’*v + coef0)默认为高斯核（RBF），libSVM的作者对于核的选择有如下建议：Ingeneral we suggest you to try the RBF kernel first. A recent result by Keerthiand Lin shows that if RBF is used with model selection, then there is no need to consider the linear kernel. The kernel matrix using sigmoid may not be positive definite and in general it’s accuracy is not better than RBF. (see thepaper by Lin and Lin. Polynomial kernels are ok but if a high degree is used,numerical difficulties tend to happen (thinking about dth power of (<1) goes to 0 and (>1) goes to infinity).顺带说一句，在kernlab包中，可以自定义核函数。Degree:多项式核的次数，默认为3Gamma:除去线性核外，其他的核的参数，默认为1/数据维数Coef0,：多项式核与sigmoid核的参数，默认为0Cost：C分类的惩罚项C的取值Nu：nu分类，单一分类中nu的取
值Cross：做K折交叉验证，计算分类正确性。由于svm的编程确实过于复杂，还涉及到不少最优化的内容，所以在第二部分我的分类都是使用svm函数完成的（偷一下懒），现将部分R代码展示如下：dataSim的函数：[plain] view plaincopyprintsimData=function(radius,width,distance,sample_size){ aa1=runif(sample_size/2) aa2=runif(sample_size/2)
rad=(radius-width/2)+width*aa1 theta=pi*aa2 x=rad*cos(theta)
y=rad*sin(theta) label=1*rep(1,length(x)) x1=rad*cos(-theta)+rad y1=rad*sin(-theta)-distance label1=-1*rep(1,length(x1))
n_row=length(x)+length(x1)
data=matrix(rep(0,3*n_row),nrow=n_row,ncol=3) data[,1]=c(x,x1) data[,2]=c(y,y1) data[,3]=c(label,label1)
data}dataSim=simData(radius=10,width=6,distance=-6,sample_size=3000)c olnames(dataSim)<-c(“x”,”y”,”label”)dataSim<-as.data.frame(data Sim)Sigmoid核的分类预测：[plain] view plaincopyprintm1 <- svm(label ~x+y, data =dataSim,cross=10,type=”C-classification”,kernel=”
sigmoid”)m1summary(m1)pred1<-fitted(m1)table(pred1,dataSim[,3])核函数那一小节作图的各种东西：[plain] view plaincopyprintlinear.svm.fit <- svm(label ~ x + y, data = dataSim, kernel =’linear’)with(dataSim,
https://www.360docs.net/doc/d33284312.html,
-1)))polynomial.svm.fit <- svm(label ~ x + y, data = dataSim, kernel
=’polynomial’)with(dataSim, mean(label ==
ifelse(predict(polynomial.svm.fit) >0, 1, -1)))radial.svm.fit <-
svm(label ~ x + y, data = dataSim, kernel =’radial’)with(dataSim,
mean(label == ifelse(predict(radial.svm.fit) > 0,1,
-1)))sigmoid.svm.fit <- svm(label ~ x + y, data = dataSim, kernel
=’sigmoid’)with(dataSim, mean(label ==
ifelse(predict(sigmoid.svm.fit) > 0,1, -1)))df <- cbind(dataSim,
data.frame(LinearSVM = ifelse(predict(linear.svm.fit) > 0, 1, -1), PolynomialSVM = ifelse(predict(polynomial.svm.fit) > 0, 1, -1), RadialSVM = ifelse(predict(radial.svm.fit) > 0, 1, -1), SigmoidSVM = ifelse(predict(sigmoid.svm.fit) > 0, 1,
-1)))libra ry(“reshape”)predictions <- melt(df, id.vars = c(‘x’,
‘y’))library(‘ggplot2‘)ggplot(predictions, aes(x = x, y = y, color
= factor(value))) + geom_point() + facet_grid(variable ~ .)
最后，我们回到最开始的那个手写数字的案例，我们试着利用支持向量机重做这
个案例。运行代码：[plain] view
plaincopyprintsetwd(“D:/R/data/digits/trainingDigits”)names<-list.f
iles(“D:/R/data/digits/trainingDigits”)data<-paste(“train”,1:1934
,sep=””)for(i in 1:length(names))
assign(data[i],as.vector(as.matrix(read.fwf(names[i],widths=rep(1,32)
))))label<-rep(0:9,c(189,198,195,199,186,187,195,201,180,204))data1<-
get(data[1])for(i in 2:length(names))
data1<-rbind(data1,get(data[i]))m <-
svm(data1,label,cross=10,type=”C-classification”)msummary(m)pred<-f
itted(m)table(pred,label)setwd(“D:/R/data/digits/testDigits”)names<
-list.files(“D:/R/data/digits/testDigits”)data<-paste(“train”,1:1
934,sep=””)for(i in 1:length(names))
assign(data[i],as.vector(as.matrix(read.fwf(names[i],widths=rep(1,32)
))))data2<-get(data[1])for(i in 2:length(names))
data2<-rbind(data2,get(data[i]))pred<-predict(m,data2)labeltest<-rep(
0:9,c(87,97,92,85,114,108,87,96,91,89))table(pred,labeltest)模型摘要：
Call:svm.default(x = data1, y = label, type =”C-classification”, cross
=10)Parameters:SVM-Type: C-classificationSVM-Kernel: radialcost:
1gamma: 0.0009765625Number of Support Vectors: 1139 ( 78 130 101 124 109
122 87 93 135 160 )Number of Classes: 10Levels: 0 1 2 3 4 5 6 7 8 910-fold
cross-validation on training data:Total Accuracy: 96.7425Single
Accuracies:97.40933 98.96373 91.7525899.48187 94.84536 94.30052
97.40933 96.90722 98.96373 97.42268当然，我们还可以通过m$SV查看支持
向量的情况，m$index查看支持向量的标签，m$rho查看分类时的截距b。训练
集分类结果：
https://www.360docs.net/doc/d33284312.html,
我们拿测试数据来看：
分类正确率为：0.9735729，误差率为2.6%左右，确实达到了开篇提出的可比的目的，而需要储存的支持向量个数仅为1139个，比原来的训练数据1934个要少了近50%，也达到了我们要求的节约存储的目的。当然值得一提的是线性分类的效果在实际中也没有那么糟糕，可以牺牲线性核函数的正确率来换取分类速度与存储空间。另外，支持向量的个数与训练集的出错率也没有特别必然的联系，而是与容错率cost有一定的联系
为什么大家选择光环大数据！
大数据培训、人工智能培训、Python培训、大数据培训机构、大数据培训班、数据分析培训、大数据可视化培训，就选光环大数据！光环大数据，聘请大数据领域具有多年经验的讲师，提高教学的整体质量与教学水准。讲师团及时掌握时代的技术，将时新的技能融入教学中，让学生所学知识顺应时代所需。通过深入浅出、通俗易懂的教学方式，指导学生较快的掌握技能知识，帮助莘莘学子实现就业梦想。
光环大数据启动了推进人工智能人才发展的“AI智客计划”。光环大数据专注国内大数据和人工智能培训，将在人工智能和大数据领域深度合作。未来三年，光环大数据将联合国内百所大学，通过“AI智客计划”，共同推动人工智能产业人才生态建设，培养和认证5-10万名AI大数据领域的人才。
参加“AI智客计划”，享2000元助学金！
https://www.360docs.net/doc/d33284312.html,
【报名方式、详情咨询】
光环大数据网站报名：https://www.360docs.net/doc/d33284312.html,
手机报名链接：http:// https://www.360docs.net/doc/d33284312.html, /mobile/
【原创】R语言支持向量机svm实践案例报告附代码数据
支持向量机(support vector machine)第一次见到这个词可能难以理解这个奇怪的名字，这是一个90年代产生在深度学习出来之前逼格满满的算法，被认为是适应性最广的分类器之一。SVM是一个基于严格的数学推导的算法（但本文不推导），本文只大概介绍基本思想和简单原理及实践过程。 最大间隔分类器 在二维平面上，一条直线可以把平面分成两边；在三维空间中，一个平面可以把空间分成两块……那么同理，在p+1的高维空间中，一个p维的超平面也可以将其成本两部分，超平面的定义： 超平面的定义 根据高中空间几何的知识可知，把一个点代入上式，如果等于0说明正好在超平面上；大于0在其上方，小于0在其下方。 那么就可以根据这个特点来映射二分类问题。只要我们可以构建出超平面方程，再把样本点代入，根据结果的正负就可以进行分类。 超平面分隔 实际上，能把不同类别样本分隔开来的超平面并不止一个，有无数个。如图中蓝色和橙色虚线都能把两类样本分开，那么你认为这两个哪一个分隔效果更好？ 如果用蓝色分隔超平面，那上面的白球就被分成橙色，下面的白球则被分成蓝色；如果用橙色分隔超平面，则结果完全相反。可是根据KNN的思想，很容易看出上面的白球应该被分成蓝色，下面的白球应该被分成橙色。
可以观察到，橙色超平面总体上距离两边的球都比蓝色的远，这就是涉及到最大间隔超平面的概念。对于任一个超平面（以实线表示），把它往两边平移，直至与两边的样本相交（以虚线表示，相交点就叫支持向量，现在知道支持向量机这个名字的由来了吧~），如果两边的虚线的距离最大，这个超平面就是最大间隔超平面。因为最大间隔超平面总体上把不同类别的样本分得最大，所以泛化性能最好。 最大间隔超平面 那么SVM算法的优化实际上就是对超平面间距的最大值优化，以数字公式来表达是这样的： SVM的约束条件及优化目标 其中M是超平面间隔，也是优化目标。β是归一化参数，y取1或-1表示二分类。 优化过程涉及到复杂的数学推导就不细说了。 线性不可分情况 上面的例子中，不同样本之间本来就分隔得挺好，所以很容易被线性超平面分隔开来。但现实中的数据往往不太可能自动地分离得这么好，甚至存在着线性不可分，比如请用一条直线把下面两种类别的点完全区分开来：
R语言-支持向量机
支持向量机 一、SVM的想法 回到我们最开始讨论的KNN算法，它占用的内存十分的大，而且需要的运算量也非常大。那么我们有没有可能找到几个最有代表性的点(即保留较少的点)达到一个可比的效果呢? 我们先看下面一个例子：假设我们的训练集分为正例与反例两类，分别用红色的圆圈与蓝色的五角星表示，现在出现了两个未知的案例，也就是图中绿色的方块，我们如何去分类这两个例子呢? 在KNN算法中我们考虑的是未知样例与已知的训练样例的平均距离，未知样例与正例和反例的“距离”谁更近，那么他就是对应的分类。 同样是利用距离，我们可以换一个方式去考虑：假设图中的红线是对正例与反例的分类标准(记为w x+b=0)，那么我们的未知样例与红线的“距离”就成了一个表示分类信度的标准，而w y+b(y为未知样例的数据)的符号则可以看成是分类的标识。 但是遗憾的是我们不知道这样的一条分类标准(分类线)是什么，那么我们一个比较自然的想法就是从已知的分类数据(训练集)里找到离分割线最近的点，确保他们离分割面尽可能的远。这样我们的分类器会更稳健一些。 从上面的例子来看，虚线穿过的样例便是离分割线最近的点，这样的点可能是不唯一的，因为分割线并不确定，下图中黑线穿过的训练样例也满足这个要求：
所以“他们离分割面尽可能的远”这个要求就十分重要了，他告诉我们一个稳健的超平面是红线而不是看上去也能分离数据的黄线。 这样就解决了我们一开始提出的如何减少储存量的问题，我们只要存储虚线划过的点即可(因为在w x+b=-1左侧，w x+b=1右侧的点无论有多少都不会影响决策)。像图中虚线划过的，距离分割直线(比较专业的术语是超平面)最近的点，我们称之为支持向量。这也就是为什么我们这种分类方法叫做支持向量机的原因。 至此，我们支持向量机的分类问题转化为了如何寻找最大间隔的优化问题。 二、SVM的一些细节 支持向量机的实现涉及许多有趣的细节：如何最大化间隔，存在“噪声”的数据集怎么办，对于线性不可分的数据集怎么办等。 我这里不打算讨论具体的算法，因为这些东西完全可以参阅july大神的《支持向量机通俗导论》，我们这里只是介绍遇到问题时的想法，以便分析数据时合理调用R中的函数。 几乎所有的机器学习问题基本都可以写成这样的数学表达式： 给定条件：n个独立同分布观测样本(x1 , y1 ), (x2 , y2 ),……,(xn , yn )
SVM支持向量机白话入门
（一）SVM的八股简介 支持向量机(Support Vector Machine)是Cortes和Vapnik于1995年首先提出的，它在解决小样本、非线性及高维模式识别中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中[10]。 支持向量机方法是建立在统计学习理论的VC 维理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性（即对特定训练样本的学习精度，Accuracy）和学习能力（即无错误地识别任意样本的能力）之间寻求最佳折衷，以期获得最好的推广能力[14]（或称泛化能力）。 以上是经常被有关SVM 的学术文献引用的介绍，有点八股，我来逐一分解并解释一下。 Vapnik是统计机器学习的大牛，这想必都不用说，他出版的《Statistical Learning Theory》是一本完整阐述统计机器学习思想的名著。在该书中详细的论证了统计机器学习之所以区别于传统机器学习的本质，就在于统计机器学习能够精确的给出学习效果，能够解答需要的样本数等等一系列问题。与统计机器学习的精密思维相比，传统的机器学习基本上属于摸着石头过河，用传统的机器学习方法构造分类系统完全成了一种技巧，一个人做的结果可能很好，另一个人差不多的方法做出来却很差，缺乏指导和原则。 所谓VC维是对函数类的一种度量，可以简单的理解为问题的复杂程度，VC 维越高，一个问题就越复杂。正是因为SVM关注的是VC维，后面我们可以看到，SVM解决问题的时候，和样本的维数是无关的（甚至样本是上万维的都可以，这使得SVM很适合用来解决文本分类的问题，当然，有这样的能力也因为引入了核函数）。 结构风险最小听上去文绉绉，其实说的也无非是下面这回事。
支持向量机原理及应用(DOC)
支持向量机简介 摘要：支持向量机方法是建立在统计学习理论的VC 维理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性（即对特定训练样本的学习精度）和学习能力（即无错误地识别任意样本的能力）之间寻求最佳折衷，以求获得最好的推广能力 。我们通常希望分类的过程是一个机器学习的过程。这些数据点是n 维实空间中的点。我们希望能够把这些点通过一个n-1维的超平面分开。通常这个被称为线性分类器。有很多分类器都符合这个要求。但是我们还希望找到分类最佳的平面，即使得属于两个不同类的数据点间隔最大的那个面，该面亦称为最大间隔超平面。如果我们能够找到这个面，那么这个分类器就称为最大间隔分类器。 关键字：VC 理论 结构风险最小原则 学习能力 1、SVM 的产生与发展 自1995年Vapnik 在统计学习理论的基础上提出SVM 作为模式识别的新方法之后，SVM 一直倍受关注。同年，Vapnik 和Cortes 提出软间隔(soft margin)SVM ，通过引进松弛变量i ξ度量数据i x 的误分类(分类出现错误时i ξ大于0)，同时在目标函数中增加一个分量用来惩罚非零松弛变量(即代价函数)，SVM 的寻优过程即是大的分隔间距和小的误差补偿之间的平衡过程；1996年，Vapnik 等人又提出支持向量回归 (Support Vector Regression ，SVR)的方法用于解决拟合问题。SVR 同SVM 的出发点都是寻找最优超平面，但SVR 的目的不是找到两种数据的分割平面，而是找到能准确预测数据分布的平面，两者最终都转换为最优化问题的求解；1998年，Weston 等人根据SVM 原理提出了用于解
R语言与机器学习(4)支持向量机
算法四：支持向量机 说到支持向量机，必须要提到july大神的《支持向量机通俗导论》，个人感觉再怎么写也不可能写得比他更好的了。这也正如青莲居士见到崔颢的黄鹤楼后也只能叹“此处有景道不得”。不过我还是打算写写SVM的基本想法与libSVM中R的接口。 一、SVM的想法 回到我们最开始讨论的KNN算法，它占用的内存十分的大，而且需要的运算量也非常大。那么我们有没有可能找到几个最有代表性的点(即保留较少的点)达到一个可比的效果呢? 要回答这个问题，我们首先必须思考如何确定点的代表性?我想关于代表性至少满足这样一个条件：无论非代表性点存在多少，存在与否都不会影响我们的决策结果。显然如果仍旧使用KNN算法的话，是不会存在训练集的点不是代表点的情况。那么我们应该选择一个怎样的“距离”满足仅依靠代表点就能得到全体点一致的结果? 我们先看下面一个例子：假设我们的训练集分为正例与反例两类，分别用红色的圆圈与蓝色的五角星表示，现在出现了两个未知的案例，也就是图中绿色的方块，我们如何去分类这两个例子呢?
在KNN算法中我们考虑的是未知样例与已知的训练样例的平均距离，未知样例与正例和反例的“距离”谁更近，那么他就是对应的分类。 同样是利用距离，我们可以换一个方式去考虑：假设图中的红线是对正例与反例的分类标准(记为w x+b=0)，那么我们的未知样例与红线的“距离”就成了一个表示分类信度的标准，而w y+b(y为未知样例的数据)的符号则可以看成是分类的标识。 但是遗憾的是我们不知道这样的一条分类标准(分类线)是什么，那么我们一个比较自然的想法就是从已知的分类数据(训练集)里找到离分割线最近的点，确保他们离分割面尽可能的远。这样我们的分类器会更稳健一些。 从上面的例子来看，虚线穿过的样例便是离分割线最近的点，这样的点可能是不唯一的，因为分割线并不确定，下图中黑线穿过的训练样例也满足这个要求：
【原创】r语言SVM-in-R代码
> ## SVM in R > ## classify cats into male / female by heart and body weight > library(e1071) > data(cats, package="MASS") > inputData <- data.frame(cats[, c (2,3)], + response = as.factor(cats$Sex)) > ## linear kernel > svmfit <- svm(response ~ ., data = inputData, kernel = "linear", + cost = 10, scale = FALSE) > plot(svmfit, inputData) > compareTable <- table (inputData$response, predict(svmfit)) > mean(inputData$response != predict(svmfit)) [1] 0.1944444 > compareTable F M F 33 14 M 14 83 > ## radial kernel > svmfit <- svm(response ~ ., data = inputData, kernel = "radial", + cost = 10, scale = FALSE) > plot(svmfit, inputData) > compareTable <- table (inputData$response, predict(svmfit)) > mean(inputData$response != predict(svmfit)) [1] 0.1875 > ## radial kernel > svmfit <- svm(response ~ ., data = inputData, kernel = "radial", + cost = 10, scale = FALSE) > plot(svmfit, inputData) > compareTable <- table (inputData$response, predict(svmfit)) > mean(inputData$response != predict(svmfit)) [1] 0.1875 > > ## Prepare training and test data > set.seed(100) > rowIndices <- 1 : nrow(inputData) > sampleSize <- 0.8 * length(rowIndices) > trainingRows <- sample (rowIndices, sampleSize) > trainingData <- inputData[trainingRows, ] > testData <- inputData[-trainingRows, ] > ## tune to select best gamma and cost > tuned <- tune.svm(response ~., data = trainingData, + gamma = 10^(-6:1), cost = 10^(-1:2)) > summary(tuned) Parameter tuning of 'svm': - sampling method: 10-fold cross validation - best parameters: gamma cost 0.01 100 - best performance: 0.2439394 - Detailed performance results: gamma cost error dispersion 1 0.000001 0.1 0.3325758 0.16269565 2 0.000010 0.1 0.3325758 0.16269565 3 0.000100 0.1 0.3325758 0.16269565 4 0.001000 0.1 0.3325758 0.16269565 5 0.010000 0.1 0.3325758 0.16269565 6 0.100000 0.1 0.3325758 0.16269565
R语言学习
#层次聚类 Data=iris[,-5]; Means=sapply(data,mean);SD=sapply(data,sd); dataScale=scale(data,center=means,scale=SD); Dist=dist(dataScale,method=”euclidean”); heatmap(as.matrix(Dist),labRow=FALSE,labCol=FALSE); clusteModel=hclust(Dist,method=”ward”); result=cutree(clusteModel,k=3); table(iris[,5],result); plot(clusteModel); library(fastcluster); # kuaisu cengcijulei clusteModel=hclust(Dist,method=”ward”); library(proxy); res=dist(data,method=”cosine”); x=c(0,0,1,1,1,1); y=c(1,0,1,1,0,1); dist(rbind(x,y),method=”Jaccard”); x=c(0,0,1.2,1,0.5,1,NA); y=c(1,0,2.3,1,0.9,1,1); d=abs(x-y); Dist=sum(d[!is.na(d)])/6; # k-means聚类 clusteModel=kmeans(dataScale,centers=3,nstart=10); class(clusteModel); library(proxy); library(cluster); clustModel=pam(dataScale,k=3,metric=”Mahalanobis”); clustModel$medoids table(iris$Species,clustModel$clustering); par(mfcol=c(1,2)); plot(clustModel,which.plots=2,main=””); Plot(clustModel,which.plots=1,main=””); library(devtools); install_github(“lijian13/rinds”);
支持向量机
第四章 支持向量机（SVM ——Support Vector Machine ） §4-1. 线性分类问题的支持向量机 一、 分类问题与机器学习 设有两类模式1C 和2C ，() () (){}N 221y ,y ,y ,N X X X T 1 =是从模式1 C 和2C 中抽样得到的训练集，其中M n R X ∈、{}1- ,1∈n y 。若n X 属于1C 类，则对应有1=n y ；若n X 属于2C 类，则对应有1-=n y ；。寻求M R 上的一个实函数()X g ，对于任给的未知模式，有 ()()1 20, 0, g C g C >∈?? <∈? X X X X 或者 (){}(){}12s g n 1, s g n 1, g C g C ?=∈?? =-∈??X X X X (4-1) 式中()sgn 为符号函数，()X g 称为决策（分类）函数。 前两章学过的前向神经元网络和径向基网络，都可以用来解决此类问题。这一章，我们称解决上述问题的方法为“分类机”。当()X g 为线性函数时，称为线性分类机；当()X g 为非线性函数时，称为非线性分类机。 举例：患有心脏病与年龄和胆固醇水平密切相关。对大量病人进行调查，得到表4-1所示数据，图4-1是数据的分布示意图。 根据数据{}21x x =X 分布以及所对 应的y 值，我们可以目测获得一条分类线()X g 。()X g 不仅可以将两类模式分开，并且具有最宽的“边带（Margin ）” 。以后，对任意一个被观察者进行检验，得到 图4-1.样本分布
其数据{}21x x =X 后，若X 处于()X g 上边，即可判定为心脏病疑似；处于() X g 下边，则认为没有患有心脏病。 以上仅用年龄和胆固醇水平来判定是否患有心脏病显然是极其不可靠的。也就是说仅凭1x 和2x 两个参数不足以判别一个人是否患有心脏病，还必须考虑更多的参数，{}N x x x 21 =X 的维数很高。 这种情况下已无法人为直观地确定判别函数()X g 了。于是，我们需要一种根据给定的大量样本确定判别函数的方法，即需要一个能够由经验数据学会对某些模式进行分类的“学习机”。 二、 两类可分问题的线性分类机 实际上，以前讲过的“采用硬限幅函数的单个神经元”就是一个线性分类机。这里，我们从最大分类间隔角度，导出另外一种线性分类机。 仍以图4-1为例，对于这个二维问题，线性分类机的作用就是要在1C 和2C 之间寻找一条分类线l ，其表达式为()X g 。我们已经熟知，在高维情况下()X g 是一个超平面。 对于线性可分的两类模式1C 和2C 而言，能够准确将其分开的直线不是唯一的。假设有直线l 可以无误地将1C 和2C 两类模式分开，另有直线1l 和直线2l 与l 之间的间距为k ， 1l 与2l 之间形成一个没有学习样本的带状区域，不妨称该带状区域为“边带（Margin ）”，而l 是边带的中分线。显然，最合理的分类线应该具有最宽的边带。 假设，已知分类线l 的法线矢量为0W ，则分类线的表达式为： ()000g b =?+=X W X (4-2) 式中?表示矢量点积。显然， ()X g 到原点距离为 b W 。 对于给定的所有N 个学习样本(){}N n n n y 1 ,=X ，()X g 应满足：
r语言基于SVM模型的文本分类研究 附数据代码
基于SVM模型的文本分类研究 1 Perceptron与SVM概念介绍 1.1 感知机(Perceptron) 感知机（perceptron）1957年由Rosenblatt提出，是神经网络与支持向量机的基础? 感知机，是二类分类的线性分类模型，其输入为样本的特征向量，输出为样本的类别出为样本的类别，取+1和‐1二值，即通过某样本的特征即通过某样本的特征，就可以准确判断该样本属于哪一类。感知机能够解决的问题首先要求特征空间是线性可分的，再者是二类分类，即将样本分为{+1, ‐1}两类。由输入空间到输出空间的符号函数: 其中，w和b为感知机参数，w为权值（weight），b为偏置（bias）。 在感知机的定义中，线性方程对应于问题空间中的1个超平面（二维空间中为直线）S，位于这个超平面两侧的样本分别被归为两类，例如下图，红色作为一类（正类），蓝色作为另一类（负类），它们的特征很简单，就是它们的坐标。 作为有监督学习的一种方法，感知机学习由训练集，求得感知机模型，即求得模型参数w，b，这里x和y分别是特征向量和类别（也称为目标）。基于此，感知机模型可以对新的输入样本进行分类。 1.2支持向量机(SVM) 感知机学习算法会因采用的初值不同而得到不同的超平面。而SVM试图寻找一个最佳的超平面来划分数据，怎么算最佳呢？我们自然会想到用最中间的超平面就是最好的。如下图 :
显然在SVM中我们不能在使用函数距离γ^(i)来作为损失函数了，当我们试图使上图虚线之间的”gap”，最大自然要用几何距离。 我们期望目标函数是一个凸函数，这样优化起来就比较方便了。所以上面的优化问题可以化成: maxγ,w,bs.t.1||w||?minγ,w,b12||w||2y(i)(wTx(i)+b)?1,i=1,...,m 这样SVM模型就转化为了一个二次规划问题（Quadratic Programming）。此时我们可以用R的一些工具来处理这个优化问题了。 1.3感知机与支持向量机的区别： 感知机是支持向量机的基础，由感知机误分类最小策略可以得到分离超平面（无穷多个），支持向量机利用间隔最大化求得最优分离超平面（1个）。间隔最大化就是在分类正确的前提下提高确信度。比如，A离超平面远，若预测点就是正类，就比较确信是正确的。点C离超平面近，就不那么确信正确。 同时SVM具有核函数，线性支持向量机解决线性分类问题。对于非线性分类问题，可以采用非线性支持向量机解决。具体为： 采取一个非线性变换，将非线性问题转变为线性问题。再通过线性支持向量机解决，这就是核技巧。
【原创】R语言svm决策树模型分析空气质量附代码数据
data=read.csv("air.csv",skip =1) head(data) ## label X1 X2 X3 X4 X5 X6 X7 Y1 Y2 X8 X9 X10 ## 1 北京 14 50 102 81 46965 3.6 203 186 124 23014.60 16410.54 2170. 50 ## 2 天津 29 42 117 70 94867 3.1 142 216 104 16538.19 11946.88 1547. 00 ## 3 石家庄 47 51 147 89 88167 4.3 148 180 123 5440.60 15848.00 1028. 84 ## 4 太原 71 38 114 62 79456 3.1 131 230 94 2735.34 6999.00 367. 39 ## 5 呼和浩特 34 39 103 43 55970 3.2 145 276 87 3090.52 17224.00 238. 58 ## 6 沈阳 66 48 115 72 98871 2.2 155 207 107 7280.49 12948.00 730. 41 ## X11 X12 X13 X14 X15 ## 1 561.90 342.40 0.26 4542.64 0.20 ## 2 273.62 229.03 0.18 7704.22 0.47 ## 3 219.53 138.52 0.21 2452.40 0.45 ## 4 113.30 161.88 0.31 1020.18 0.37 ## 5 85.39 49.58 0.36 867.08 0.28 ## 6 181.70 140.33 0.25 3474.18 0.48 # 分析分为两个部分 # 第一部分： ###################################################################### ##### 数据导入与处理 ###################################################################### data$Y1<-ifelse(data$Y1>365*0.8,'空气好','空气差') ## 构建因变量 data$Y1<-as.factor(data$Y1) ## 将因变量格式转为因子型 ###################################################################### ##### 构建训练集、测试集 ##### 分层抽样，70%作为训练集，30%作为测试集 ###################################################################### # library(sampling) trainindex=sample(1:nrow(data),nrow(data)*0.7) train<-data[trainindex, ] ## 去除price变量的训练集 test<-data[-trainindex, ] ## 去除price变量的测试集
R中SVM的实现
一、R中svm介绍 R的函数包e1071提供了libsvm的接口。使用e1071包中svm函数可以得到与libsvm相同的结果。write.svm()更是可以把R训练得到的结果写为标准的Libsvm格式，以供其他环境下libsvm的使用。下面我们来看看svm()函数的用法。有两种格式都可以。 svm(formula,data=NULL,…,subset,na.action=na.omit,sacle=TRUE) 或者 svm(x, y = NULL, scale = TRUE, type = NULL, kernel = "radial", degree = 3, gamma = if (is.vector(x)) 1 else 1 / ncol(x), coef0 = 0, cost = 1, nu = 0.5, class.weights = NULL, cachesize = 40, tolerance = 0.001, epsilon = 0.1, shrinking = TRUE, cross = 0, probability = FALSE, fitted = TRUE, ..., subset, na.action = na.omit) 主要参数说明如下： formula:分类模型形式，在第二个表达式中可以理解为y~x 即y相当于标签，x相当于特征（变量） data:数据框。 subset:可以指定数据集的一部分作为训练数据。 na.cation：缺失值处理，默认为删除缺失数据。 scale:将数据标准化，中心化，使其均值为0，方差为1，将自动执行。
type:s vm的形式。为：C-classification ，nu-classification， one-classification (for novelty detection) ，eps-regression， nu-regression 五种形式。后面两者为做回归时用到。默认为C分类器。kernel:在非线性可分时，我们引入核函数来做。R中提供的核函数如下 线性核: u'*v 多项式核: (gamma*u'*v + coef0)^degree 高斯核: exp(-gamma*|u-v|^2) sigmoid核: tanh(gamma*u'*v + coef0) 默认为高斯核。顺带说一下，在kernel包中可以自定义核函数。degree:多项式核的次数，默认为3 gamma:除去线性核外，其他核的参数，默认为1/数据维数 coef0:多项式核与sigmoid核的参数，默认为0. cost:C分类中惩罚项c的取值 nu:Nu分类，单一分类中nu的值 cross:做k折交叉验证，计算分类正确性。
支持向量机(SVM)原理及应用概述
支持向量机（SVM ）原理及应用 一、SVM 的产生与发展 自1995年Vapnik (瓦普尼克)在统计学习理论的基础上提出SVM 作为模式识别的新方法之后，SVM 一直倍受关注。同年，Vapnik 和Cortes 提出软间隔(soft margin)SVM ，通过引进松弛变量i ξ度量数据i x 的误分类(分类出现错误时i ξ大于0)，同时在目标函数中增加一个分量用来惩罚非零松弛变量(即代价函数)，SVM 的寻优过程即是大的分隔间距和小的误差补偿之间的平衡过程；1996年，Vapnik 等人又提出支持向量回归 (Support Vector Regression ，SVR)的方法用于解决拟合问题。SVR 同SVM 的出发点都是寻找最优超平面(注：一维空间为点；二维空间为线；三维空间为面；高维空间为超平面。)，但SVR 的目的不是找到两种数据的分割平面，而是找到能准确预测数据分布的平面，两者最终都转换为最优化问题的求解；1998年，Weston 等人根据SVM 原理提出了用于解决多类分类的SVM 方法(Multi-Class Support Vector Machines ，Multi-SVM)，通过将多类分类转化成二类分类，将SVM 应用于多分类问题的判断：此外，在SVM 算法的基本框架下，研究者针对不同的方面提出了很多相关的改进算法。例如，Suykens 提出的最小二乘支持向量机 (Least Square Support Vector Machine ，LS —SVM)算法，Joachims 等人提出的SVM-1ight ，张学工提出的中心支持向量机 (Central Support Vector Machine ，CSVM)，Scholkoph 和Smola 基于二次规划提出的v-SVM 等。此后，台湾大学林智仁(Lin Chih-Jen)教授等对SVM 的典型应用进行总结，并设计开发出较为完善的SVM 工具包，也就是LIBSVM(A Library for Support Vector Machines)。LIBSVM 是一个通用的SVM 软件包，可以解决分类、回归以及分布估计等问题。 二、支持向量机原理 SVM 方法是20世纪90年代初Vapnik 等人根据统计学习理论提出的一种新的机器学习方法，它以结构风险最小化原则为理论基础，通过适当地选择函数子集及该子集中的判别函数，使学习机器的实际风险达到最小，保证了通过有限训练样本得到的小误差分类器，对独立测试集的测试误差仍然较小。 支持向量机的基本思想：首先，在线性可分情况下，在原空间寻找两类样本的最优分类超平面。在线性不可分的情况下，加入了松弛变量进行分析，通过使用非线性映射将低维输
支持向量机理论及工程应用实例
《支持向量机理论及工程应用实例》 支持向量机理论及工程应用实例 求助编辑百科名片 《支持向量机理论及工程应用实例》共分为8章，从机器学习的基本问题开始，循序渐进地介绍了相关的内容，包括线性分类器、核函数特征空间、推广性理论和优化理论，从而引出了支持向量机的算法，进而将支持向量机应用到实际的工程实例中。《支持向量机理论及工程应用实例》适合高等院校高年级本科生、研究生、教师和相关科研人员及相关领域的工作者使用。《支持向量机理论及工程应用实例》既可作为研究生教材，也可作为神经网络、机器学习、数据挖掘等课程的参考教材。 书名： 支持向量机理论及工程应用实例 作者： 白鹏 张斌 ISBN ： 9787560620510 定价： 16.00 元 出版社： 西安电子科技大学出版社 出版时间： 2008 开本： 16 LIBSVM 的简单介绍 2006-09-20 15:59:48 大 中 小 1. LIBSVM 软件包简介 LIBSVM 是台湾大学林智仁(Chih-Jen Lin)博士等开发设计的一个操作简单、易于使用、快速有效的通用SVM 软件包，可以解决分类问题（包括C- SVC 、n - SVC ）、回归问题（包括e - SVR 、n - SVR ）以及分布估计 （one-class-SVM ）等问题，提供了线性、多项式、径向基和S 形函数四种常
用的核函数供选择，可以有效地解决多类问题、交叉验证选择参数、对不平衡样本加权、多类问题的概率估计等。LIBSVM 是一个开源的软件包，需要者都可以免费的从作者的个人主页 处获得。他不仅提供了LIBSVM的C++语言的算法源代码，还提供了Python、Java、R、MATLAB、Perl、Ruby、LabVIEW以及C#.net 等各种语言的接口，可以方便的在Windows 或UNIX 平台下使用。另外还提供了WINDOWS 平台下的可视化操作工具SVM-toy，并且在进行模型参数选择时可以绘制出交叉验证精度的等高线图。 2. LIBSVM 使用方法简介 LibSVM是以源代码和可执行文件两种方式给出的。如果是Windows系列操作系统，可以直接使用软件包提供的程序，也可以进行修改编译；如果是Unix类系统，必须自己编译。 LIBSVM 在给出源代码的同时还提供了Windows操作系统下的可执行文件，包括：进行支持向量机训练的svmtrain.exe；根据已获得的支持向量机模型对数据集进行预测的svmpredict.exe；以及对训练数据与测试数据进行简单缩放操作的svmscale.exe。它们都可以直接在DOS 环境中使用。如果下载的包中只有C++的源代码，则也可以自己在VC等软件上编译生成可执行文件。 3. LIBSVM 使用的一般步骤是： 1）按照LIBSVM软件包所要求的格式准备数据集； 2）对数据进行简单的缩放操作； 3）考虑选用RBF 核函数； 4）采用交叉验证选择最佳参数C与g ； 5）采用最佳参数C与g 对整个训练集进行训练获取支持向量机模型； 6）利用获取的模型进行测试与预测。 4. LIBSVM使用的数据格式 1）训练数据和检验数据文件格式如下：
r语言SVM模型代码 亲测可运行 附数据
【原创】R语言报告论文（附代码数据） 有问题到淘宝找“大数据部落”就可以了 ###################################################################### ##### 数据导入与处理 ###################################################################### setwd('C:\\Users\\lt\\Desktop') ## 将工作空间设置为数据所在的路径，也就是数据存放的位置 data<-read.csv('二手房.csv',header=T) ## 导入数据 data$price_level<-ifelse(data$price>median(data$price),'高房价','低房价') ## 构建因变量price_level data$price_level<-as.factor(data$price_level) ## 将因变量格式转为因子型 ###################################################################### ##### 构建训练集、测试集 #####分层抽样，70%作为训练集，30%作为测试集 ###################################################################### library(sampling) a<-strata(data,c('price_level'),size=c(floor(8398*0.7),floor(8397*0.7)),method="srswor") train<-data[a$ID_unit,-8]## 去除price变量的训练集 test<-data[-a$ID_unit,-8] ## 去除price变量的测试集 ###################################################################### #####训练模型 ###################################################################### install.packages('e1071') ## 安装软件包 library(e1071) ## 加载软件包 #一、使用线性核函数去拟合SVM模型 #1）模型拟合 svmfit1<-svm(price_level~.,data=train,kernel='linear',cost=10,scale=F) #kernel='linear' ##选择线性核函数 #scale=F ##对数据不进行标准化处理，支持向量机的的损失函数为凸函数，是否标准化不影响最优解，但标准化之后可以使求解速度变快 #cost=10 ##参数代表犯错的成本，越大模型对误差的惩罚越大，生成的分类边界越复杂#2）对svmfit1模型进行改进，选择最优的cost值 set.seed (1) ## 设置种子，保证每次运行结果一致 tune.out<-tune(svm,price_level~.,data=train,kernel ='linear', ranges =list(cost=c(0.001 , 0.01, 0.1, 1,5,10,100) )) best.mode1<-tune.out$bestmode ##得到最优模型 #3）模型评估 ypred<-predict(best.model,test) table(predict=ypred,ture=test$price_level) #二、使用非线性核函数去拟合SVM模型 #1）模型拟合
支持向量机
支持向量机概述 （一）支持向量机简介 支持向量机（Support Vector Machine ）是Cortes 和Vapnik 于1995年首先提出的，它在解决小样本、非线性及高维模式识别中有许多特有的优势，并能推广应用到函数拟合等其他机器学习问题中[1]。 支持向量机方法是建立在统计学习理论的VC 维和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性和学习能力之间寻求最佳折衷，以期获得最好的推广能力[2]。 1.1 VC 维 定义1.1(N(F,m Z ))：设F 是一个假设集，即由在n R X 上取值为-1或1的若干函数组成的集合。记m Z = },...,,{21m x x x 为X 中的ｍ个点组成的集合。考虑当f 取遍F 中的所有可能的假设时产生的m 维向量(f (1x ),f (2x ),…f (m x ))。定义N(F,m Z ))为上述m 维向量中不同的向量个数。 定义1.2（m Z 被F 打散）：设F 是一个假设集，m Z = },...,,{21m x x x 为X 中的m 个点组成的集合。称m Z 被F 打散，或F 打散m Z 。 定义1.3（VC 维）：设假设集F 是一个由X 上取值为-1或1的函数组成的集合。定义F 的VC 维为max{m|N(F,m Z ) = m 2}. VC 维反映了函数集的学习能力。一般而言，VC 维越大，学习机器越复杂。但目前没有通用的关于任意VC 维计算的理论，只对一些特殊函数集的VC 维可以计算。如何利用理论和实验的方法计算VC 维是当前统计学习理论中一个待研究的问题[3]。 1.2 结构风险最小化 机器学习本质上是一种对问题真实模型的逼近，由于真实世界的模型往往无法精确给出，我们给出的模型与真实模型就存在一个误差，这个与真实模型之间的误差积累就叫做风险。统计学习理论系统地研究了对于各种类型的函数集，经验风险和实际风险之间的关系，即泛化误差界。统计学习理论指出：经验风险)(w R emp 和实际风险)(w R 之间至少以1-η的概率满足如下关系
【超详细】支持向量机入门
SVM入门 SVM入门（一）SVM的八股简介 支持向量机(Support Vector Machine)是Cortes和Vapnik于1995年首先提出的，它在解决小样本、非线性及高维模式识别中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中[10]。 支持向量机方法是建立在统计学习理论的VC 维理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性（即对特定训练样本的学习精度，Accuracy）和学习能力（即无错误地识别任意样本的能力）之间寻求最佳折衷，以期获得最好的推广能力[14]（或称泛化能力）。 以上是经常被有关SVM 的学术文献引用的介绍，有点八股，我来逐一分解并解释一下。 Vapnik是统计机器学习的大牛，这想必都不用说，他出版的《Statistical Learning Theory》是一本完整阐述统计机器学习思想的名著。在该书中详细的论证了统计机器学习之所以区别于传统机器学习的本质，就在于统计机器学习能够精确的给出学习效果，能够解答需要的样本数等等一系列问题。与统计机器学习的精密思维相比，传统的机器学习基本上属于摸着石头过河，用传统的机器学习方法构造分类系统完全成了一种技巧，一个人做的结果可能很好，另一个人差不多的方法做出来却很差，缺乏指导和原则。
所谓VC维是对函数类的一种度量，可以简单的理解为问题的复杂程度，VC维越高，一个问题就越复杂。正是因为SVM关注的是VC维，后面我们可以看到，SVM解决问题的时候，和样本的维数是无关的（甚至样本是上万维的都可以，这使得SVM很适合用来解决文本分类的问题，当然，有这样的能力也因为引入了核函数）。 结构风险最小听上去文绉绉，其实说的也无非是下面这回事。 机器学习本质上就是一种对问题真实模型的逼近（我们选择一个我们认为比较好的近似模型，这个近似模型就叫做一个假设），但毫无疑问，真实模型一定是不知道的（如果知道了，我们干吗还要机器学习？直接用真实模型解决问题不就可以了？对吧，哈哈）既然真实模型不知道，那么我们选择的假设与问题真实解之间究竟有多大差距，我们就没法得知。比如说我们认为宇宙诞生于150亿年前的一场大爆炸，这个假设能够描述很多我们观察到的现象，但它与真实的宇宙模型之间还相差多少？谁也说不清，因为我们压根就不知道真实的宇宙模型到底是什么。 这个与问题真实解之间的误差，就叫做风险（更严格的说，误差的累积叫做风险）。我们选择了一个假设之后（更直观点说，我们得到了一个分类器以后），真实误差无从得知，但我们可以用某些可以掌握的量来逼近它。最直观的想法就是使用分类器在样本数据上的分类的结果与真实结果（因为样本是已经标注过的数据，是准确的数据）之间的差值来表示。这个差值叫做经验风险Remp(w)。以前的机器学习方法都把经验风险最小化作为努力的目标，但后来发现很多分类函数能够在样本集上轻易达到100%的正确率，在真实分类时却一塌糊涂（即所谓的推