支持向量机
支持向量机
支持向量机模型选择研究
摘要:统计学习理论为系统地研究有限样本情况下的机器学习问题提供了一套
比较完整的理论体系。支持向量机
(suPportvectorMachine,SVM)是在该理论体系下产生的一种新的机器学习方法,它能较好地解决小样本、非线性、维数灾难和局部极小等问题,具有很强的泛化能力。支持向量机目前已经广泛地应用于模式识别、回归估计、概率密度估计等各个领域。不仅如此,支持向量机的出现推动了基于核的学习方法(Kernel-based Learning Methods)
的迅速发展,该方法使得研究人员能够高效地分析非线性关系,而这种高效率原先只有线性算法才能得到。目前,以支持向量机为主要代表的核方法是机器学习领域研究的焦点课题之一。
众所周知,支持向量机的性能主要取决于两个因素:(1)核函数的选择;(2)惩罚
系数(正则化参数)C的选择。对于具体的问题,如何确定SVM中的核函数与惩罚系
数就是所谓的模型选择问题。模型选择,尤其是核函数的选择是支持向量机研究的中心内容之一。本文针对模型选择问题,特别是核函数的选择问题进行了较为深入的研究。其中主要的内容如下:
1.系统地归纳总结了统计学习理论、核函数特征空间和支持向量机的有关理论与算法。
2.研究了SVM参数的基本语义,指出数据集中的不同特征和不同样本对分类结
果的影响可以分别由核参数和惩罚系数来刻画,从而样木重要性和特征重要性的考察可以归结到SVM的模型选择问题来研究。在
对样本加权SVM模型(例如模糊SVM)分析的基础上,运用了特征加权SVM模型,即FWSVM,本质上就是SVM与特征加权的结合。 3,在系统归纳总结SVM模型选择。尤其是核函数参数选择的常用方法(例如交叉验证技术、最小化LOO误差及其上界、优化核评估标准)。关键词:机器学习;模式分类;支持向量机;模型选择;核函数;核函数评估
支持向量机基础
引言
机器学习的科学基础之一是统计学。传统统计学所研究的是渐近理论,即当样本数目趋于无穷大时的极限特性。基于传统统计学的机器学习,也称为统计模式识别,由Duda等人提出。Duda的贡献主要是以经典统计理论为工具刻画了模式识别与机器学习的各类任务,同时暗示了对所建模型的评价方法。然而,在实际应用中,学习样本的数目往往是有限的,特别当问题处于高维空问时尤其如此。统计学习理论研究的是有限样本情况下的机器学习问题,它基于PAC(Probably Approximately Correct)框架给出关于学习算法泛化性能的界,从而可以得出误差精度和样木数目之间的关系。这样,样木集合成为泛化指标的随机变量,由此建立了结构风险理论。
Minsky和PaPert在20世纪60年代明确指出线性学习机计算能力有限。总体上,现实世界复杂的应用需要比线性函数更富有表达能力的假设空间"多层感知器可以作为这个问题的一个解,由此导向了
多层神经网络的反向传播算法。核函数表示方式提供了另一条解决途径,即将数据映射到高维空间来增强线性学习机的计算能力。核函数的引入最终使得在适当的特征空间中使用人们熟知的线性算法高效地检测非线性关系成为一可能。SVM是建立在统计学习理论(包括核函数的表示理论)基础上的第一个学习算法,目前主要应用于求解监督学习问题,即分类和回归问题。SVM以泛化能力为目标,其目的不是
对己知样本的描述(或称为记忆),而是对未知样本的预测(或称为泛化)"对于算法的性能问题,SVM标志着人们已经从单纯的实验验证向理论分析过渡"与多层神经网络的反向传播算法相比较,SVM的优点是什么呢?首先,以严格的数学理论(统计学习理论)为基础,克服了神经网络学习中的经验和启发式成分;用结构风险最小化原则代替经验风险最小化,克服了过学习问题,提高了学习机的泛化能力。其次,利用核函数与核技巧巧妙地克服了特征空间的维数灾难问题;最后,通过解决一个凸二次规划问题,得到全局最优解,而不是神经网络学习中的局部最优解。
问题的数学形式为:
l1 UwNwwCN,，,,1,，，，，,2,1i
ywxbNil((,1,))1,1,,，,,,？iii stNil,,0,1,,.？i
通过求其对偶问题，归结为一个二次函数极值问题:
ll1WAAyyAAKxx()(,),,,,iijijij 2,,1,1iij
stACil:0,1,,,,,？i
l
Ay,0,ii,1i
分类判别函数为:
l，，,, fxsignAyKxxb,，,，，，，,iii,,,,i,1,,，，
模型选择与核函数的研究
面对一个实际的问题,我们应如何应用支持向量机来解决呢?从通用的层面看,
显然首先应把问题转化为能用支持向量机求解的数学模型。这一过程称为模型选择,其中应包括:(i)数据集的获取与预处理;(ii)SvM类型的选择,如选择标准的SVM或v一SVM;(111)SVM中核函数和其已参数(如惩罚系数C)的选择。其中第三个问题是模型选择研究的重点。核函数隐式地定义了高维特征空间的结构,使得线性不可分的问题转化为线性可分的问题,而且不增加计算量,是影响SVM性能的关键因素"另
一方面,SVM的分类性能除了取决于核函数的选择外,还取决于惩罚系数C,该系数的目的是在误分样本与学习机模型复杂性之间进行折衷,即在确定的特征空间中调节经验风险和学习机置信范围的比例,以使得学习机器的泛化能力最好。简要地说,核函数的选择主要影响数据在特征空间中的分布,而惩罚系数C，在特征空间中确定经验风险水平而影响SVM的性能。本文主要讨论核函数的选择问题。由于核函数和核技巧在SVM中的成功应用,学术界对核函数的研究正如火如茶地展开,其中核函数的理论研究，核函数的构造和核函数中参数的选择是三个主要的研究方向。
常用的几种核函数
常用的核函数主要包括以下几种:
1. 多项式核。多项式核的一般形式为:
d， kxzxzcdZc(,)(,),,0,,,，,,
2指数型径向基核。指数型径向基核的形式为:
2||||xz, ,kxz(,)exp(),0,,,22,
当所讨论的问题是不连续(即离散)时,这个核函数可应用于产生一个线性的分段解。
3.傅立叶核"常用的傅立叶核有两种,它们都是由一维傅立叶核生成的。第一种傅立叶核所对应的一维傅立叶核为
21,q kxzxzR(,),,,,,122(12cos()),,，qxzq
其中q是满足0 第二种傅立叶核所对应的一维傅立叶核为 ,,,||xzch(),, kxzxzRxz(,),,,0||2,,,,,,,1,2,sh() , ,其中是常数 4.多层感知器核(Sigmoid核)。多层感知器核的形式为: kxzxz(,)tanh(,),0,0,,,,,,,,, ,,,0,对于这个核必需强调的是,它仅对某些才是半正定的。 特征加权SVM 基于特征加权核函数构造的SVM称为特征加权svM(Feature Weighted SVM,SWFVM)。形式地表述如下: lll1,,,,yykxxmax(,),,,iijijpij2,,,111iij l sty,.0,,,ii,1i ？,,,Cil0,1,,i 则决策函数为 t,* fxykxxb()sgn((,)),，,,iipi,1i *其中，任选,中的一个分量对应的点， xj l** byykxx,,,(,),jjiij,1i 显然,特征加权SVM和传统的C一SVM的形式几乎完全相同,只是将核函数换 k(x,z)成了特征加权核函数称(x,z)。 数据集及实验设置 从UCI机器学习数据库中选择的数据集有7个,总共有699个样本,除去其中16个包含未知特征值的样本,剩下683个样本。表3—1简单地描述了所选数据集的基本属性。 SVM的实现采用了LIBSVM软件包。 实验结果 由表3—4图3—2与图3—3，可以看出:数据集Letter中的不同特征对分类结果影响程度的差别比Breast大,而FWSVM正是利用特征加权核函数反映这种差别的学习算法，它通过特征加权减少弱相关特征(权重小)对分类结果的影响，从而提高了学习算法的分类性能。局部化的核函数评估 目前，核函数的评估方法主要分为三类:其一，依据算法的评价标准进行评估。算法的评价标准,如10一折交叉验证误差、LOO误差、LOO误差的上界等,提供了评价两种方案(当然包括核函数的选择)的准则。比较两种不同方案对应的数量指标(误差或误差界),以较小者为优。其二,综合应用多种统计方法进行评估。这里的统计方法包括k一折交叉验证、配对t测试、纠正重复取样t测试等。三,独立于算法的核函数评估。这种方法的基础是一系列独立于算法的核评估标准的提出,如核排列、核极化、基于特征空间的核矩阵评估标准独立于具体的学习算法是这种方法与前面两种方法的重要区别,它不直接考虑分类器的泛化性能,而是着力捕捉训练数据集在特征空间中的可分离特性。 基于特征空间的核矩阵评估标准 Nguyen和Ho两人分析了核排列标准的一些严重缺陷,指出拥有较大的核排列值是一个好的核函数的充分而非必要条件(即使核排列值很小的核函数完全有可能获得很好的性能),并提出了一个替代标准)基于特征空间的核矩阵评估标准: ,var ,FSMkk(,),,,||||，, 设训练集T中正类和负类的样本分别有和个: ll，, l，1(),,,x,i，li,1， l1,()x,,,i,lil,，1,， ,，,,,e,||||,，,,,l， 2,,,(),xe1i,，,,i,12var(),，l,1， l2(),,,,xei,,1,,il,1，2var(),,l,1, varvarvar,，，, , 显然，FSMkk(,)0,，其中分母的含义是特征空间中正负类中心的距离，分子的含义是特征空间中同类内的样本在正负类中心所确定的方向上的总偏差。 局部结构信息与降维 数据集中的局部结构信息,或者称为多模态，在实际应用中是经常可见的，例 如在手写阿拉伯数字识别中将数字分成奇数和偶数两类、通过构造多个一对多的二分类问题来解决多类分类等问题中就存在这种情形。这种分离的聚类块就是存在于同类数据中的局部结构信 息。许多学者对具有局部结构信息的数据集上的机器学习作了较为深入的研究,其木质是为了在学习的过程中保持数据的局部结构不受到破坏。降维是高维数据分析的重要预处理步骤之一,目的是在保留数据的大部分内在信息的同时将高维空间的数据样本嵌入到一个相对低维的空间。Fisher判别分析是一种应用非常广泛的 线性降维算法。FDA利用了数据点的类别信息,是一种有监督的降维算法,其目的是最大化数据集类间的离散度,同时最小化类内的离散度。然而,FDA没有考虑到数据中的局部结构信息对算法性能的影响,会将同类内的多个聚类块投影成唯一的聚类块,从而破坏数据的分布特性。局部保持投影算法则克服了FnA算法的这个缺陷,它保持输入空间相近邻的数据点在低维嵌入空间中也是近邻的;换句话说,它保持了数据的局部结构信息。然而,LPP是种无监督降维算法,它没有考虑异类数据之间的可分性。实际上,当两个类靠得较近甚至部分重合时,由于保持局部结构的特性,LPP 会把两个不同的类投影到一起,得到不理想的分类结果。基于FDA和LPP的分 析,Sugiyama提出了一种新的降维算法,即局部Fisher判别分析算法(LocalFisheroiseriminant劫alysis,LFnA)。LFnA结合了FoA和LPP的优点,它 最大化类间分离度的同时也保持了类内的局部结构信息。 验证局部核极化标准的有效性 表5-1实验中使用的数据 对于每一个数据集,根据类别的先验概率选择样本总数的60%作为训练集,剩下的40%作为测试集。 表5-2数据集上的实验数据 从表5一2可以看出数据集同类内没有局部结构信息或者局部结构信息对异类数据的分离性没有什么影响。进一步地,无论是优化核极化还是优化局部核极化,它们得到的结果和通过交叉验证技术得到的结果都是类似的,这证实了一般而言它们都是有效的核评估标准。然而,对于YeastZ和LetterZ两个数据集,很明显的是局部核极化所得到的结果比核极化所得的结果要好。在数据集上,核极化获得的分类准确率是59.2511%,而局部核极化获得的则是69.3833%,分类准确率提高了 17.10%((69.3833一59.2511)/59.2511);在Lette论数据集上,局部核极化获得的分类准确率是92.2911%,相对于核极化的76.9554%,分类准确率提高了 19.94%((92.2991一 76.9554)/76.9554)。这就意味着此时数据集同类内的局部结构信息对分类性能产生了不可忽略的影响。有没有考虑局部结构信息是局部核极化与核极化的唯一区别,局部核极化由于在一定程度上保持了同类数据的局部结构信息,从而增强了异类数据的可分性。 从图5一5至图5一11可以观察到类似的现象:局部核极化与核极化获得了基本一样的分类结果。而在YeastZ和LetterZ数据集上,局部核极化获得了比核极化更好的分类性能。此外,不难发现,局部核极化获得的分类结果与10一折交叉验证技术相比仍然有一定的差距(特别是在LetterZ数据集土)。 本文总结 从观察数据中学习归纳出目标系统的规律,并利用这些规律对未来数据或无法观测到的数据进行预测一直是智能系统研究的核心所在。统计学在解决基于数据的学习(简称机器学习)问题中起着基础性的作用。传统统计学推断的主要依据是人数定理,所研究的主要是渐近理论,即当样本趋于无穷多时的统计性质。而统计学习理论则基于PAC框架给出关于泛化性能的界,研究的是有限样木情况下的机器学习问题。SVM是建立在统计学习理论之上的第一个学习算法,由于它具有的许多优良特性,现已成为机器学习和数据挖掘领域的标准工具。不仅如此,SVM的出现推动了核方法的迅速发展,该方法使得研究 人员能够高效地分析非线性关系,而这种高效率原先只有线性算法才能得到。众所周知,SVM的性能主要取决于两个因素:核函数的选择;惩罚系数C的选择。对于具体的问题,如何确定SVM中的核函数与惩罚系数就是所谓的模型选择问题。本 文针对这个问题,特别是核函数的选择问题进行了较为深入的研究,取得了一定的研究成果，具体地说,本文的创新性工作主要体现在以下三个方面: 1.研究了SVM参数的基本语义,指出数据集中的不同特征和不同样本对分类结果的影响可以分别由核参数和惩罚系数来刻画,从而样本重要性和特征重要性的考察可以归结到SVM的模型选择问题来研究。在对样本加权SVM模型(例如模糊SVM)分析的基础上,提出了特征加权SVM模型,即FWSVM。FWSVM本质上就是SVM与特征加权的结合,本文将特征加权引入到核函数的构造中,从而可以从核函数的角度来研究特征加权对SVM分类性能的影响。理论分析和数值实验的结果均表明,FWSVM比标准的SVM的泛化能力要好。 2.在系统归纳总结SVM模型选择。尤其是核函数参数选择的常用方法(例如交义验证技术，最小化Loo误差及其上界!优化核评估标准)之后,进一步研究了核极化的几何意义,指出高的核极化值意味着同类的数据点相互靠近而异类的数据点则相互远离,并提出了一种基于优化核极化的广义Gaussian核的参数选择算法KPG。和优化后的标准Gaussian核相比,使用优化后的)。通过实验初步验证了KPFS用于SVM特征选择的有效性。 3.在局部Fisher判别分析算法的启发下,对存在局部结构信息条件 下的核评估标准问题进行了深入地讨论,指出目前常用的核评估标准都没有考虑同类数据的局部结构信息对分类性能的影响。该标准的有效性通过UCI数据集上的实验得到了充分的验证。 研究展望 模型选择,尤其是核函数的选择是SVM(以及其它核方法)研究的中心课题之一,尽管本论文在这个方面做了一些工作,但显然还存在很多的不足。对于未来的研究,除了以上的讨论与小结部分涉及的问题之外,基于最新的文献再提出几点展望: 1.多核学习及其扩展 多核学习(MultiPleKemelLeaming,MKL)是针对数据的多源或异构特性而提出的。从某种意义上讲,多核学习为我们提供了一条选取最优核函数的较佳途径。由于多核学习需要对多个基核(basiskemel)的权重和参数进行相应的优化,因而研究高效的学习算法是必需的。另外,根据具体问题的不同,对多核学习的框架进行相应的扩展(或修正)也是一个需要进行深入研究的课题。 2.多类SVM的模型选择 统计学习理论中的一些重要结论大多数是基于/样本分两类的假设,对多类研究的理论成果是比较少的。与此类似,SVM模型选择的研究主要集中在二分类问题之上,例如本文前面所介绍的核评估标准,都是针对二分类问题而言的。由于现实世界我们面临的大部分是多分类问题,所以将二类SVM的模型选择研究推广到多类SVM 是非常有必要的。 3.核评估标准与其它相关标准的关系 设计核评估标准的目的是为了通过优化该标准来增强异类样本数据之间的可分性,这和机器学习中的其它标准非常类似,如最小最大概率机器中的最差误分概率距离度量学习中的有关优化准则类别可分离性标准。深入研究这些标准之间的关系,可以使我们从这些标准中得到启发,进而设计出更有效的核评估标准。 4.组合模型选择与SVM训练 应用SVM解决分类问题的传统方法是先确定SVM中的核函数和其它参数(即模型选择),然后进行SVM的训练,这两个过程是截然分开的。实际上,模型选择与SVM 训练是作为两个独立的最优化问题来求解的,能不能把这两个问题合并成一个优化问题呢。Liao和Jia首先研究了这个问题,他们的出发点是认为分两个独立的过程来求解影响了算法收敛的速度。我们认为,这是SVM模型选择的一个新思路,然而,问题是这样一来还能保证SVM的一系列优点(如凸规划解的稀疏性)吗?显然这是一个需要谨慎评判的问题,进一步的研究是必要的。 参考文献 [1]J.Shawe-Tayor and N.Cris tinaia著。赵玲玲等译。模式分析 的核方法北京:机械工业出版社,2006 [2]T.Mitchell著.曾华军,张银奎等译.机器学习.北京:机械工业出 版社,2003. [3]史忠植.知识发现.北京:清华大学出版社,2002. [4] N.CristinaniandJ.Sawe一Tayor著.李国正,王猛,曾华军译.支 持向量机导论.北京:电子一L业出版社,2004. [5] 邓乃扬,田英杰.数据挖掘中的新方法-支持向量机.北京:科学出 版社,2004. [6] 文香军.核机器的理论!算法及应用研究.博士论文,上海交通大 学,2006. [7] 尹传环.结构化数据核函数的研究.博士论文,北京交通大 学,2007 [8] 孙剑,郑南宁,张志华一种训练支撑向量机的改进贯序最小优化 算法.软件学报,2002,13(10):2007一2013 [9] 胡正平,吴燕,张哗.基于几何分析的支持向量机快速训练与分类 算法.中国图象图形学报,2007,12(l):82一86. [10] 业宁,孙瑞详,董逸生.多拉格朗日乘子协同优化的sVM快速学 习算法研究.计算机研究与发展,2006,43(3):442445 [11] Q.Li,L.jiao and Y.hao.Adapttive simplification of soulution for support vector machine.Pattem Recognitiong,2009 [12] 李烨,蔡云泽,尹汝泼,许晓鸣.基于证据理论的多类分类支持向 量机集成.计算机研究与发展,2008,45(4):571一578 [13]M.renders.Word sequence kernels.Journal of Machine Learning Research,2010,3:1059-1082 [14]J.Lin A study on Sigmoid kernels for SVM.?cjlin?papers.html,2003 [15] .范明,孟小峰译.数据挖掘:概念与技术(原书第二版).北 京:机械工业出版社,2007. [16]S.Liao and L.jia simultaneous tuning of hyper and parameter for support vector machines.2011,pp.162-172 [17]L.Wang IEEE Transactions on Pattern Analysis and Machine intelligence，2008,30(9):1534-1546 [18] 申中华,潘永惠,王士同.有监督的局部保留投影降维算法.模式 识别与人工智能,2008,21(2):233一239 [19]K.L Chan Two criteria for model selection in multiclass support vector machines IEEE Transactions on System,Man,and B:Cybernetics,2012,36(6):1432-1448 [20]M.Szafranski,https://www.360docs.net/doc/108065191.html,posite kernel thlearning.In:Proceedings of the 25 Internationgal Conference on Machine Learning,2008,pp.1040-1047 支持向量机分类器 1 支持向量机的提出与发展 支持向量机( SVM, support vector machine )是数据挖掘中的一项新技术，是借助于最优化方法来解决机器学习问题的新工具，最初由V.Vapnik 等人在1995年首先提出，近几年来在其理论研究和算法实现等方面都取得了很大的进展，开始成为克服“维数灾难”和过学习等困难的强有力的手段，它的理论基础和实现途径的基本框架都已形成。 根据Vapnik & Chervonenkis的统计学习理论 ,如果数据服从某个(固定但未知的)分布,要使机器的实际输出与理想输出之间的偏差尽可能小,则机器应当遵循结构风险最小化 ( SRM,structural risk minimization)原则,而不是经验风险最小化原则,通俗地说就是应当使错误概率的上界最小化。SVM正是这一理论的具体实现。与传统的人工神经网络相比, 它不仅结构简单,而且泛化( generalization)能力明显提高。 2 问题描述 2.1问题引入 假设有分布在Rd空间中的数据，我们希望能够在该空间上找出一个超平面(Hyper-pan),将这一数据分成两类。属于这一类的数据均在超平面的同侧，而属于另一类的数据均在超平面的另一侧。如下图。 比较上图，我们可以发现左图所找出的超平面（虚线），其两平行且与两类数据相切的超平面（实线）之间的距离较近，而右图则具有较大的间隔。而由于我们希望可以找出将两类数据分得较开的超平面，因此右图所找出的是比较好的超平面。 可以将问题简述如下： 设训练的样本输入为xi，i=1，…，l，对应的期望输出为yi∈{+1，-1}，其中+1和-1分别代表两类的类别标识，假定分类面方程为ω﹒x+b=0。为使分类面对所有样本正确分类并且具备分类间隔，就要求它满足以下约束条件： 它追求的不仅仅是得到一个能将两类样本分开的分类面，而是要得到一个最优的分类面。 2.2 问题的数学抽象 将上述问题抽象为： 根据给定的训练集 支持向量机(SVM)原理及应用概述 支持向量机（SVM ）原理及应用 一、SVM 的产生与发展 自1995年Vapnik (瓦普尼克)在统计学习理论的基础上提出SVM 作为模式识别的新方法之后，SVM 一直倍受关注。同年，Vapnik 和Cortes 提出软间隔(soft margin)SVM ，通过引进松弛变量i ξ度量数据i x 的误分类(分类出现错误时i ξ大于0)，同时在目标函数中增加一个分量用来惩罚非零松弛变量(即代价函数)，SVM 的寻优过程即是大的分隔间距和小的误差补偿之间的平衡过程；1996年，Vapnik 等人又提出支持向量回归 (Support Vector Regression ，SVR)的方法用于解决拟合问题。SVR 同SVM 的出发点都是寻找最优超平面(注：一维空间为点；二维空间为线；三维空间为面；高维空间为超平面。)，但SVR 的目的不是找到两种数据的分割平面，而是找到能准确预测数据分布的平面，两者最终都转换为最优化问题的求解；1998年，Weston 等人根据SVM 原理提出了用于解决多类分类的SVM 方法(Multi-Class Support Vector Machines ，Multi-SVM)，通过将多类分类转化成二类分类，将SVM 应用于多分类问题的判断：此外，在SVM 算法的基本框架下，研究者针对不同的方面提出了很多相关的改进算法。例如，Suykens 提出的最小二乘支持向量机 (Least Square Support Vector Machine ，LS —SVM)算法，Joachims 等人提出的SVM-1ight ，张学工提出的中心支持向量机 (Central Support Vector Machine ，CSVM)，Scholkoph 和Smola 基于二次规划提出的v-SVM 等。此后，台湾大学林智仁(Lin Chih-Jen)教授等对SVM 的典型应用进行总结，并设计开发出较为完善的SVM 工具包，也就是LIBSVM(A Library for Support Vector Machines)。LIBSVM 是一个通用的SVM 软件包，可以解决分类、回归以及分布估计等问题。 二、支持向量机原理 SVM 方法是20世纪90年代初Vapnik 等人根据统计学习理论提出的一种新的机器学习方 法，它以结构风险最小化原则为理论基础，通过适当地选择函数子集及该子集中的判别函数，使学习机器的实际风险达到最小，保证了通过有限训练样本得到的小误差分类器，对独立测试集的测试误差仍然较小。 支持向量机的基本思想：首先，在线性可分情况下，在原空间寻找两类样本的最优分类超平面。在线性不可分的情况下，加入了松弛变量进行分析，通过使用非线性映射将低维输 支持向量机(Support Vector Machine，SVM)概述 支持向量机(Support Vector Machine，SVM)是基于统计学习理论发展起来的新一代机器学习算法，由Vapnik于1992年介绍进入机器学习领域，之后受到广泛关注。支持向量机理论处理的是两类分类问题，对于多类分类问题，通过多个二分类模型组合构成。SVM的基本原理是将样本映射到高维空间，然后在高维空间中构建线性分类器，寻找使分类间隔最大的最优超平面，这个特点在保证分类器在具有较好的泛化能力的同时解决了维数灾难问题。SVM的目标是在有限样本信息下寻求学习精度和学习能力的最优解，该问题最终转化成为一个二次型寻优问题，从理论上来看，将得到全局最优解，解决了神经网络中无法避免的局部极值问题。由于SVM具有以上多个优点，使得该算法在众多领域获得较好应用，包括图像分类，生物信息学，病虫害识别等。下面将具体介绍SVM的原理和求解过程。 （1）线性可分的情况 给定一些样本数据，分别属于两个不同的类，标记为：{x i,y i},x i∈R d y i∈{1,?1},i=1,2,…,n。由于这些样本数据是线性可分的，因此，存在一个超平面H：w T?x+b=0，可以把这两类数据正确分开。同时存在两个平行于H的超平面H1：w T?x+b=1和H2：w T?x+b=?1，使得距离超平面H最近的样本分别位于H1和H2之上，这些样本称为支持向量。而剩余其他样本都将位于H1和H2之外，即满足式（1）或式（2）的约束条件。 w T?x i+b≥1 y i=1(1) w T?x i+b≤?1 y i=?1(2) 在两类分类问题中，由于表示分类标记的y i只有1和-1两个值，因此可将式（1）和式（2）合并得到式（3） y i(w T?x i+b)?1≥0(3) 由两个平行平面之间的距离公式可得超平面H1和H2之间的间隔为 f(w)=2 (4) ‖w‖ SVM的目标就是寻找在满足式（3）约束的同时能够把样本准确分开，并 程序中SVM 的参数： TestSVM_Parameter.svm_type=C_SVC; TestSVM_Parameter.kernel_type= RBF; TestSVM_Parameter.degree=3.0; TestSVM_Parameter.coef0=1; TestSVM_Parameter.gamma=1; TestSVM_Parameter.cache_size=40; TestSVM_Parameter.eps=0.01; TestSVM_Parameter.C=1.0; TestSVM_Parameter.shrinking=1; TestSVM_Parameter.nr_weight=0; TestSVM_Parameter.weight=NULL; TestSVM_Parameter.weight_label=NULL; SVM 参数含义： int svm_type ：SVM 问题类型： 0： C_SVC: 多类别识别问题，求解问题 ,,min b w ξ 1 12l t i i C ξ=+∑w w 1： NU_SVC ：多类别识别问题，求解问题 ,,,min b ρw ξ 1 112l t i i l νρξ=-+∑w w 2： ONE_CLASS ：两类别识别问题，求解问题 ,,,min b ρw ξ 1 112l t i i l ρξν=-+∑w w 3： EPSILON_SVR ：回归分析，求解问题 *,,,min b w ξξ *1112l l t i i i i C C ξξ==++∑∑w w 4： NU_SVR ：回归分析，求解问题 *,,,,min b εw ξξ ()*112l t i i i C νεξξ=??+++ ???∑w w int kernel_type ：核函数类型： 0： LINEAR ，线性，(),t K =x y x y 1： POL Y ，多项式，()(),d t K C γ=+x y x y 2： RBF ，径向基函数，()()2,exp K γ=--x y x y 3： SIGMOID ，Sigmoid 函数，()( ),tanh t K C γ=+x y x y double degree ：多项式核函数参数 double gamma ：多项式、径向基函数和Sigmoid 函数的参数 double coef0：多项式和Sigmoid 函数的参数 模式识别课程大作业报告——支持向量机（SVM）的实现 姓名： 学号： 专业： 任课教师： 研究生导师： 内容摘要 支持向量机是一种十分经典的分类方法，它不仅是模式识别学科中的重要内容，而且在图像处理领域中得到了广泛应用。现在，很多图像检索、图像分类算法的实现都以支持向量机为基础。本次大作业的内容以开源计算机视觉库OpenCV为基础，编程实现支持向量机分类器，并对标准数据集进行测试，分别计算出训练样本的识别率和测试样本的识别率。 本报告的组织结构主要分为3大部分。第一部分简述了支持向量机的原理；第二部分介绍了如何利用OpenCV来实现支持向量机分类器；第三部分给出在标准数据集上的测试结果。 一、支持向量机原理概述 在高维空间中的分类问题实际上是寻找一个超平面，将两类样本分开，这个超平面就叫做分类面。两类样本中离分类面最近的样本到分类面的距离称为分类间隔。最优超平面指的是分类间隔最大的超平面。支持向量机实质上提供了一种利用最优超平面进行分类的方法。由最优分类面可以确定两个与其平行的边界超平面。通过拉格朗日法求解最优分类面，最终可以得出结论：实际决定最优分类面位置的只是那些离分类面最近的样本。这些样本就被称为支持向量，它们可能只是训练样本中很少的一部分。支持向量如图1所示。 图1 图1中，H是最优分类面，H1和H2别是两个边界超平面。实心样本就是支持向量。由于最优超平面完全是由这些支持向量决定的，所以这种方法被称作支持向量机（SVM）。 以上是线性可分的情况，对于线性不可分问题，可以在错分样本上增加一个惩罚因子来干预最优分类面的确定。这样一来，最优分类面不仅由离分类面最近的样本决定，还要由错分的样本决定。这种情况下的支持向量就由两部分组成：一部分是边界支持向量；另一部分是错分支持向量。 对于非线性的分类问题，可以通过特征变换将非线性问题转化为新空间中的线性问题。但是这样做的代价是会造成样本维数增加，进而导致计算量急剧增加，这就是所谓的“维度灾难”。为了避免高维空间中的计算，可以引入核函数的概念。这样一来，无论变换后空间的维数有多高，这个新空间中的线性支持向量机求解都可以在原空间通过核函数来进行。常用的核函数有多项式核、高斯核（径向基核）、Sigmoid函数。 二、支持向量机的实现 OpenCV是开源计算机视觉库，它在图像处理领域得到了广泛应用。OpenCV 中包含许多计算机视觉领域的经典算法，其中的机器学习代码部分就包含支持向量机的相关内容。OpenCV中比较经典的机器学习示例是“手写字母分类”。OpenCV 中给出了用支持向量机实现该示例的代码。本次大作业的任务是研究OpenCV中的支持向量机代码，然后将其改写为适用于所有数据库的通用程序，并用标准数据集对算法进行测试。本实验中使用的OpenCV版本是，实验平台为Visual 基于支持向量机的模式识别 摘要 随着人工智能和机器学习学科的不断发展，传统的机器学习方法已经不能适应学科的快速发展。而支持向量机（Support Vector Machine，SVM）则是根据统计学习理论提出的一种新型且有效的机器学习方法，它以结构风险最小化和VC 维理论为基础，适当的选择函数子集和决策函数，使学习机器的实际风险最小化，通过对有限的训练样本进行最小误差分类。支持向量机能够较好的解决小样本、非线性、过学习和局部最小等实际问题，同时具有较强的推广能力。支持向量机的样本训练问题实质是求解一个大的凸二次规划问题，从而所得到的解也是全局最优的，通常也是唯一的解。 本文以支持向量机理论为基础，对其在模式识别领域的应用进行系统的研究。首先运用传统的增式支持向量机对历史数据分类，该分类结果表明对于较复杂的数据辨识时效果不佳。然后运用改进后的增式支持向量机对历史数据进行分类，再利用支持向量机具有的分类优势对数据进行模式识别。 本文对传统增式支持向量机算法和改进增式支持向量机算法进行了仿真对比，仿真结果体现了改进增式支持向量机算法的优越性，改进增式支持向量机算法减少了训练样本集的样本数量，优化了时间复杂度和空间复杂度，提高了分类效率。该方法应用于模式识别领域中能明显提高系统的准确率。 关键词：支持向量机；模式识别；多类分类；增式算法 Pattern Recognition Based on Support Vector Machine Abstract With the discipline of artificial intelligence and machine learning continues to evolve, traditional machine learning methods can not adapt to the rapid development of disciplines. The support vector machine (Support Vector Machine, SVM) is based on statistical learning theory a new and effective machine learning method, which to base on the structural risk minimization and the VC dimension theory, a function subset of appropriate choice and decision-making function of appropriate choice, the learning machine to minimize the actual risk, through the limited training samples for minimum error classification. SVM can solve the small sample, nonlinear, over learning and local minimum practical issues, but also it has a strong outreach capacity. Sample training problems of Support Vector Machines to solve really a large convex quadratic programming problems, and to the global optimal solution is also obtained, usually the only solution. This paper based on support vector machine theory, its application in the field of pattern recognition system. First, by using the traditional incremental support vector machine classification of historical data, the classification results show that the data for the identification of more complex when the results are poor. And then improved by the use of incremental Support Vector Machines to classify the historical data, and then use the classification of Support Vector Machine has advantages for data pattern recognition. This type of traditional incremental Support Vector Machine and improved incremental Support Vector Machine algorithm was simulated comparison, simulation results demonstrate the improved incremental Support Vector Machine algorithm by superiority, improved incremental Support Vector Machine algorithm reduces the set of training samples number of samples，and to optimize the time complexity and space complexity, improving the classification efficiency. The method is applied to pattern recognition can significantly improve the accuracy of the system. Key words: Support Vector Machine; Pattern Recognition; Multi-class Classification; Incremental Algorithm 基于支持向量机的故障诊断 摘要 在化工生产过程中，为了准确检测故障，减少机械的损失和人员的伤亡，提出了支持向量机算法。支持向量机是基于统计学理论的方法，具有较强的逼近能力和泛化能力。但是在最近几年中，一种基于主元分析的过程监控方法已在工业过程中得到应用，主元分析方法通过正常工况下的历史数据建立的统计模型能很好地检测过程的异常变化和故障的发生。本文主要就这两种方法展开运用。在实际生产过程中，一方面，主元分析方法故障诊断能力有限；另一方面，存在着大量的历史数据，既有正常工况下的数据，又有故障数据，如何充分利用各种类别数据，提高故障诊断能力，具有十分重要的意义。 本文首先运用传统支持向量机算法对历史数据进行分类，分类结果表明该方法对于简单的数据比较容易区分，但是在数据复杂，可辨性较低的情况下，效果不明显。然后运用改进了的传统支持向量机算法对历史数据进行分类，即运用主元分析方法提取各数据的主要特征，再利用支持向量机具有的分类优势对过程数据进行在线诊断，从而提高故障诊断能力。 本文对传统支持向量机算法和改进支持向量机算法进行了仿真比较，仿真结果体现了改进支持向量机算法的优越性；改进支持向量机算法提高了传统支持向量机算法分类的正确率。该种方法在实际工程中能够提高系统的诊断性能，减少不必要的损失。 关键词：支持向量机；故障诊断；主元分析方法；田纳西-伊斯曼过程； Fault Diagnosis Based on Support Vector Machine Abstract In order to detect faults accurately, reduce mechanical lossesand casualties in the chemical production process, the algorithm of support vector machines was proposed. Based on the statistics theories, support vector machine is a method of approximation ability and generalization ability. Recently, a new method of process monitoring based on principal component analysis is applied in industrial production process. The statistical model built by principal component analysis method using historic data could detect unusual changes and faults happening in the process accurately. This research is on the application of these two methods. In the actual production process, principal component analysis has certain limitations in diagnosing fault. Besides, the vast volume of historical data was collected in both normal and unusual conditions. It is of great importance to make full use of the data to improve the capacity of fault diagnosis. Firstly, this paper classified the historical data by applying the traditional support vector machine algorithm. The results showed that traditionalmethod works well on simple data sets. However, it showed insignificant effects under a complex and low-differentiability condition. In succession, an advanced approach was used to improve the traditional method, which was approached to enhance the ability of fault diagnosis by using principal component analysis to extract the main features of the data, then with the use of support vector machine which has the advantages of online diagnostic on process data to classify. In this paper, the traditional support vector machine algorithm and advanced support vector machine algorithm were compared in simulation process, the results indicates the superiority of the advanced method which improved the correctness of the traditional one on classification. It could also improve the diagnostic performance in the actual process and reduce unnecessary losses consequently. Key words: Support Vector Machine; Fault Diagnosis; Principal Component Analysis; Tennessee Eastman Process 支持向量机 支持向量机模型选择研究 摘要:统计学习理论为系统地研究有限样本情况下的机器学习问题提供了一套 比较完整的理论体系。支持向量机 (suPportvectorMachine,SVM)是在该理论体系下产生的一种新的机器学习方法,它能较好地解决小样本、非线性、维数灾难和局部极小等问题,具有很强的泛化能力。支持向量机目前已经广泛地应用于模式识别、回归估计、概率密度估计等各个领域。不仅如此,支持向量机的出现推动了基于核的学习方法(Kernel-based Learning Methods) 的迅速发展,该方法使得研究人员能够高效地分析非线性关系,而这种高效率原先只有线性算法才能得到。目前,以支持向量机为主要代表的核方法是机器学习领域研究的焦点课题之一。 众所周知,支持向量机的性能主要取决于两个因素:(1)核函数的选择;(2)惩罚 系数(正则化参数)C的选择。对于具体的问题,如何确定SVM中的核函数与惩罚系 数就是所谓的模型选择问题。模型选择,尤其是核函数的选择是支持向量机研究的中心内容之一。本文针对模型选择问题,特别是核函数的选择问题进行了较为深入的研究。其中主要的内容如下: 1.系统地归纳总结了统计学习理论、核函数特征空间和支持向量机的有关理论与算法。 2.研究了SVM参数的基本语义,指出数据集中的不同特征和不同样本对分类结 果的影响可以分别由核参数和惩罚系数来刻画,从而样木重要性和特征重要性的考察可以归结到SVM的模型选择问题来研究。在 对样本加权SVM模型(例如模糊SVM)分析的基础上,运用了特征加权SVM模型,即FWSVM,本质上就是SVM与特征加权的结合。 3,在系统归纳总结SVM模型选择。尤其是核函数参数选择的常用方法(例如交叉验证技术、最小化LOO误差及其上界、优化核评估标准)。关键词:机器学习;模式分类;支持向量机;模型选择;核函数;核函数评估 支持向量机基础 引言 机器学习的科学基础之一是统计学。传统统计学所研究的是渐近理论,即当样本数目趋于无穷大时的极限特性。基于传统统计学的机器学习,也称为统计模式识别,由Duda等人提出。Duda的贡献主要是以经典统计理论为工具刻画了模式识别与机器学习的各类任务,同时暗示了对所建模型的评价方法。然而,在实际应用中,学习样本的数目往往是有限的,特别当问题处于高维空问时尤其如此。统计学习理论研究的是有限样本情况下的机器学习问题,它基于PAC(Probably Approximately Correct)框架给出关于学习算法泛化性能的界,从而可以得出误差精度和样木数目之间的关系。这样,样木集合成为泛化指标的随机变量,由此建立了结构风险理论。 Minsky和PaPert在20世纪60年代明确指出线性学习机计算能力有限。总体上,现实世界复杂的应用需要比线性函数更富有表达能力的假设空间"多层感知器可以作为这个问题的一个解,由此导向了 多层神经网络的反向传播算法。核函数表示方式提供了另一条解决途径,即将数据映射到高维空间来增强线性学习机的计算能力。核函数的引入最终使得在适当的特征空间中使用人们熟知的线性算法高效地检测非线性关系成为一可能。SVM是建立在统计学习理论(包括核函数的表示理论)基础上的第一个学习算法,目前主要应用于求解监督学习问题,即分类和回归问题。SVM以泛化能力为目标,其目的不是 支持向量机数据分类预测 一、题目——意大利葡萄酒种类识别 Wine数据来源为UCI数据库，记录同一区域三种品种葡萄酒的化学成分，数据有178个样本，每个样本含有13个特征分量。50%做为训练集，50%做为测试集。 二、模型建立 模型的建立首先需要从原始数据里把训练集和测试集提取出来，然后进行一定的预处理，必要时进行特征提取，之后用训练集对SVM进行训练，再用得到的模型来预测试集的分类。 三、Matlab实现 3.1 选定训练集和测试集 在178个样本集中，将每个类分成两组，重新组合数据，一部分作为训练集，一部分作为测试集。 % 载入测试数据wine,其中包含的数据为classnumber = 3,wine:178*13的矩阵,wine_labes:178*1的列向量 load chapter12_wine.mat; % 选定训练集和测试集 % 将第一类的1-30,第二类的60-95,第三类的131-153做为训练集 train_wine = [wine(1:30,:);wine(60:95,:);wine(131:153,:)]; % 相应的训练集的标签也要分离出来 train_wine_labels = [wine_labels(1:30);wine_labels(60:95);wine_labels(131:153)]; % 将第一类的31-59,第二类的96-130,第三类的154-178做为测试集 test_wine = [wine(31:59,:);wine(96:130,:);wine(154:178,:)]; % 相应的测试集的标签也要分离出来 test_wine_labels = [wine_labels(31:59);wine_labels(96:130);wine_labels(154:178)]; 3.2数据预处理 对数据进行归一化： %% 数据预处理 % 数据预处理,将训练集和测试集归一化到[0,1]区间 [mtrain,ntrain] = size(train_wine); [mtest,ntest] = size(test_wine); dataset = [train_wine;test_wine]; % mapminmax为MATLAB自带的归一化函数 [dataset_scale,ps] = mapminmax(dataset',0,1); dataset_scale = dataset_scale'; 基于支持向量机的分类方法 摘要：本文首先概述了支持向量机的相关理论，引出了支持向量机的基本模型。当训练集的两类样本点集重合区域很大时，线性支持向量分类机就不适用了，由此介绍了核函数相关概念。然后进行了核函数的实验仿真，并将支持向量机应用于实例肿瘤诊断，建立了相应的支持向量机模型，从而对测试集进行分类。最后提出了一种支持向量机的改进算法，即根据类向心度对复杂的训练样本进行预删减。 1、支持向量机 给定训练样本集1122{[,],[,], ,[,]}()l l l T a y a y a y Y =∈Ω?L ，其中n i a R ∈Ω=，Ω是输入空间，每一个点i a 由n 个属性特征组成，{1,1},1,,i y Y i l ∈=-=L 。分类 就是在基于训练集在样本空间中找到一个划分超平面，将不同的类别分开，划分超平面可通过线性方程来描述： 0T a b ω+= 其中12(;;;)d ωωωω=K 是法向量，决定了超平面的方向，b 是位移项，决定 了超平面与原点之间的距离。样本空间中任意点到超平面的距离为|| |||| T a b r ωω+=。 支持向量、间隔： 假设超平面能将训练样本正确分类，即对于[,]i i a y T ∈，若1i y =+，则有 0T i a b ω+>，若1i y =-，则有0T i a b ω+<。则有距离超平面最近的几个训练样本点使得 11 11 T i i T i i a b y a b y ωω?+≥+=+?+≤-=-? 中的等号成立，这几个训练样本点被称为支持向量；两个异类支持向量到超平面 的距离之和2 |||| r ω=被称为间隔。 支持向量机基本模型： 找到具有最大间隔的划分超平面，即 ,2max ||||..()1,1,2,...,b T i i s t y a b i m ωωω+≥= 这等价于 2 ,||||min 2..()1,1,2,...,b T i i s t y a b i m ωωω+≥= 这就是支持向量机（SVM ）的基本模型。 支持向量机问题的特点是目标函数2 ||||2 ω是ω的凸函数，并且约束条件都是 线性的。 3．支持向量机（回归） 3.1.1 支持向量机 支持向量机（SVM ）是美国Vapnik 教授于1990年代提出的，2000年代后成为了很受欢迎的机器学习方法。它将输入样本集合变换到高维空间使得其分离性状况得到改善。它的结构酷似三层感知器，是构造分类规则的通用方法。SVM 方法的贡献在于，它使得人们可以在非常高维的空间中构造出好的分类规则，为分类算法提供了统一的理论框架。作为副产品，SVM 从理论上解释了多层感知器的隐蔽层数目和隐节点数目的作用，因此，将神经网络的学习算法纳入了核技巧范畴。 所谓核技巧，就是找一个核函数(,)K x y 使其满足(,)((),())K x y x y φφ=，代 替在特征空间中内积(),())x y φφ（的计算。因为对于非线性分类，一般是先找一个非线性映射φ将输入数据映射到高维特征空间，使之分离性状况得到很大改观，此时在该特征空间中进行分类，然后再返会原空间，就得到了原输入空间的非线性分类。由于内积运算量相当大，核技巧就是为了降低计算量而生的。 特别， 对特征空间H 为Hilbert 空间的情形，设(,)K x y 是定义在输入空间 n R 上的二元函数，设H 中的规范正交基为12(),(),...,(), ...n x x x φφφ。如果 2 2 1 (,)((),()), {}k k k k k K x y a x y a l φφ∞ == ∈∑ ， 那么取1 ()() k k k x a x φφ∞ ==∑ 即为所求的非线性嵌入映射。由于核函数(,)K x y 的定义 域是原来的输入空间，而不是高维的特征空间。因此，巧妙地避开了计算高维内 积 (),())x y φφ（所需付出的计算代价。实际计算中，我们只要选定一个(,)K x y ， 文章编号:100228743(2004)0320075204 用于分类的支持向量机 黄发良,钟 智Ξ (1.广西师范大学计算机系,广西桂林541000; 2.广西师范学院数学与计算机科学系,广西南宁530001) 摘 要:支持向量机是20世纪90年代中期发展起来的机器学习技术,建立在结构风险最小化原理之上的支持向量机以其独有的优点吸引着广大研究者,该文着重于用于分类的支持向量机,对其基本原理与主要的训练算法进行介绍,并对其用途作了一定的探索. 关键词:支持向量机;机器学习;分类 中图分类号:TP181 文献标识码:A 支持向量机S VM (Support Vector Machine )是AT&T Bell 实验室的V.Vapnik 提出的针对分类和回归问题的统计学习理论.由于S VM 方法具有许多引人注目的优点和有前途的实验性能,越来越受重视,该技术已成为机器学习研究领域中的热点,并取得很理想的效果,如人脸识别、手写体数字识别和网页分类等. S VM 的主要思想可以概括为两点:(1)它是针对线性可分情况进行分析,对于线性不可分的情况,通过使用非线性映射算法将低维输入空间线性不可分的样本转化为高维特征空间使其线性可分,从而使得高维特征空间采用线性算法对样本的非线性特征进行线性分析成为可能;(2)它基于结构风险最小化理论之上在特征空间中建构最优分割超平面,使得学习器得到全局最优化,并且在整个样本空间的期望风险以某个概率满足一定上界. 1 基本原理 支持向量机理论最初来源于数据分类问题的处理,S VM 就是要寻找一个满足要求的分割平面,使训练集中的点距离该平面尽可能地远,即寻求一个分割平面使其两侧的margin 尽可能最大. 设输入模式集合{x i }∈R n 由两类点组成,如果x i 属于第1类,则y i =1,如果x i 属于第2类,则y i =-1,那么有训练样本集合{x i ,y i },i =1,2,3,…,n ,支持向量机的目标就是要根据结构风险最小化原理,构造一个目标函数将两类模式尽可能地区分开来,通常分为两类情况来讨论,(1)线性可分,(2)线性不可分. 1.1 线性可分情况 在线性可分的情况下,就会存在一个超平面使得训练样本完全分开,该超平面可描述为: w ?x +b =0(1) 其中,“?”是点积,w 是n 维向量,b 为偏移量. 最优超平面是使得每一类数据与超平面距离最近的向量与超平面之间的距离最大的这样的平面.最优超平面可以通过解下面的二次优化问题来获得: min <(w )= 12‖w ‖2(2) Ξ收稿日期:2004202206作者简介:黄发良(1975-),男,湖南永州人,硕士研究生;研究方向:数据挖掘、web 信息检索. 2004年9月 广西师范学院学报(自然科学版)Sep.2004 第21卷第3期 Journal of G u angxi T eachers Education U niversity(N atural Science Edition) V ol.21N o.3 一、如下公式： 输入x向量，输出f(x)。 x向量可以理解为一幅图片，向量元素为图片像素。 f(x)可以取值整数或负数，它表示对输入图片的归类，不是正类就是负类。 输入一幅图片，输出该图片的所属类别，是正类还是负类。 二、公式中的w、b是怎么确定的？ 1、为了使分类明显，须让分类距离尽可能大。这是为什么呢？ 因为如果f(x)的值太接近于0，则很难被分类。如f(x) = 0.00001,那它很容易被分为负类。 2、为了让分类距离尽可能大，对w、b的取值应该能达到以下效果。 同时，分类距离最小值2/||W||要尽可能大。 三、分类距离最小值为什么等于2/||W||？ 1、首先要理解超平面，什么叫超平面呢？ 对于二维超平面，f(x) = w1*x1 + b,其实它是一条直线。 对于三维超平面，f(x) = w1 * x1 + w * x2 + b，其实它是一个平面。 对于四维超平面呢？ 表达式为f(x) = w1 * x1 + w2 * x2 + w3 * x3 + b,这我可不知道是什么？但这就是四 维超平面。 对于n - 1维超平面来说， 表达式为。 2、如果f(x)= 如上图，f(x)= matlab四种支持向量机工具箱 [b]使用要点:[/b] 应研学论坛<<人工智能与模式识别>>版主magic_217之约，写一个关于针对初学者的<<四种支持向量机工具箱>>的详细使用说明。同时也不断有网友向我反映看不懂我的源代码，以及询问如何将该工具箱应用到实际数据分析等问题，其中有相当一部分网友并不了解模式识别的基本概念，就急于使用这个工具箱。本文从模式识别的基本概念谈起，过渡到神经网络模式识别，逐步引入到这四种支持向量机工具箱的使用。 本文适合没有模式识别基础，而又急于上手的初学者。作者水平有限，欢迎同行批评指正！ [1]模式识别基本概念 模式识别的方法有很多，常用有：贝叶斯决策、神经网络、支持向量机等等。特别说明的是，本文所谈及的模式识别是指“有老师分类”，即事先知道训练样本所属的类别，然后设计分类器，再用该分类器对测试样本进行识别，比较测试样本的实际所属类别与分类器输出的类别，进而统计正确识别率。正确识别率是反映分类器性能的主要指标。 分类器的设计虽然是模式识别重要一环，但是样本的特征提取才是模式识别最关键的环节。试想如果特征矢量不能有效地描述原样本，那么即使分类设计得再好也无法实现正确分类。工程中我们所遇到的样本一般是一维矢量，如：语音信号，或者是二维矩阵，如：图片等。特征提取就是将一维矢量或二维矩阵转化成一个维数比较低的特征矢量，该特征矢量用于分类器的输入。关于特征提取，在各专业领域中也是一个重要的研究方向，如语音信号的谐振峰特征提取，图片的PCA特征提取等等。 [2]神经网络模式识别 神经网络模式识别的基本原理是，神经网络可以任意逼近一个多维输入输出函数。以三类分类：I、II、III为例，神经网络输入是样本的特征矢量，三类样本的神经网络输出可以是[1;0;0]、[0;1;0]、[0;0;1]，也可以是[1;-1;-1]、[-1;1;-1]、[-1;-1;1]。将所有样本中一部分用来训练网络，另外一部分用于测试输出。通常情况下，正确分类的第I类样本的测试输出并不是[1;0;0]或是[1;-1;-1]，而是如 [0.1;0;-0.2]的输出。也是就说，认为输出矢量中最大的一个分量是1，其它分量是0或是-1就可以了。 [3]支持向量机的多类分类 支持向量机的基本理论是从二类分类问题提出的。我想绝大部分网友仅着重于理解二类分类问题上了，我当初也是这样，认识事物都有一个过程。二类分类的基本原理固然重要，我在这里也不再赘述，很多文章和书籍都有提及。我觉得对于工具箱的使用而言，理解如何实现从二类分类到多类分类的过渡才是最核心的内容。下面我仅以1-a-r算法为例，解释如何由二类分类器构造多类分类器。二类支持向量机分类器的输出为[1,-1]，当面对多类情况时，就需要把多类分类器分解成多个二类分类器。在第一种工具箱LS_SVMlab中，文件Classification_LS_SVMlab.m中实现了三类分类。训练与测试样本分别为n1、n2，它们是3 x 15的矩阵，即特征矢量是三维，训练与测试样本数目均是15；由于是三类分类，所以训练与测试目标x1、x2的每一分量可以是1、2或是3，支持向量机分类器
支持向量机(SVM)原理及
支持向量机概述
支持向量机参数设置详解
支持向量机的实现
基于支持向量机的模式识别
基于支持向量机的故障诊断
支持向量机
支持向量机数据分类预测
基于支持向量机的分类方法
支持向量机及支持向量回归简介
用于分类的支持向量机
支持向量机个人心得
matlab四种支持向量机工具箱