分类算法
分类算法
摘要：分类算法是数据挖掘中的最重要的技术之一。通过对当前提出的最新的具有代表性的分类算法进行分析和比较，总结每类算法的各方面特性，从而便于研究者对已有的算法进行改进，提出具有更好性能的新的分类算法，同时方便使用者在应用时对算法的选择和使用。
关键词：分类算法决策树基于规则贝叶斯人工神经网络支持向量机
分类是挖掘数据的一个重要技术，是数据挖掘中最有应用价值的技术之一，其应用遍及社会各个领域。分类任务就是通过学习得到一个目标函数（通常也称作分类模型，即分类器），把每个属性集映射到一个预先定义的类标号。分类和回归都可以用于预测。和回归方法不同的是，分类的类标号是离散属性，而预测建模的回归的目标属性是连续的。
构造分类器的过程一般分为训练和测试两个阶段。在构造模型之前，要求将数据集随机地分为训练数据集和测试数据集。在训练阶段,分析训练数据集的属性，为每个属性产生一个对相应数据集的属性描述或模型。在测试阶段，利用属性描述或模型对测试数据集进行分类,测试其分类准确度。一般来说，测试阶段的代价远远低于训练阶段。
为了提高分类的准确性、有效性和可伸缩性，在进行分类之前，通常要对数据进行预处理，包括：
(1)数据清理。其目的是消除或减少数据噪声，处理空缺值。
(2)相关性分析。由于数据集中的许多属性可能与分类任务不相关，若包含这些属性将减慢和可能误导学习过程。相关性分析的目的就是删除这些不相关或冗余的属性。
(3)数据变换。数据可以概化到较高层概念。比如，连续值属性“收入”的数值可以概化为离散值：低，中，高。又比如，标称值属性“市”可概化到高层概念“省”。此外，数据也可以规范化, ,规范化将给定属性的值按比例缩放，落入较小的区间，比如[0,1]等。
分类模型的构造方法有决策树类、基于规则类、最近邻类、贝叶斯类、人工神经网络类等。
1决策树分类算法
1.1决策树基本概念
决策树是一种由结点和有向边组成的层次结构，树中包含三种结点；根结点、内部结点和叶结点（终结点）。它采用自顶向下的递归方式，在根结点使用属性将训练数据集区分开，在内部结点进行属性值的比较，并根据不同的属性值从该结点向下分支，树的每个叶结点都赋予一个类标号，即在叶结点得到结论。决策树是实例的分类器。从根到叶结点的一条路径就对应着一条规则，整个决策树就对应着一组析取表达式规则。可将实例分到多个分类(≥2)并以析取范式(DNF)形式重写为规则。这种具有预测功能的系统叫决策树分类器。
1.2常用的决策树算法
决策树分类算法从提出以来，出现了很多算法，比较常用的有：1986年Quinlan提出了著名的ID3算法。ID3算法体现了决策树分类的优点：算法的理论清晰，方法简单，学习能力较强。其缺点是:只对比较小的数据集有效，且对噪声比较敏感，当训练数据集加大时，决策树可能会随之改变，并且在测试属性选择时，它倾向于选择取值较多的属性。
在ID3算法的基础上，1993年Quinlan又自己提出了改进算法—C4. 5算法。为了适应处理大规模数据集的需要，后来又提出了若干改进的算法，其中SLIQ(su-pervised learning in quest)和SPRINT (scalable parallelizable induction of decision trees)是比较有代表性的两个算法，PUBLIC (Pruning and
Building Integrated in Classification)算法是一种很典型的在建树的同时进行剪枝的算法。此外，还有很多决策树分类算法。
1.3决策树技术中的核心问题
建立决策树的目标是通过训练样本集，建立目标变量关于各输入变量的分类预测模型，全面实现输入变量和目标变量不同取值下的数据分组，进而用于对新数据对象的分类和预测。当利用所建决策树对一个新数据对象进行分析时，决策树能够依据该数据输入变量的取值，推断出相应目标变量的分类或取值。
决策树技术中有各种各样的算法，这些算法都存在各自的优势和不足。目前，从事机器学习的专家学者们仍在潜心对现有算法的改进，或研究更有效的新算法总结起来，决策树算法主要围绕两大核心问题展开:第一，决策树的生长问题，即利用训练样本集，完成决策树的建立过程。第二，决策树的剪枝问题，即利用检验样本集，对形成的决策树进行优化处理。以下将主要就这两方面的问题进行论述。
1.4决策树的应用和注意事项
决策树是数据挖掘应用最广的技术之一，一般用于对新数据对象的分类或预测。在实际分析中，决策树还可以应用到其他方面，如生成推理规则，寻找最佳变量等决策树可以看成是推理规则的一种图形表示，可以在决策树的基础之上产生推理规则。另外，由于决策树的建立过程是一个不断选择最佳输入变量的过程。因此，在划分数据方面，高层结点上的输入变量比低层结点上的输入变量更有价值，所以可以将决策树看成一种测度变量价值大小的工具。
应用决策树技术时应注意以下几个问题：
第一，一般的决策树算法中，决策树的每个分枝判断只能针对单个输入变量值进行，无法同时根据多个输入变量的取值情况进行判断，这会在一定程度上限制决策树的应用范围。从而，需要事先对变量进行处理。
第二，决策树所处理的输入变量的类型可以是定距型，也可以是定类或定序型。在处理不同类型数据时，决策树有各自的优点和问题：当输入变量是定距型时，决策树技术的主要优势是：当数据采用不同的计量单位或当数据中存在离群点时，不会给决策树带来显著影响，因而不会给数据的准备工作带来额外负担;缺点是：忽略了数据所中蕴涵的分布形态的信息。当输入变量是定类或定序型时，决策树的建树效率会较高。但主要的问题是:当输入变量的分类值很多且取值分布极为分散时，决策树会过于“茂盛”，使得树结点上的样本量随着树层数的增加而快速下降，不利于决策树的合理生长改进的方法是将样本量较少的类合并，但由于类间合并有很多可选择的方案，只有穷尽所有的类合并方案后才有可能得到较好的合并结果，但穷尽的可行性会受到实际应用的限制。
1.5决策树算法的实例
决策树分类可应用在钢铁厂轧辊选择中，用于决策是否更换某一轧辊的情况，在钢铁厂中，轧辊是易磨损的，且轧辊选择中，用于决策是价格比较高，需要经常更换，使用成本比较高。而且一旦轧辊出了问题，可能会造成很大的损失。正确的决策是否更换某一轧辊，使得公司的效益最大化，具有重要的现实意义。把以往的更换情况整理的数据作为训练集，然后对影响是否更换的相关特征进行数据挖掘，从而可得到对轧辊的选择的决策进行指导的有意义的知识。在进行挖掘前，首先对数据进行清理，可采用平滑技术消除或减少噪声，用该属性最常用的值处理空缺值。用决策树算法进行分类，要求处理连续属性和离散属性。在选择中，轧辊受役龄、价格、是否关键部件和磨损程度等多种因素影响，通过分类算法得到决策树，用来决策正在生产线上的某一轧辊是否需要更换。
表1中的数据是从钢铁厂的轧辊更换的数据库中抽取出的部分数据，含有5个属性：役龄、价格、是否关键部件、磨损程度和是否更换。利用这样的少量的数据来说明决策树分类在钢铁厂轧辊选择中的应用。
表1 轧辊更换情况数据库训练数据
使用信息增益进行属性选择：
更新的备件数为s1，不更新的备件数为s2。
I (s1, s2)=I(9, 5)=0.94
E(役龄)=0.694
Gain(役龄)=0.245
同理，Gain(价格)=0. 21, Gain(是否关键部件)=0. 15, Gain(磨损程度)=0. 10
因为Gain(磨损程度) 图1使用ID3算法得到轧辊是否更换问题的决策树 这样的通过训练集得到的决策树分类模型就可以用来对新数据进行分类了，即可以判断生产线上的轧辊是否需要更换了。 2基于规则分类算法 2.1基于规则分类器概念 基于规则的分类器是使用一组“if …then ”规则来分类记录的技术。模型店规则用析取范式 R=（r 1 v r 2 v ···v r k ）表示，而每一项分类规则可以表示为如下形式： r i （条件i ）——>y i 其中R 称作规则集，r i 是分类规则或析取项，给则的左边称为规则前件，右边称为规则后件。如果规则r 的前件和记录x 的属性匹配，则称r 覆盖x 。 分类规则的质量可以用覆盖率和准确率（或置信因子）来度量。若给定数据集D 和条件A ，则有： 覆盖率=D A 准确率=A y A ? 其中A 是满足规则前件的记录数，y ?A 是同时满足规则前件和后件的记录数，D 是记录总数。 2.2基于规则分类器工作原理 基于规则的分类器根据测试记录所触发的规则来分类记录，所产生的规则集有两个重要的性质：第一是互斥规则，如果规则集R 中不存在两条规则被同一条记录触发；第二是穷举规则，如果对属性值的任一组合，R 中都存在一条规则加以覆盖。两个性质可以保证每一条记录被且仅被一条规则覆盖。而解决规则集不是互斥的所带来可能相互冲突的预测规则有两种方法：第一是有序规则，使规则集中的规则按照优先等级排序，避免由多条预测而产生的类冲突的问题；第二是无需规则，把每条规则的后件看做是对相应的一次投票，然后计票确定测试记录的类标号，可以避免由于选择不当的规则而产生的错误影响，其次模型的开销相对较小，从而不必维护规则的顺序。 2.3基于关联规则(CBA: Classification Based on Association Rule)的分类算法 CBA 算法主要是通过发现样本集中的关联规则来构造分类器。关联规则的发现采用经典算法Apriori ，通过迭代检索出数据集中所有的频繁项集，即支持度小低于用户设定阈值的项集。此算法的优点是发现的规则相对较全面且分类准确度较高，其缺点是：①当潜在频繁2项集规模较大时，算法会受到硬件内存的制约，导致系统I/O 负荷过重；②由于对数据的多次扫描和JOIN 运算所产生潜在频繁项集，Apriori 算法的时问代价高昂。 针对Apriori 算法的缺陷，LIG(large items generation)算法在求解频繁1项集的同时计算相应项的相关区问，以此得到缩小了的项集的潜在频繁2项集。频繁模式增长((FP)算法放弃利用潜在频繁项集求解频繁项集的做法，进而提出频率增长算法。该算法通过扫描数据集得到频繁项的集合以及各项支持度，并按支持度大小降序排列频繁项目列表，然后通过构造一个FP —树来进行关联规则挖掘。其优点是:在完备性上，它不会打破任何模式且包含挖掘所需的全部信息；而在紧密性方面，它能剔除不相关信息，并不包含非频繁项，故支持度高的项在FP —树中共享机会也高。该算法比Apriori 快一倍，但当数据集过大时，所构建的FP —树仍受内存制约。 3贝叶斯分类算法 贝叶斯分类器是对属性集和类变量的概率关系建模，可以预测类成员间的关系的可能，是探索、处理不确定性知识领域的一种简洁而有效的方法，以概率理论为基础，其学习和推理都由概率规则实现，该算法关键在于使用概率表示各种形式的不确定性，原理是把类的先验知识和从数据中收集 的新证据相结合。 3.1贝叶斯定理 设X 是类标号未知的数据样本。设Y 为某种假定，如数据样本X 属于某特定的类C 。对于分类问题，我们希望确定P(Y | X)—给定观测数据样本X ，假定Y 成立的概率。X) | P(Y 是后验概率，或称条件X 下Y 的后验概率。例如，假定数据样本域由水果组成，用它们的颜色和形状描述。假定X 表示红色和圆的，Y 表示假定X 是苹果，则P(Y | X)反映当看到X 是红色并是圆的时，对X 是苹果的确信程度。作为对比，P(Y)是先验概率，或称Y 的先验概率。给定一例子，它是任意给定的数据样本中为苹果的概率，而不管数据样本看上去如何。后验概率P(Y | X)比先验概率P(Y)基于更多的信息(如背景知识)。P(Y)是独立于X 的。类似地，P(X | Y)是条件Y 下，X 的后验概率。即是说它是已知X 是苹果，X 是红色并且是圆的的概率。P(X)是X 的先验概率。使用该例子，它是由水果集取出一个数据样本是红的和圆的的概率。如何计算这些概率下面将要讨论的，P(X),P(Y)和P(X | Y)可以由给定的数据计算。贝叶斯定理就提供了一种由P(X) ,P(Y)和P(X | Y)计算后验概率P(Y | X)的方法。此方法是： P(Y | X)=P(X)Y)P(Y)|P(X 在比较不同Y 值的后验概率时，分母P(X)总是常数，因此可以忽略。先验概率P(Y)可以通过计算训练集中属于每个类的训练记录所占的比例很容易的估计。对类条件概率Y) | P(X 的估计，朴素贝叶斯分类器和贝叶斯信念网络可以对之实现。 3.2朴素贝叶斯分类器 朴素贝叶斯分类器基于一个简单的假定:在给定目标值时属性值之间相互条件独立（一个属性值对给定类的影响独立于其他属性值）。换言之，该假定说明给定实例的目标值情况下，观察到联合的的概率正好是对每个单独属性的概率乘积，形式化的表述如下： ∏====d i i Y X P Y X P 1 )y ()y ( 其中每个属性集X={X 1，X 2，···，X d }包含d 个属性。 3.3朴素贝叶斯分类方法特征 朴素贝叶斯法是一种简单而易实现的分类方法，但在处理属性时，它假设一个属性对给定类的影响独认于其它属性，在实际情况中此种假设过于简单，属性之间的依赖性难免会影响到朴素贝叶斯算法的挖掘能力。对此可以结合属性选择程序，在决策过程中仔细挑选属性子集，去除数据冗余造成的非独认属性。为降低独立性假设，也出现了许多对贝叶斯改进的分类算法，如，TAN 算法、贝叶斯网络、半朴素贝叶斯算法、BAN 算法等多种改进算法。各类算法不断向更高级、更多样化和更综合化方向发展，使学习方案更加精细，从而得出更加完善的预测结果。 4人工神经网络 4.1人工神经网络基本理论 人工神经网络是在研究生物神经系统的启发下发展起来的一种信息处理方法.它模拟生物神经系统结构，由大量处理单元组成非线性自适应动态系统，具有高度非线性的超大规模实践非线性动力特性，网络的全局作用、大规模并行分布处理及高度的鲁棒性和容错性，有联想记忆、抽象概括和自适应能力。而这种抽象概括和自适应能力一般称之为自学能力。自学习是神经元最重要的特征，通过学习能够分析数据中的模式来构造模型，对大量数据样本的学习，发现新知识.神经网络能够通过学习，按照一定的规则自动调节神经元之间的输入输出，改变其内部状态，使输入输出呈现出某 种规律性。 神经网络为解决复杂的问题提供了一种相对来说较有效的简单方法.它可以很容易解决具有上百个参数甚至更多参数的问题.神经网络常用于两类问题:分类和回归.在结构上，可以把一个神经网络划分为输人层、输出层和隐含层.输人层的每个节点对应一个个的预测变量，输出层的节点对应目标变量，可有多个.输人层和输出层之间是隐含层，隐含层的层数和每层节点的个数决定了神经网络的复杂度。 4.2神经网络学习的步骤及算法 神经网络学习的目的就是对某一特定的输入产生一个希望的输出，这就需要网络不断的调整连接弧权值。一般来说，BP 算法主要有以下几个步骤： ( 1)初始化网络权值W ij 、阈值θj ，学习因子Z 。 ( 2)对一些指标量纲不统一的训练样本我们可以对其进行归一化处理使其转化为统一量纲的数据;但如果量纲统一与否对训练学习并无影响时，可以不作处理。 ( 3)如果任意设置网络初始权值W ij 、阈值、学习因子Z ，那么对每个输入模式P ，网络实际输出（Q pj ）与期望输出(y pj )间误差为： Ep= ()2j pj pj Q y 2 1 ∑- 则总误差为：E= ∑p 21 p E p 。 如果总误差| E |≤X 时，X>0，则学习成功，算法结束；否则，进行下一步。 ( 4)对样本集中各个样本依次重复(4), ( 5)步，然后转入步3 设学习样本集包括M 个样本模式(x k , y k )，设节点i 是节点j 的上一层节点；W ji 为节点i,j 之间的连上接权值；θj 为节点j 的万阈值。对第P （P=1,2，···，M ）个学习样本（x pk , y pk ）,对应j 的输入综合记为ɑpj ,输出记为Q pj ,则: Q pj =f(ɑpj )= apj -e -11 ɑpj = j N j pj ji Q w θ-∑=0 其中ɑpj 是节点i 的输出，又是节点j 的输入； (5)对各连接权值w jt 按下面的公式进行修改： W ji （t+1）= W ji （t ）+ ZW pj Q pj Q j （t+1）= Q j （t ）+ UW pj 其中： W pj =?? ???-----∑k kj pk pj pj pj pj pj pj w W a a Q y a a 对于中间节点对于输出节点)()1())(1(， 算法中W pj 的称为节点j 的误差。 学习参数值的大小对BP 算法的学习速度影响很大。一般说来，参数值越大，由误差所作的修正值也越大，学习速度也越快.但过大，将引起系统振荡，反而降低学习性能，引起不收敛.最优选择参数值是很困难的，但经过多次调试一定可以找到适当的参数值。 由此可以看出，网络学习的目的就是使这个误差函数达到最小值。上面(s)式及娜内定义，就是梯度下降法，在权值空间沿负梯度方向调整权值，以使总误差函数(2)达到最小。所以BP 网络的学 习过程就是一个非线性优化过程。 5支持向量机 支持向量机(Support Vector Machine, SVM)的重要理论基础是统计学习理论的VC维理论和结构风险最小化原理。SVM根据有限的样本信息在模型的复杂性和学习能力之间寻求最佳折衷，以期获得最好的推广能力。SVM可以自动寻找对分类有较好区分能力的支持向量，由此构成的分类器可以最大化类与类之间的间隔。 5.1支持向量机主要优点包括: （1）它是专门针对有限样本情况的，其口标是得到现有信息下的最优解，而不仅仅是样本数口趋于无穷大时的最优值； （2）算法最终转化为一个二次型寻优问题。从理论上说，得到的将是全局最优点，解决了在神经网络方法中无法避免的局部极值问题； （3）算法将实际问题通过非线性变换到高维的特征空间，在高维空间中构造线性判别函数以替换原空间中的非线性判别函数，这样能保证机器有较好的推广能力，同时它巧妙地解决了维数问题，算法复杂度与样本维数无关。 SVM算法有很多成功的应用领域，如人脸识别、手写体识别、指纹识别等。这些应用都说明了基于VC维理论和结构风险最小化原理而发展起来的结构化学习方法的潜在优势。 5.2目前SVM研究中仍需要解决的一些难点，包括如下的一些方面: （1）核函数和参数的构造和选择缺乏理论指导。核函数的选择影响着分类器的性能，如何根据待解决问题的先验知识和实际样本数据，选择和构造合适的核函数、确定核函数的参数等问题，都缺乏相应的理论指导。 （2）训练大规模数据集的问题。如何解决训练速度与训练样本规模间的矛盾，测试速度与支持向量数口间的矛盾，找到对大规模样本集有效的训练算法和分类实现算法，仍是未很好解决的问题。 （3）多类分类问题的有效算法与SVM优化设训一问题。尽管训练多类SVM问题的算法已被提出，但用于多类分类问题时的有效算法、多类SVM的优化设计仍是一个需要进一步研究的问题。 参考文献 [1]刘红岩,陈剑,陈国青.数据挖掘中的数据分类算法综述[J].清华大学学报(自然科学版),2002,06:727-730. [2]罗海蛟,刘显.数据挖掘中分类算法的研究及其应用[J].微机发展,2003,S2:48-50. [3]罗可,林睦纲,郗东妹.数据挖掘中分类算法综述[J].计算机工程,2005,01:3-5+11. [4]张剑飞.数据挖掘中决策树分类方法研究[J].长春师范学院学报,2005,02:96-98. [5]陈红玉.数据挖掘中贝叶斯分类算法的研究[J].光盘技术,2009,07:57-58. [6]王建林,王学玲.数据挖掘中的贝叶斯分类器[J].长春理工大学学报,2006,03:51-53. [7]杨学兵,张俊.决策树算法及其核心技术[J].计算机技术与发展,2007,01:43-45. [8]谢斌.朴素贝叶斯分类在数据挖掘中的应用[J].甘肃联合大学学报(自然科学版),2007,04:79-82+91. [9]魏晓云.决策树分类方法研究[J].计算机系统应用,2007,09:42-45. [10]李艳,刘信杰,胡学钢.数据挖掘中朴素贝叶斯分类器的应用[J].潍坊学院学报,2007,04:48-50. [11]程继华,魏暑生,施鹏飞.基于概念的关联规则的挖掘[J].郑州大学学报(自然科学版),1998,02:29-32. [12]娄兰芳,蒋志方,王乐强.数据挖掘中关联规则的有趣性研究[J].现代计算机(专业版),2002,10:10-13. [13]王建国,张玥.基于数据挖掘的BP神经网络模型的一种改进算法[J].内蒙古科技大学学报,2008,03:248-250. [14]孙建平,史忠植.数据挖掘中关联规则的教学研究[J].高等理科教育,2002,02:40-44. [15]马杰,胡海峰,马玉书.基于人工神经网络的数据挖掘工具[A].中国计算机学会数据库专业委员会.第十七届全国数据库学术会议论文集（技术报告篇）[C].中国计算机学会数据库专业委员会:,2000:6. [16]邵有为.人工神经网络在数据挖掘中的潜在应用[J].煤炭技术,2011,05:163-165. [17]韩彦峰,段向前.人工神经网络在数据挖掘中的应用[J].西安建筑科技大学学报(自然科学版),2005,01:121-124. [18]段纪军,陈琳,王海燕,田娜.基于数据挖掘技术与支持向量机的目标识别研究[J].计算机与数字工程,2004,06:41-44+72. [19]陶卿,曹进德,孙德敏.基于支持向量机分类的回归方法[J].软件学报,2002,05:1024-1028. [20]朱凌云,曹长修.基于支持向量机的缺陷识别方法[J].重庆大学学报(自然科学版),2002,06:42-45. 目标跟踪算法的分类 主要基于两种思路： a)不依赖于先验知识，直接从图像序列中检测到运动目标，并进行目标识别，最终跟踪感兴趣的运动目标； b)依赖于目标的先验知识，首先为运动目标建模，然后在图像序列中实时找到相匹配的运动目标。 一．运动目标检测 对于不依赖先验知识的目标跟踪来讲，运动检测是实现跟踪的第一步。运动检测即为从序列图像中将变化区域从背景图像中提取出来。运动目标检测的算法依照目标与摄像机之间的关系可以分为静态背景下运动检测和动态背景下运动检测 （一）静态背景 1.背景差 2.帧差 3.GMM 4.光流 背景减算法可以对背景的光照变化、噪声干扰以及周期性运动等进行建模，在各种不同情况下它都可以准确地检测出运动目标。因此对于固定 个关键技术： a)匹配法则，如最大相关、最小误差等 b)搜索方法，如三步搜索法、交叉搜索法等。 c) 块大小的确定，如分级、自适应等。 光流法 光流估计的方法都是基于以下假设：图像灰度分布的变化完全是目标或者场景的运动引起的，也就是说，目标与场景的灰度不随时间变化。这使得光流方法抗噪声能力较差，其应用范围一般局限于目标与场景的灰度保持不变这个假设条件下。另外，大多数的光流计算方法相当复杂，如果没有特别的硬件装置，其处理速度相当慢，达不到实时处理的要求。 二．目标跟踪 运动目标的跟踪，即通过目标的有效表达，在图像序列中寻找与目标模板最相似候选目标区位置的过程。简单说，就是在序列图像中为目标定位。运动目标的有效表达除了对运动目标建模外，目标跟踪中常用到的目标特性表达主要包括视觉特征 (图像边缘、轮廓、形状、纹理、区域)、统计特征 (直方图、各种矩特征)、变换系数特 实验二分类挖掘算法（ID3） 一、实验目的 1、理解分类 2、掌握分类挖掘算法ID3 3、为改进ID3打下基础 二、实验内容 1、选定一个数据集（可以参考教学中使用的数据集） 2、选择合适的实现环境和工具实现算法ID3 3、给出分类规则 三、实验原理 决策树是一种最常见的分类算法，它包含有很多不同的变种，ID3算法是其中最简单的一种。ID3算法中最主要的部分就是信息熵和信息增益的计算。 信息熵的计算公式如下。 信息增益的计算公式为： 其中P(ui)为类别ui在样本S中出现的概率，A是样本的属性，Value(A)是属性A所有取值的集合，v是Ａ得其中一个属性值。Sv是S中A的值为v的样例集合。 ID3算法的流程就是在属性集A中寻找信息增益值最大的属性，作为根节点，按照根节点属性的取值将样本集合分成几个子集，将此属性从属性集中去掉，在每个子集中选择信息增益值最大的属性，作为当前子集的根节点，上层集合的根节点的子节点，如此循环递归，如果得到的子集中所有的样本属于一个类别，则递归停止。 四、实验要求 1、数据集具有一定的代表性，可以使用数据库技术管理 2、实现界面友好 3、提交实验报告：实验题目、目的、数据集描述、实验环境、过程、结果和分析等。 五、实验步骤 1、所采用的数据集，如图1所示： 2、具体步骤 构造决策树的方法是采用自上而下的递归构造，其思路是： 1)以代表训练样本的单个结点开始建树（步骤1）。 2)如果样本都在同一类，则该结点成为树叶，并用该类标记（步骤2和3）。 3)否则，算法使用称为信息增益的机遇熵的度量为启发信息，选择能最好地将样本分类的属性（步骤6）。该属性成为该结点的“测试”或“判定”属性（步骤7）。值得注意的是，在这类算法中，所有的属性都是分类的，即取离散值的。连续值的属性必须离散化。 4)对测试属性的每个已知的值，创建一个分支，并据此划分样本（步骤8~10）。 5)算法使用同样的过程，递归地形成每个划分上的样本决策树。一旦一个属性出现在一个结点上，就不必考虑该结点的任何后代（步骤13）。 6)递归划分步骤，当下列条件之一成立时停止： ①给定结点的所有样本属于同一类（步骤2和3）。 ②没有剩余属性可以用来进一步划分样本（步骤4）。在此情况下，采用多数表决（步骤5）。这涉及将给定的结点转换成树叶，并用samples中的多数所在类别标记它。换一种方式，可以存放结点样本的类分布。 ③分支test_attribute=ai 没有样本。在这种情况下，以samples中的多数类创建一个树叶（步骤12）。 JAVA常用的高级数据类型——集合类型 一、JAVA语言中的集合类型主要有三种形式：Set（集）、List（列表）、Map（映射），每种类型的集合都包括三部分：接口、实现和算法。 a)集合接口实现集合的操作和集合的具体功能实现细节的相互分离—— Set接口、List接口、Map接口 b)集合的具体功能实现类实质上是各种可重用的数据结构的具体表示 List接口的实现类有ArrayList、LinkedList、Stack和Vector等 集合类，Vector 类提供了实现可增长数组的功能，随着更多元素加 入其中，数组变的更大。在删除一些元素之后，数组变小。 Set接口的实现类有HashSet、LinkedHashSet和TreeSet等集合类 Map接口的实现类有HashMap、Hashtable、LinkedHashMap、Properties和TreeMap等集合类。 c)集合的算法指可以对实现集合接口的各个集合的功能实现类提供如排 序、查找、交换和置换等方面的功能实现。 二、List接口 1.List接口代表有序的集合，可以对List接口代表的有序集合中每个元素 的插入位置进行精确地控制，并利用元素的整数索引（代表元素在集合中的位置）访问元素中的各个成员，List接口代表的集合是允许出现重复元素的。 2.List接口主要成员方法： 1）void add（int index,E element）在列表指定位置插入指定元素 2）E get(int index) 返回结合中指定位置的元素 3）E remove(int index) 移除集合中指定位置的元素 4）E set(int index,E elment) 用指定元素替换集合中指定位置的元素 5）boolean add(E o) 向列表的尾部追加指定的元素 6）boolean contains(Object o) 如果列表包含指定的元素，则返回true。 7）boolean isEmpty() 如果列表不包含元素，则返回 true。 8）int size() 返回列表中的元素数 9）Iterator iterator()返回以正确顺序在列表的元素上进行迭代的迭代器。 3.List的实现类 List在数据结构中分别表现为数组（ArrayList）、向量（Vector）、链表（LinkedList）、堆栈（Stack）和队列等形式。 Vector集合和ArrayList集合都是采用数组形式来保存对象，区别在于ArrayList集合本身不具有线程同步的特性，不能用在多线程的环境下，可以使用ArrayList集合能够节省由于同步而产生的系统性能的开销。而Vector集合实现了对线程同步的支持，因此在多线程并发访问的应用环境下，该集合本身能够保证自身具有线程安全性。在多线程的并发访问中，可以将Vector集合的对象实例设计为类中的成员属性，而应该将ArrayList 集合的对象实例设计为局部对象。 public class UserInfo{ List oneVector=new Vector(); public void execute(){ 实验4 分类 分类算法是解决分类问题的方法，是数据挖掘、机器学习和模式识别中一个重要的研究领域。分类算法通过对已知类别训练集的分析，从中发现分类规则，以此预测新数据的类别。分类算法的应用非常广泛，银行中风险评估、客户类别分类、文本检索和搜索引擎分类、安全领域中的入侵检测以及软件项目中的应用等等。 Bayes 贝叶斯分类器的分类原理是通过某对象的先验概率，利用贝叶斯公式计算出其后验概率，即该对象属于某一类的概率，选择具有最大后验概率的类作为该对象所属的类。目前研究较多的贝叶斯分类器主要有四种，分别是：Naive Bayes、TAN、BAN 和 GBN。 1、贝叶斯网络(BayesNet) 贝叶斯网络是一个带有概率注释的有向无环图，图中的每一个结点均表示一个随机变量 , 图中两结点间若存在着一条弧，则表示这两结点相对应的随机变量是概率相依的，反之则说明这两个随机变量是条件独立的。网络中任意一个结点X 均有一个相应的条件概率表Conditional Probability Table，CPT) ，用以表示结点 X 在其父结点取各可能值时的条件概率。若结点 X 无父结点 , 则 X 的 CPT 为其先验概率分布。贝叶斯网络的结构及各结点的 CPT 定义了网络中各变量的概率分布。应用贝叶斯网络分类器进行分类主要分成两阶段。第一阶段是贝叶斯网络分类器的学习，即从样本数据中构造分类器，包括结构学习和 CPT 学习；第二阶段是贝叶斯网络分类器的推理，即计算类结点的条件概率，对分类数据进行分类。这两个阶段的时间复杂性均取决于特征值间的依赖程度，甚至可以是 NP 完全问题，因而在实际应用中，往往需要对贝叶斯网络分类器进行简化。根据对特征值间不同关联程度的假设，可以得出各种贝叶斯分类器。 2、朴素贝叶斯(NaiveBayes) 朴素贝叶斯模型(NBC)发源于古典数学理论，有着坚实的数学基础，以及稳定的分类效率。同时，NBC 模型所需估计的参数很少，对缺失数据不太敏感，算法也比较简单。NBC 模型假设属性之间相互独立，这个假设在实际应用中往往是不成立的，这给 NBC 模型的正确分类带来了一定影响。在属性个数比较多或者属性之间相关性较大时，NBC 模型的分类效率比不上决策树模型。而在属性相关性较小时，NBC 模型的性能最为良好。 Lazy Learning 相对其它的 Inductive Learning 的算法来说，Lazy Learning 的方法在训练是仅仅是保存样本集的信息，直到测试样本到达时才进行分类决策。也就是说这个决策模型是在测试样本到来以后才生成的。相对与其它的分类算法来说，这类的分类算法可以根据每个测试样本的样本信息来学习模型，这样的学习模型可能更好的拟合局部的样本特性。kNN 算法的思路非常简单直观：如果 https://www.360docs.net/doc/a311734158.html, 解读差异——分类算法与聚类算法_光环大数据培训 光环大数据培训机构了解到，学习数据挖掘的朋友，对分类算法和聚类算法都很熟悉。无论是分类算法还是聚类算法，都有许多具体的算法来实现具体的数据分析需求。很多时候，我们难以判断选择分类或者聚类的场合是什么。我们最直观的概念是，分类和聚类都是把某个被分析的对象划分到某个类里面，所以觉得这两种方法实际上是差不多一回事。然而当我们学习了许多具体算法之后再回来看，分类和聚类所实现的数据分析功能实际上是大相径庭的，他们之间不仅仅有算法上的具体差异，更重要的是，甚至他们的应用领域和所解决的具体问题都不一样。 1. 类别是否预先定义是最直观区别 算法书上往往这样解释二者的区别：分类是把某个对象划分到某个具体的已经定义的类别当中，而聚类是把一些对象按照具体特征组织到若干个类别里。虽然都是把某个对象划分到某个类别中，但是分类的类别是已经预定义的，而聚类操作时，某个对象所属的类别却不是预定义的。所以，对象所属类别是否为事先，是二者的最基本区别。而这个区别，仅仅是从算法实现流程来看的。 2. 二者解决的具体问题不一样 分类算法的基本功能是做预测。我们已知某个实体的具体特征，然后想判断这个实体具体属于哪一类，或者根据一些已知条件来估计感兴趣的参数。比如：我们已知某个人存款金额是10000元，这个人没有结婚，并且有一辆车，没有固定住房，然后我们估计判断这个人是否会涉嫌信用欺诈问题。这就是最典型的分类问题，预测的结果为离散值，当预测结果为连续值时，分类算法可以退化为计量经济学中常见的回归模型。分类算法的根本目标是发现新的模式、新的知识，与数据挖掘数据分析的根本目标是一致的。 聚类算法的功能是降维。假如待分析的对象很多，我们需要归归类，划划简，从而提高数据分析的效率，这就用到了聚类的算法。很多智能的搜索引擎，会将返回的结果，根据文本的相似程度进行聚类，相似的结果聚在一起，用户就很容 数据挖掘分类算法比较 分类是数据挖掘、机器学习和模式识别中一个重要的研究领域。通过对当前数据挖掘中具有代表性的优秀分类算法进行分析和比较，总结出了各种算法的特性，为使用者选择算法或研究者改进算法提供了依据。 一、决策树（Decision Trees） 决策树的优点： 1、决策树易于理解和解释.人们在通过解释后都有能力去理解决策树所表达的意义。 2、对于决策树，数据的准备往往是简单或者是不必要的.其他的技术往往要求先把数据一般化，比如去掉多余的或者空白的属性。 3、能够同时处理数据型和常规型属性。其他的技术往往要求数据属性的单一。 4、决策树是一个白盒模型。如果给定一个观察的模型，那么根据所产生的决策树很容易推出相应的逻辑表达式。 5、易于通过静态测试来对模型进行评测。表示有可能测量该模型的可信度。 6、在相对短的时间内能够对大型数据源做出可行且效果良好的结果。 7、可以对有许多属性的数据集构造决策树。 8、决策树可很好地扩展到大型数据库中，同时它的大小独立于数据库的大小。 决策树的缺点： 1、对于那些各类别样本数量不一致的数据，在决策树当中,信息增益的结果偏向于那些具有更多数值的特征。 2、决策树处理缺失数据时的困难。 3、过度拟合问题的出现。 4、忽略数据集中属性之间的相关性。 二、人工神经网络 人工神经网络的优点：分类的准确度高,并行分布处理能力强,分布存储及学习能力强，对噪声神经有较强的鲁棒性和容错能力，能充分逼近复杂的非线性关系，具备联想记忆的功能等。 人工神经网络的缺点：神经网络需要大量的参数，如网络拓扑结构、权值和阈值的初始值；不能观察之间的学习过程，输出结果难以解释，会影响到结果的可信度和可接受程度；学习时间过长,甚至可能达不到学习的目的。 iSIGHT中优化方法种类 iSIGHT里面的优化方法大致可分为三类： 1 数值优化方法 数值优化方法通常假设设计空间是单峰值的，凸性的，连续的。iSIGHT中有以下几种： （1）外点罚函数法（EP）： 外点罚函数法被广泛应用于约束优化问题。此方法非常很可靠，通常能够在有最小值的情况下，相对容易地找到真正的目标值。外点罚函数法可以通过使罚函数的值达到无穷值，把设计变量从不可行域拉回到可行域里，从而达到目标值。 （2）广义简约梯度法（LSGRG2）： 通常用广义简约梯度算法来解决非线性约束问题。此算法同其他有效约束优化一样，可以在某方向微小位移下保持约束的有效性。 （3）广义虎克定律直接搜索法： 此方法适用于在初始设计点周围的设计空间进行局部寻优。它不要求目标函数的连续性。因为算法不必求导，函数不需要是可微的。另外，还提供收敛系数（rho），用来预计目标函数方程的数目，从而确保收敛性。 （4）可行方向法（CONMIN）： 可行方向法是一个直接数值优化方法，它可以直接在非线性的设计空间进行搜索。它可以在搜索空间的某个方向上不断寻求最优解。用数学方程描述如下： Design i = Design i-1 + A * Search Direction i方程中，i表示循环变量，A表示在某个空间搜索时决定的常数。它的优点就是在保持解的可行性下降低了目标函数值。这种方法可以快速地达到目标值并可以处理不等式约束。缺点是目前还不能解决包含等式约束的优化问题。 （5）混合整型优化法（MOST）： 混合整型优化法首先假定优化问题的设计变量是连续的，并用序列二次规划法得到一个初始的优化解。如果所有的设计变量是实型的，则优化过程停止。否则，如果一些设计变量为整型或是离散型，那么这个初始优化解不能满足这些限制条件，需要对每一个非实型参数寻找一个设计点，该点满足非实型参数的限制条件。这些限制条件被作为新的约束条件加入优化过程，重新优化产生一个新的优化解，迭代依次进行。在优化过程中，非实型变量为重点考虑的对象，直到所有的限制条件都得到满足，优化过程结束，得到最优解。 （6）序列线性规划法（SLP）：序列线性规划法利用一系列的子优化方法来解决约束优化问题。此方法非常好实现，适用于许多工程实例问题。 （7）序列二次规划法（DONLP）： 此方法对拉各朗日法的海森矩阵进行了微小的改动，进行变量的缩放，并且改善了armijo型步长算法。这种算法在设计空间中通过梯度投影法进行搜索。 （8）序列二次规划法（NLPQL）： 这种算法假设目标函数是连续可微的。基本思想是将目标函数以二阶拉氏方程展开，并把约束条件线性化，使得转化为一个二次规划问题。二阶方程通过quasi－Newton公式得到了改进，而且加入了直线搜索提高了算法的稳定性。 （9）逐次逼近法（SAM）： 逐次逼近法把非线性问题当做线性问题来处理。使用了稀疏矩阵法和单纯形法求解线性问题。如果某个变量被声明成整型，单纯形法通过重复大量的矩阵运算来达到预期的最优值。逐次逼近法是在M. Berkalaar和J.J. Dirks提出的二次线性算法。 2 探索优化方法 探索优化法避免了在局部出现最优解的情况。这种方法通常在整个设计空间中搜索全局最优值。iSIGHT中有以下两种： （1）多岛遗传算法（MIGA）： 在多岛遗传算法中，和其他的遗传算法一样每个设计点都有一个适应度值,这个值是建立在目标函 HUNAN UNIVERSITY 人工智能实验报告 题目实验三：分类算法实验 学生姓名蒙寿伟 学生学号201408070120 专业班级智能科学与技术1401班 指导老师袁进 日期2017年5月15日 一．实验目的 1.了解朴素贝叶斯算法和决策树算法的基本原理； 2.能够使用朴素贝叶斯算法或者决策树算法对数据进行分类 3.学会对于分类器的性能评估方法 二、实验的硬件、软件平台 硬件：计算机 软件：操作系统：WINDOWS 2000 应用软件：C,Java 或者Matlab 三、实验相关知识 贝叶斯定理：) () ()|()|(P A P B P B A P A B = P(A)是 A 的先验概率，之所以称为“先验”是因为它不考虑任何 B 方面的因素。 P(A|B)是已知 B 发生后 A 的条件概率，也由于得自 B 的取值而被称作 A 的后验概率。 P(B|A)是已知 A 发生后 B 的条件概率，也由于得自 A 的取值而被称作 B 的后验概率。 P(B)是 B 的先验概率，也作标淮化常量（normalizing constant ）。 以第一条数据为例：vhigh,vhigh,2,2,small,low,unacc ClassValues: unacc, acc, good, vgood 对应P(Bi)。（i=0,1,2,3） 分别算出 取其中的最大值，其中，P(A)的值相同，可以不算出来。 If(P(B|A)最大 == 测试样例.ClassValues) return true; Else return false; buying:vhigh,high,med,low.maint:vhigh,high,med,low.doors:2,3,4,5more. Persons:2,4,more.lug_boot:small,med,big.safety:low,med, high. （i=0,1,2,3 ） ) ()0()0|()|0(P A P B P B A P A B =)() 1()1|()|1(P A P B P B A P A B =) ()2()2|()|2(P A P B P B A P A B =)() 3()3|()|3(P A P B P B A P A B = 大数据常用的算法（分类、回归分析、聚类、关联规则） 在大数据时代，数据挖掘是最关键的工作。大数据的挖掘是从海量、不完全的、有噪声的、模糊的、随机的大型数据库中发现隐含在其中有价值的、潜在有用的信息和知识的过程，也是一种决策支持过程。其主要基于人工智能，机器学习，模式学习，统计学等。通过对大数据高度自动化地分析，做出归纳性的推理，从中挖掘出潜在的模式，可以帮助企业、商家、用户调整市场政策、减少风险、理性面对市场，并做出正确的决策。目前，在很多领域尤其是在商业领域如银行、电信、电商等，数据挖掘可以解决很多问题，包括市场营销策略制定、背景分析、企业管理危机等。大数据的挖掘常用的方法有分类、回归分析、聚类、关联规则、神经网络方法、Web 数据挖掘等。这些方法从不同的角度对数据进行挖掘。 (1)分类。分类是找出数据库中的一组数据对象的共同特点并按照分类模式将其划分为不同的类，其目的是通过分类模型，将数据库中的数据项映射到摸个给定的类别中。可以应用到涉及到应用分类、趋势预测中，如淘宝商铺将用户在一段时间内的购买情况划分成不同的类，根据情况向用户推荐关联类的商品，从而增加商铺的销售量。 (2)回归分析。回归分析反映了数据库中数据的属性值的特性，通过函数表达数据映射的关系来发现属性值之间的依赖关系。它可以应用到对数据序列的预测及相关关系的研究中去。在市场营销中，回归分析可以被应用到各个方面。如通过对本季度销售的回归分析，对下一季度的销售趋势作出预测并做出针对性的营销改变。 (3)聚类。聚类类似于分类，但与分类的目的不同，是针对数据的相似性和差异性将一组数据分为几个类别。属于同一类别的数据间的相似性很大，但不同类别之间数据的相似性很小，跨类的数据关联性很低。 (4)关联规则。关联规则是隐藏在数据项之间的关联或相互关系，即可以根据一个数据项的出现推导出其他数据项的出现。关联规则的挖掘过程主要包括两个阶段：第一阶段为从海量原始数据中找出所有的高频项目组;第二极端为从这些高频项目组产生关联规则。关联规则挖掘技术已经被广泛应用于金融行业企业中用以预测客户的需求，各银行在自己的ATM 机上通过捆绑客户可能感兴趣的信息供用户了解并获取相应信息来改善自身的营销。 (5)神经网络方法。神经网络作为一种先进的人工智能技术，因其自身自行处理、分布存储和高度容错等特性非常适合处理非线性的以及那些以模糊、不完整、不严密的知识或数据为特征的处理问题，它的这一特点十分适合解决数据挖掘的问题。典型的神经网络模型主要分为三大类：第一类是以用于分类预测和模式识别的前馈式神经网络模型，其主要代表为函数型网络、感知机;第二类是用于联想记忆和优化算法的反馈式神经网络模型，以Hopfield 的离散模型和连续模型为代表。第三类是用于聚类的自组织映射方法，以ART 模型为代表。虽然神经网络有多种模型及算法，但在特定领域的数据挖掘中使用何种模型及算法并没有统一的规则，而且人们很难理解网络的学习及决策过程。 (6)Web数据挖掘。Web数据挖掘是一项综合性技术，指Web 从文档结构和使用的集合C 中发现隐含的模式P，如果将C看做是输入，P 看做是输出，那么Web 挖掘过程就可以看做是从输入到输出的一个映射过程。 当前越来越多的Web 数据都是以数据流的形式出现的，因此对Web 数据流挖掘就具有很重要的意义。目前常用的Web数据挖掘算法有：PageRank算法，HITS算法以及LOGSOM 算法。这三种算法提到的用户都是笼统的用户，并没有区分用户的个体。目前Web 数据挖掘面临着一些问题，包括：用户的分类问题、网站内容时效性问题，用户在页面停留时间问题，页面的链入与链出数问题等。在Web 技术高速发展的今天， 全面解析数据挖掘的分类及各种分析方法 1.数据挖掘能做以下六种不同事情（分析方法）： ?分类（Classification） ?估值（Estimation） ?预言（Prediction） ?相关性分组或关联规则（Affinitygroupingorassociationrules） ?聚集（Clustering） ?描述和可视化（DescriptionandVisualization） ?复杂数据类型挖掘(Text,Web,图形图像，视频，音频等) 2.数据挖掘分类 以上六种数据挖掘的分析方法可以分为两类：直接数据挖掘；间接数据挖掘?直接数据挖掘 目标是利用可用的数据建立一个模型，这个模型对剩余的数据，对一个特定的变量（可以理解成数据库中表的属性，即列）进行描述。 ?间接数据挖掘 目标中没有选出某一具体的变量，用模型进行描述；而是在所有的变量中建立起某种关系。 ?分类、估值、预言属于直接数据挖掘；后三种属于间接数据挖掘 3.各种分析方法的简介 ?分类（Classification） 首先从数据中选出已经分好类的训练集，在该训练集上运用数据挖掘分类的技术，建立分类模型，对于没有分类的数据进行分类。 例子： a.信用卡申请者，分类为低、中、高风险 b.分配客户到预先定义的客户分片 注意：类的个数是确定的，预先定义好的 ?估值（Estimation） 估值与分类类似，不同之处在于，分类描述的是离散型变量的输出，而估值处理连续值的输出；分类的类别是确定数目的，估值的量是不确定的。 例子： a.根据购买模式，估计一个家庭的孩子个数 b.根据购买模式，估计一个家庭的收入 c.估计realestate的价值 C语言常用算法集合 1.定积分近似计算： /*梯形法*/ double integral(double a,double b,long n) { long i;double s,h,x; h=(b-a)/n; s=h*(f(a)+f(b))/2; x=a; for(i=1;i if(n==1||n==2) *s=1; else{ fib(n-1,&f1); fib(n-2,&f2); *s=f1+f2; } } 3.素数的判断： /*方法一*/ for (t=1,i=2;i 分类算法小结 分类算法小结 学号：12013120116 李余芳 分类是数据挖掘中比较重要的一类，它的算法也有很多。在此，我将一些常用的算法做一个简单的小结。 一、决策树 决策树技术是用于分类和预测的主要技术，决策树学习是以实例为基础的归纳学习算法。它着眼于从一组无次序、无规则的事例中推理除决策树表示形式的分类规则。它采用自顶向下的递归方式，在决策树的内部节点进行属性值的比较并根据不同属性判断从该节点向下的分支，然后进行剪枝，最后在决策树的叶节点得到结论。所以从根到叶节点就对应着一条合取规则，整棵树就对应着一组析取表达式规则。树的每一个结点上使用信息增益度量选择测试属性。可以从生成的决策树中提取规则。。 优点： 1、易于理解和解释.人们在通过解释后有能力去理解决策树所表达的意义。 2、能够同时处理数据型和常规型属性。其他技术往往要求数据属性的单一。 3、易于通过静态测试来对模型进行评测。表示有可能测量该模型的可信度。 4、在相对短的时间内能够对大型数据源做出可行且效果良好的结果。 5、可以对有许多属性的数据集构造决策树。 6、决策树可很好地扩展到大型数据库中，它的大小独立于数据库的大小。 缺点： 1、对于各类别样本数量不一致的数据，在决策树中,信息增益的结果偏向于那些具有更多数值的特征。 2、决策树处理缺失数据时的困难。 3、过度拟合问题的出现。 4、忽略数据集中属性之间的相关性。 应用 1、决策树是用二叉树形图来表示处理逻辑的一种工具。可以直观、清晰地表 达加工的逻辑要求。特别适合于判断因素比较少、逻辑组合关系不复杂的情况。 2、决策树提供了一种展示类似在什么条件下会得到什么值这类规则的方法。比如，在贷款申请中，要对申请的风险大小做出判断。 3、决策树很擅长处理非数值型数据，这与神经网络只能处理数值型数据比起来，就免去了很多数据预处理工作等等。 二、K最近邻法(KNN） KNN法即K最近邻法，最初由Cover和Hart于1968年提出的，是一个理论上比较成熟的方法。该方法的思路非常简单直观：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。该方法在定类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。KNN方法虽然从原理上也依赖于极限定理，但在类别决策时，只与极少量的相邻样本有关。因此，采用这种方法可以较好地避免样本的不平衡问题。另外，由于KNN方法主要靠周围有限的邻近的样本，而不是靠判别类域的方法来确定所属类别的，因此对于类域的交叉或重叠较多的待分样本集来说，KNN方法较其他方法更为适合。 优点： 1、简单、有效。 2、K最近邻算法是一种非参数的分类技术，在基于统计的模式识别中非常有效，并对未知和非正态分布可取得较高的分类准确率。 3、在类别决策时，只与极少量的相邻样本有关，可以较好地避免样本的不平衡问题。 4、该算法比较适用于样本容量比较大的类域的自动分类，而那些样本容量较小的类域采用这种算法比较容易产生误分。 缺点： 1、KNN算法是建立在VSM模型上的，其样本距离测度使用欧式距离。若各维权值相同，即认定各维对于分类的贡献度相同，显然这不符合实际情况。 2、KNN是懒散的分类算法，对于分类所需的计算均推迟至分类进行，故在其分 KNN算法实验报告 一试验原理 K最近邻(k-NearestNeighbor，KNN)分类算法，是一个理论上比较成熟的方法，也是最简单的机器学习算法之一。 该方法的思路是：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。KNN算法中，所选择的邻居都是已经正确分类的对象。该方法在定类决策上只依据最邻近的一个或者几个样本的类别来决 定待分样本所属的类别。KNN方法虽然从原理上也依赖于极限定理，但在类别决策时，只与极少量的相邻样本有关。由于KNN方法主要靠周围有限的邻近的样本，而不是靠判别类域的方法来确定所属类别的，因此对于类域的交叉或重叠较多的待分样本集来说，KNN方法较其他方法更为适合。 KNN算法不仅可以用于分类，还可以用于回归。通过找出一个样本的k个最近邻居，将这些邻居的属性的平均值赋给该样本，就可以得到该样本的属性。更有用的方法是将不同距离的邻居对该样本产生的影响给予不同的权值(weight)，如权值与距离成正比。 该算法在分类时有个主要的不足是，当样本不平衡时，如一个类的样本容量很大，而其他类样本容量很小时，有可能导致当输入一个新样本时，该样本的K个邻居中大容量类的样本占多数。该算法只计算“最近的”邻居样本，某一类的样本数量很大，那么或者这类样本并不接近目标样本，或者这类样本很靠近目标样本。无论怎样，数量 并不能影响运行结果。可以采用权值的方法（和该样本距离小的邻居权值大）来改进。该方法的另一个不足之处是计算量较大，因为对每一个待分类的文本都要计算它到全体已知样本的距离，才能求得它的K个最近邻点。目前常用的解决方法是事先对已知样本点进行剪辑，事先去除对分类作用不大的样本。该算法比较适用于样本容量比较大的类域的自动分类，而那些样本容量较小的类域采用这种算法比较容易产生误分。 二试验步骤 那么根据以上的描述，我把结合使用反余弦匹配和kNN结合的过程分成以下几个步骤： 1．计算出样本数据和待分类数据的距离 2．为待分类数据选择k个与其距离最小的样本 3．统计出k个样本中大多数样本所属的分类 4．这个分类就是待分类数据所属的分类 数学表达：目标函数值可以是离散值(分类问题)，也可以是连续值(回归问题).函数形势为f:n维空间R—〉一维空间R。 第一步：将数据集分为训练集（DTrn）和测试集（DTES）。 第二步：在测试集给定一个实例Xq;在训练集（DTrn）中找到与这个实例Xq的K-最近邻子集{X1、、、、XK}，即：DKNN。 第三步：计算这K-最近邻子集得目标值，经过加权平均： ^f(Xq)=(f(X1)+...+f(XK))/k作为f(Xq）的近似估计。改进的地方：对 机器学习实战之分类算法 第一章机器学习概论 (4) 机器学习基本概念 (4) 机器学习的主要任务以及相应的算法 (4) 如何选择合适的算法？ (4) 机器学习应用的步骤 (5) 第二章 K近邻算法(KNN) (5) 工作原理 (5) 实现步骤 (6) K近邻算法的优缺点 (6) 第三章决策树 (7) 基本思路 (7) 集合无序程度测量 (7) 应用场景 (7) 优缺点 (7) 第四章朴素贝叶斯分类 (8) 基本思路 (8) 基本假设 (8) 条件概率 (8) 词袋模型和词集模型 (9) 优缺点 (10) 标称型和数值型数据的区别 (10) 主要应用及步骤 (10) 第五章逻辑回归 (12) 基本思想 (12) 使用场景 (12) 优缺点 (12) Sigmoid函数 (13) 回归系数 (13) 梯度上升法 (14) 特征缺失处理 (14) 标签缺失处理 (14) 第六章支持向量机SVM (14) 基本思想 (14) SVM第一层理解 (15) 超平面的确定 (15) 函数间隔和几何间隔 (15) 最大间隔分类器 (16) SMO优化算法 (16) 核函数 (19) 应用场景 (19) 第七章 AdaBoost分类 (19) Bagging (20) Boosting (20) Adaboost (20) Adaboost的优点 (20) Adaboost实现步骤 (21) 第八章非均衡分类问题 (23) 分类性能指标 (23) 混淆矩阵 (23) ROC曲线 (24) 处理非均衡问题的数据抽样 (24) 第一章机器学习概论 机器学习基本概念 机器学习就是将无序的数据转化为有用的信息。一个实例有n个特征，由n列组成。机器学习最主要的任务就是分类，另一个就是回归，回归中比较典型的就是线性拟合。分类和回归都属于监督学习，因为这类算法必须知道要预测什么，即已知目标变量的分类信息。与监督学习对应的是无监督学习，此时数据没有类别信息，也不会给定目标值，将数据集合分成由类似的对象组成的多个类的过程叫做聚类。将描述数据统计值的过程称之为密度估计。分类首先要进行训练，训练样本集必须确定目标变量的值，以便发现特征与目标变量之间的关系。特征或者属性通常是训练样本集的列，他们是独立测量得到的结果，多个特征联系在一起共同组成一个训练样本。 机器学习的主要任务以及相应的算法 如何选择合适的算法？ 如果要预测目标变量的值： 运动目标跟踪就是在一段序列图像中的每幅图像中实时地找到所感兴趣的运动目标 (包括位置、速度及加速度等运动参数)。在运动目标跟踪问题的研究上，总体来说有两种思路： a)不依赖于先验知识，直接从图像序列中检测到运动目标，并进行目标识别，最终跟踪感兴趣的运动目标； b)依赖于目标的先验知识，首先为运动目标建模，然后在图像序列中实时找到相匹配的运动目标。 一、运动目标检测 对于不依赖先验知识的目标跟踪来讲，运动检测是实现跟踪的第一步。运动检测即为从序列图像中将变化区域从背景图像中提取出来。运动目标检测的算法依照目标与摄像机之间的关系可以分为静态背景下运动检测和动态背景下运动检测。 静态背景下运动检测就是摄像机在整个监视过程中不发生移动，只有被监视目标在摄像机视场内运动，这个过程只有目标相对于摄像机的运动；动态背景下运动检测就是摄像机在整个监视过程中发生了移动 (如平动、旋转或多自由度运动)，被监视目标在摄像机视场内也发生了运动，这个过程就产生了目标与摄像机之间复杂的相对运动。 1、静态背景 背景差分法 背景差分法是利用当前图像与背景图像的差分来检测运动区域的一种技术。它一般能够提供最完全的特征数据，但对于动态场景的变化，如天气、光照、背景扰动及背景物移入移出等特别敏感，运动目标的阴影也会影响检测结果的准确性及跟踪的精确性。其基本思想就是首先获得一个背景模型，然后将当前帧与背景模型相减，如果像素差值大于某一阈值，则判断此像素属于运动目标，否则属于背景图像。背景模型的建立与更新、阴影的去除等对跟踪结果的好坏至关重要。 帧间差分法 相邻帧间差分法是通过相邻两帧图像的差值计算，获得运动物体位置和形状等信息的运动目标检测方法。其对环境的适应性较强，特别是对于光照的变化适应性强，但由于运动目标上像素的纹理、灰度等信息比较相近，不能检测出完整 HUNAN UNIVERSITY 题目实验三：分类算法实验 学生姓名蒙寿伟 学生学号201408070120 专业班级智能科学与技术1401班 指导老师袁进 日期2017年5月15日 一．实验目的 1.了解朴素贝叶斯算法和决策树算法的基本原理； 2.能够使用朴素贝叶斯算法或者决策树算法对数据进行分类 3.学会对于分类器的性能评估方法 二、实验的硬件、软件平台 硬件：计算机 软件：操作系统：WINDOWS 2000 应用软件：C,Java 或者Matlab 三、实验相关知识 贝叶斯定理：) () ()|()|(P A P B P B A P A B = P(A)是 A 的先验概率，之所以称为“先验”是因为它不考虑任何 B 方面的因素。 P(A|B)是已知 B 发生后 A 的条件概率，也由于得自 B 的取值而被称作 A 的后验概率。 P(B|A)是已知 A 发生后 B 的条件概率，也由于得自 A 的取值而被称作 B 的后验概率。 P(B)是 B 的先验概率，也作标淮化常量（normalizing constant ）。 以第一条数据为例：vhigh,vhigh,2,2,small,low,unacc ClassValues: unacc, acc, good, vgood 对应P(Bi)。（i=0,1,2,3） 分别算出 取其中的最大值，其中，P(A)的值相同，可以不算出来。 If(P(B|A)最大 == 测试样例.ClassValues) return true; Else return false; buying:vhigh,high,med,low.maint:vhigh,high,med,low.doors:2,3,4,5more. Persons:2,4,more.lug_boot:small,med,big.safety:low,med, high. （i=0,1,2,3 ） ) ()0()0|()|0(P A P B P B A P A B = )() 1()1|()|1(P A P B P B A P A B = )()2()2|()|2(P A P B P B A P A B = )() 3()3|()|3(P A P B P B A P A B = 目录 大数据经典算法 (2) 一、C4.5 (2) 二、K-Means算法 (2) 三、支持向量机 (2) 四、The Apriori algorithm (2) 五、最大期望(EM)算法 (2) 六、PageRank (3) 七、AdaBoost (3) 八、kNN: k-nearest neighbor classification (3) 九、Naive Bayes (3) 十、CART: 分类与回归树 (3) 十一、mahout算法集 (4) 大数据经典算法 一、C4.5 C4.5，是机器学习算法中的一个分类决策树算法， 二、K-Means算法 k-means algorithm算法是一个聚类算法，把n的对象根据他们的属性分为k个分割(k < n)。它与处理混合正态分布的最大期望算法(本十大算法第五条)很相似，因为他们都试图找到数据中自然聚类的中心。它假设对象属性来自于空间向量，并且目标是使各个群组内部的均方误差总和最小。 三、支持向量机 支持向量机，它是一种监督式学习的方法，它广泛的应用于统计分类以及回归分析中。支持向量机将向量映射到一个更高维的空间里，在这个空间里建立有一个最大间隔超平面。 四、The Apriori algorithm Apriori算法是一种最有影响的挖掘布尔关联规则频繁项集的算法。 五、最大期望(EM)算法 在统计计算中，最大期望（EM，Expectation–Maximization）算法是在概率（probabilistic）模型中寻找参数最大似然估计的算法，其中概率模型依赖于无法观测的隐藏变量（Latent Variabl）。最大期望经常用在机器学习和计算机视觉的数据集聚（Data Clustering）领域。 常用数据分析方法有那些 文章来源：ECP数据分析时间：2013/6/2813:35:06发布者：常用数据分析（关注：554） 标签： 本文包括： 常用数据分析方法：聚类分析、因子分析、相关分析、对应分析、回归分析、方差分析； 问卷调查常用数据分析方法：描述性统计分析、探索性因素分析、Cronbach’a 信度系数分析、结构方程模型分析(structural equations modeling)。 数据分析常用的图表方法：柏拉图(排列图)、直方图(Histogram)、散点图(scatter diagram)、鱼骨图（Ishikawa）、FMEA、点图、柱状图、雷达图、趋势图。 数据分析统计工具：SPSS、minitab、JMP。 常用数据分析方法: 1、聚类分析（Cluster Analysis） 聚类分析指将物理或抽象对象的集合分组成为由类似的对象组成的多个类的分析过程。聚类是将数据分类到不同的类或者簇这样的一个过程，所以同一个簇中的对象有很大的相似性，而不同簇间的对象有很大的相异性。聚类分析是一种探索性的分析，在分类的过程中，人们不必事先给出一个分类的标准，聚类分析能够从样本数据出发，自动进行分类。聚类分析所使用方法的不同，常常会得到不同的结论。不同研究者对于同一组数据进行聚类分析，所得到的聚类数未必一致。 2、因子分析（Factor Analysis） 因子分析是指研究从变量群中提取共性因子的统计技术。因子分析就是从大量的数据中寻找内在的联系，减少决策的困难。 因子分析的方法约有10多种，如重心法、影像分析法，最大似然解、最小平方法、阿尔发抽因法、拉奥典型抽因法等等。这些方法本质上大都属近似方法，是以相关系数矩阵为基础的，所不同的是相关系数矩阵对角线上的值，采用不同的共同性□2估值。在社会学研究中，因子分析常采用以主成分分析为基础的反覆法。 3、相关分析（Correlation Analysis） 相关分析（correlation analysis），相关分析是研究现象之间是否存在某种依存关系，并对具体有依存关系的现象探讨其相关方向以及相关程度。相关关系是一种非确定性的关系，例如，以X和Y分别记一个人的身高和体重，或分别记每公顷施肥量与每公顷小麦产量，则X与Y显然有关系，而又没有确切到可由其中的一个去精确地决定另一个的程度，这就是相关关系。 4、对应分析（Correspondence Analysis） 对应分析(Correspondence analysis)也称关联分析、R-Q型因子分析，通过分析由定性变量构成的交互汇总表来揭示变量间的联系。可以揭示同一变量的各个类别之间的差异，以及不同变量各个类别之间的对应关系。对应分析的基本思想是将一个联列表的行和列中各元素的比例结构以点的形式在较低维的空间中表示出来。目标跟踪算法的分类
实验二 分类挖掘算法(ID3)
JAVA中常用的集合类型
实验4 分类
解读差异——分类算法与聚类算法_光环大数据培训
数据挖掘分类算法比较
iSIGHT中优化算法分类
实验三：分类算法实验教学提纲
大数据常用的算法
全面解析数据挖掘的分类及各种分析方法
最新C语言常用算法集合汇总
分类算法小结
KNN算法实验报告
机器学习实战之分类算法
目标跟踪算法的分类
实验三：分类算法实验
大数据常用算法清单
常用数据分析方法分类介绍(注明来源)