数据挖掘 第二章 认识数据总结
第二章认识数据
数据的统计描述
概念：数据对象，属性类型，属性(维，特征，变量，标称<分类，枚举，二元/序数>/数值<区间标度/比率标度>，定性/定量，连续/离散)。
数据对称性和中心趋势度量：
(1)均值(Mean)：x算术均值，xi是观测值/样本，数值型；受极端值，倾斜数据影响
(2)加权均值：x加权算术均值，权值wi描述对应观测值的意义，重要性或出现频率等；优劣
同上。截尾均值：丢弃高低极端值后的均值
(3)中位数(Median)：应用于数值数据，把所有数值数据排序，位于有序队伍正中的数据；计
算时间复杂度高于算术均值，不受极端值影响；
(4)众数(Mode)：多个众数，单峰/多峰，每个数据出现一次，则没有众数；不受极端值影响，
计算简单，多用于非数值型数据，可靠性差；
(5)中列数(Midrange)：最大和最小值的均值；易受极端值影响，计算简单，应用于数值型数
据
数据对称性：算术均值和众数之差用来度量偏态（正负），偏态skewness = Mean ? Mode
数据散布度量：
(1)第k个q分位数：把排好序的样本，均分为q等分，子集的边界可能就是分位数；在有序
样本中的下标计算：?Nkq?，取上整,k = 1, 2,..., q-1。单个值描述分布；中位数，四分位数，百分位数常使用，Q3-Q1四分位数极差(IRQ，用于判定盒图的离群点)；
(2)五数概括：最小值，Q1，Q2，Q3，最大值；用均匀分布的5个点来描述分布，不是单个
值；用于描述倾斜数据的分布；
(3)盒图：盒的上下边界是Q3，Q1，中位数是盒内线，盒外胡须可延伸到；可以看成是直观
地表示了五数概括；计算时间O(nlogn)；
(4)方差：
(5)标准差：当均值作为中心趋势度量时，适用。大部分观测样本，其偏离中心不会超过很多
倍标准差；
统计描述的图形显示：
(1)分位数图：用来观察单变量数据分布，数据值低于或等于在一个单变量分布中独立的变量
的粗略百分比。这样，他可以展示所有数的分位数信息，而为独立变量测得的值（纵轴）相对于它们的分位数（横轴）被描绘出来；
(2)分位数-分位数图：纵轴表示一种单变量分布的分位数，用横轴表示另一单变量分布的分位
数。两个坐标轴显示它们的测量值相应分布的值域，且点按照两种分布分位数值展示。一条线（y=x）可画到图中，以增加图像的信息。落在该线以上的点表示在 y 轴上显示的值的分布比 x 轴的相应的等同分位数对应的值的分布高。反之，对落在该线以下的点则低。
直方图：
直方图（数值型属性），频率直方图，条形图（标称型属性），概率密度函数；
横坐标是变量的取值（或者类别）；纵坐标是变量出现的次数；
桶(bucket)/箱(bin)，bin 的宽度。
可以用来比较多组数据分布的差异具有相同的盒图/boxplot，但是数据的分布完全不一样；直方图具备更强的描述能力；
散点图（一般超过四维就不太有效了）：
绘法：两个数值型变量的任何一组取值，看成一个二维坐标；
用于：描述两个数值变量/数值型属性之间是否存在关系/模式/趋势；
解释：两个变量（线性）相关，可能是正相关，也可能是负相关；
相关性的理解：知道一个变量的值，能大致（用直线）估计出另一个变量的值。
基于像素的可视化技术：
几何投影可视化技术：散点图矩阵：
平行坐标：
(1)横坐标的每个取值代表一维，n维数据有n个纵坐标，一个纵坐标上标记出对应维的各种
取值
(2)从左到右的一条折线对应于表中的一个数据（元组/行），可用不同颜色折线区分
(3)能看出每个维的数据分布情况
(4)主要局限性：平行坐标在数据较多时，折线太密，影响可读性
基于图符的可视化技术：
使用少量图符表示多维数据值，两个例子切尔诺夫脸和人物线条画
层次可视化技术：
世界中的世界：分为多层世界，每个世界的维数不超过3 维；最内层的世界是个3D 散点图；最内层世界在它的直接（相邻）外部世界(另外三维属性构成的3D 散点图）中就是一个点；依次类推。
树图：把层次数据显示成嵌套矩形的集合。
复杂数据的可视化：
(1)文本数据，标签云（tag cloud)，标签字体的大小，色彩代表不同的含义，如次数/重要性等
(2)网络，社会网络，信息网络，技术网络等等，顶点的色彩/大小，边的色彩/粗细，顶点和
边的权值等等，可以用来表示不同的关系，数据对象的重要性
度量数据的相似性与相异性（书本P44-P52）
第三章数据预处理
脏数据：缺失值（不完备的数据）、噪声数据（离群点）、不一致数据、故意、伪造数据（使用缺省值，即默认值）
缺失值定义：某些元组在部分属性上没有被记录下来的值
可能原因:数据产生设备故障；数据录入时因为觉得不重要或者理解错误，暂时放弃录入；因为和其它数据不一致而被删除。
噪声数据定义：被测变量的随机误差或方差
产生原因：产生数据的仪器设备精度不够；数据录入错误；数据传输误差；......(重复/不一致数据)
数据挖掘研究现状综述
数据挖掘 引言 数据挖掘是一门交叉学科，涉及到了机器学习、模式识别、归纳推理、统计学、数据库、高性能计算等多个领域。 所谓的数据挖掘（Data Mining）指的就是从大量的、模糊的、不完全的、随机的数据集合中提取人们感兴趣的知识和信息，提取的对象一般都是人们无法直观的从数据中得出但又有潜在作用的信息。从本质上来说，数据挖掘是在对数据全面了解认识的基础之上进行的一次升华，是对数据的抽象和概括。如果把数据比作矿产资源，那么数据挖掘就是从矿产中提取矿石的过程。与经过数据挖掘之后的数据信息相比，原始的数据信息可以是结构化的，数据库中的数据，也可以是半结构化的，如文本、图像数据。从原始数据中发现知识的方法可以是数学方法也可以是演绎、归纳法。被发现的知识可以用来进行信息管理、查询优化、决策支持等。而数据挖掘是对这一过程的一个综合性应用。
目录 引言 (1) 第一章绪论 (3) 1.1 数据挖掘技术的任务 (3) 1.2 数据挖掘技术的研究现状及发展方向 (3) 第二章数据挖掘理论与相关技术 (5) 2.1数据挖掘的基本流程 (5) 2.2.1 关联规则挖掘 (6) 2.2.2 .Apriori算法：使用候选项集找频繁项集 (7) 2.2.3 .FP-树频集算法 (7) 2.2.4.基于划分的算法 (7) 2.3 聚类分析 (7) 2.3.1 聚类算法的任务 (7) 2.3.3 COBWEB算法 (9) 2.3.4模糊聚类算法 (9) 2.3.5 聚类分析的应用 (10) 第三章数据分析 (11) 第四章结论与心得 (14) 4.1 结果分析 (14) 4.2 问题分析 (14) 4.2.1数据挖掘面临的问题 (14) 4.2.2 实验心得及实验过程中遇到的问题分析 (14) 参考文献 (14)
数据挖掘与分析心得体会
正如柏拉图所说：需要是发明之母。随着信息时代的步伐不断迈进，大量数据日积月累。我们迫切需要一种工具来满足从数据中发现知识的需求！而数据挖掘便应运而生了。正如书中所说：数据挖掘已经并且将继续在我们从数据时代大步跨入信息时代的历程中做出贡献。 1、数据挖掘 数据挖掘应当更正确的命名为：“从数据中挖掘知识”，不过后者显得过长了些。而“挖掘”一词确是生动形象的！人们把数据挖掘视为“数据中的知识发现（KDD）”的同义词，而另一些人只是把数据挖掘视为知识发现过程的一个基本步骤！ 由此而产生数据挖掘的定义：从大量数据中挖掘有趣模式和知识的过程！数据源包括数据库、数据仓库、Web、其他信息存储库或动态地流入系统的数据。作为知识发现过程，它通常包括数据清理、数据集成、数据变换、模式发现、模式评估和知识表示六个步骤。 数据挖掘处理数据之多，挖掘模式之有趣，使用技术之大量，应用范围之广泛都将会是前所未有的；而数据挖掘任务之重也一直并存。这些问题将继续激励数据挖掘的进一步研究与改进！ 2、数据分析 数据分析是指用适当的统计方法对收集来的大量第一手资料和第二手资料进行分析，以求最大化地开发数据资料的功能，发挥数据的作用。是为了提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。 数据分析有极广泛的应用范围。典型的数据分析可能包含以下三个步： 1、探索性数据分析：当数据刚取得时，可能杂乱无章，看不出规律，通过作图、造表、用各种形式的方程拟合，计算某些特征量等手段探索规律性的可能形式，即往什么方向和用何种方式去寻找和揭示隐含在数据中的规律性。 2、模型选定分析，在探索性分析的基础上提出一类或几类可能的模型，然后通过进一步的分析从中挑选一定的模型。 3、推断分析：通常使用数理统计方法对所定模型或估计的可靠程度和精确程度作出推断。 数据分析的目的是把隐没在一大批看来杂乱无章的数据中的信息集中、萃取和提炼出来，以找出所研究对象的内在规律。在实用中，数据分析可帮助人们作出判断，以便采取适当行动。数据分析是组织有目的地收集数据、分析数据，使之成为信息的过程。这一过程是质量管理体系的支持过程。在产品的整个寿命周期，包括从市场调研到售后服务和最终处置的各
《数据挖掘》试题与标准答案
一、解答题（满分3０分，每小题5分) 1. 怎样理解数据挖掘和知识发现的关系?请详细阐述之 首先从数据源中抽取感兴趣的数据，并把它组织成适合挖掘的数据组织形式;然后,调用相应的算法生成所需的知识;最后对生成的知识模式进行评估，并把有价值的知识集成到企业的智能系统中。 知识发现是一个指出数据中有效、崭新、潜在的、有价值的、一个不可忽视的流程，其最终目标是掌握数据的模式。流程步骤:先理解要应用的领域、熟悉相关知识，接着建立目标数据集，并专注所选择的数据子集;再作数据预处理，剔除错误或不一致的数据；然后进行数据简化与转换工作；再通过数据挖掘的技术程序成为模式、做回归分析或找出分类模型；最后经过解释和评价成为有用的信息。 2.时间序列数据挖掘的方法有哪些，请详细阐述之 时间序列数据挖掘的方法有: １)、确定性时间序列预测方法:对于平稳变化特征的时间序列来说，假设未来行为与现在的行为有关，利用属性现在的值预测将来的值是可行的。例如，要预测下周某种商品的销售额，可以用最近一段时间的实际销售量来建立预测模型。 ２）、随机时间序列预测方法：通过建立随机模型,对随机时间序列进行分析,可以预测未来值。若时间序列是平稳的,可以用自回归(Auto Ｒegressiｖe，简称AR)模型、移动回归模型(Ｍovｉng Ａveｒage,简称ＭＡ）或自回归移动平均(Aｕto Regrｅssive Moｖiｎg Aｖeraｇe，简称AＲMＡ)模型进行分析预测。 3)、其他方法:可用于时间序列预测的方法很多,其中比较成功的是神经网络。由于大量的时间序列是非平稳的,因此特征参数和数据分布随着时间的推移而变化。假如通过对某段历史数据的训练，通过数学统计模型估计神经网络的各层权重参数初值，就可能建立神经网络预测模型,用于时间序列的预测。
数据挖掘与数据仓库知识点总结
1、数据仓库定义：数据仓库是一种新的数据处理体系结构，它与组织机构的操作数据库分别维护，允许将各种应用系统一起，为统一的历史数据分析提供坚实的平台，对信息处理提供支持。数据仓库是面向主题的、集成的、相对稳定的、反映历史变化的数据集合，为企业决策支持系统提供所需的集成信息。设计和构造步骤：1）选取待建模的商务处理；2）选取商务处理的粒变；3）选取用于每个事实表记录的维；4）选取事实表中每条记录的变量 系统结构：（1）底层是仓库数据服务器，总是关系数据库系统。（2）中间层是OLAP服务器，有ROLAP 和MOLAP，它将对多维数据的操作映射为标准的关系操作（3）顶层是前端客户端，它包括查询和报表工具、分析工具和数据挖掘工具 2、数据仓库的多维数据模型：（1）星形模式：在此模型下，数据仓库包括一个大的包含大批数据并且不含冗余的中心表，一组小的附属表，维表围绕中心事实表显示的射线上。特征：星型模型四周的实体是维度实体，其作用是限制和过滤用户的查询结果，缩小访问围。每个维表都有自己的属性，维表和事实表通过关键字相关联。【例子：sales数据仓库的星形模式，此模式包含一个中心事实表sales，它包含四个维time, item, branch和location。 （2）雪花型模式：它是星形模式的变种，其中某些维表是规化的，因而把数据进一步分解到附加的表中。特征：雪花模型通过最大限度地减少数据存储量和联合较小的维表来改善查询性能，增加了用户必须处理的表数量和某些查询的复杂性，但同时提高了处理的灵活性，可以回答更多的商业问题，特别适合系统的逐步建设要求。【例子同上，只不过把其中的某些维给扩展了。 （3）事实星座形：复杂的应用可能需要多个事实表共享维表，这种模式可看作星形模式的汇集。 特征：事实星座模型能对多个相关的主题建模。例子：有两个事实表sales和shipping，它们可以共享维表time, item和location。 3、OLAP：即联机分析处理，是在OLTP基础上发展起来的、以数据仓库基础上的、面向高层管理人员和专业分析人员、为企业决策支持服务。特点：1.实时性要求不是很高。2.数据量大。3.因为重点在于决策支持，所以查询一般是动态的，也就是说允许用户随机提出查询要求。 OLAP操作：上卷：通过沿一个维的概念分层向上攀登，或者通过维归约，对数据立方体进行类聚。下钻：是上卷的逆操作，它由不太详细的数据得到更详细的数据，下钻可以通过沿维的概念分层向下或引入附加的维来实现。切片：对给定方体的一个维进行进行选择，导致一个子立方体。切块：通过对两个或多个维执行选择，定义子立方体。转轴：是一种可视化操作，它转动数据的视角，提供数据的替代表示。 OLTP：即联机事务处理，是以传统数据库为基础、面向操作人员和低层管理人员、对基本数据进行查询和增、删、改等的日常事务处理。OLTP的特点有：a.实时性要求高；b.数据量不是很大。C.交易一般是确定的，是对确定性数据进行存取。d.并发性要求高且严格的要求事务的完整性，安全性。 OLTP和OLAP的区别：1）用户和系统的面向性:OLTP面向顾客，而OLAP面向市场；2）数据容：OLTP 系统管理当前数据，而OLAP管理历史的数据；3）数据库设计：OLTP系统采用实体-联系（ER)模型和面向应用的数据库设计，而OLAP系统通常采用星形和雪花模型；4）视图：OLTP系统主要关注一个企业或部门部的当前数据，而OLAP 系统主要关注汇总的统一的数据；5）访问模式：OLTP访问主要有短的原子事务组成，而OLAP系统的访问大部分是只读操作，尽管许多可能是复杂的查询。 7、PageRank算法原理：1）在初始阶段：构建Web图，每个页面初始设置相同的PageRank 值，通过迭代计算，会得到每个页面所获得的最终PageRank值。2）在一轮中更新页面 PageRank得分的计算方法：每个页面将其当前的PageRank值平均分配到本页面包含的出 链上。每个页面将所有指向本页面的入链所传入的权值求和，即可得到新的PageRank得分。 优点：是一个与查询无关的静态算法，所有网页的PageRank值通过离线计算获得；有效减 少在线查询时的计算量，极大降低了查询响应时间。 缺点：1）人们的查询具有主题特征，PageRank忽略了主题相关性，导致结果的相关性和主 题性降低。2）旧的页面等级会比新页面高。因为即使是非常好的新页面也不会有很多上游， 除非它是某个站点的子站点。
《数据挖掘》试题与答案
一、解答题（满分30分，每小题5分） 1. 怎样理解数据挖掘和知识发现的关系？请详细阐述之 首先从数据源中抽取感兴趣的数据，并把它组织成适合挖掘的数据组织形式；然后，调用相应的算法生成所需的知识；最后对生成的知识模式进行评估，并把有价值的知识集成到企业的智能系统中。 知识发现是一个指出数据中有效、崭新、潜在的、有价值的、一个不可忽视的流程，其最终目标是掌握数据的模式。流程步骤：先理解要应用的领域、熟悉相关知识，接着建立目标数据集，并专注所选择的数据子集；再作数据预处理，剔除错误或不一致的数据；然后进行数据简化与转换工作；再通过数据挖掘的技术程序成为模式、做回归分析或找出分类模型；最后经过解释和评价成为有用的信息。 2. 时间序列数据挖掘的方法有哪些，请详细阐述之 时间序列数据挖掘的方法有： 1）、确定性时间序列预测方法:对于平稳变化特征的时间序列来说，假设未来行为与现在的行为有关，利用属性现在的值预测将来的值是可行的。例如，要预测下周某种商品的销售额，可以用最近一段时间的实际销售量来建立预测模型。 2）、随机时间序列预测方法:通过建立随机模型，对随机时间序列进行分析，可以预测未来值。若时间序列是平稳的，可以用自回归(Auto Regressive，简称AR)模型、移动回归模型(Moving Average，简称MA)或自回归移动平均(Auto Regressive Moving Average，简称ARMA)模型进行分析预测。 3）、其他方法:可用于时间序列预测的方法很多，其中比较成功的是神经网络。由于大量的时间序列是非平稳的，因此特征参数和数据分布随着时间的推移而变化。假如通过对某段历史数据的训练，通过数学统计模型估计神经网络的各层权重参数初值，就可能建立神经网络预测模型，用于时间序列的预测。
文献综述_数据挖掘
数据挖掘简介 数据挖掘的任务 数据挖掘的任务就是从实例集合中找出容易理解的规则和关系。这些规则可以用于预测未来趋势、评价顾客、评估风险或简单地描述和解释给定的数据。通常数据挖掘的任务包括以下几个部分: 数据总结目的是对数据进行浓缩，给出它的紧凑描述。传统的也是最简单的数据总结方法是计算出数据库的各个字段上的求和值、平均值、方差值等统计值，或者用直方图、饼图等图形方式表示。数据挖掘主要关心从数据泛化的角度来讨论数据总结。数据泛化是一种把数据库中的有关数据从低层次抽象到高层次上的过程。数据泛化目前主要有两种技术:多维数据分析方法和面向属性的归纳方法。 多维数据分析方法是一种数据仓库技术，也称作联机分析处理(OLAP，onLineAnalysisProeess)。数据仓库是面向决策支持的、集成的、稳定的、不同时间的历史数据集合。决策的前提是数据分析。在数据分析中经常要用到诸如求和、总计、平均、最大、最小等汇集操作，这类操作的计算量特别大。因此一种很自然的想法是，把汇集操作结果预先计算并存储起来，以便于决策支持系统使用。存储汇集操作结果的地方称作多维数据库。多维数据分析技术已经在决策支持系统中获得了成功的应用，如著名的SAS数据分析软件包、Businessobject公司的决策支持系统Businessobjeet，以及IBM公司的决策分析工具都使用了多维数据分析技术。 采用多维数据分析方法进行数据总结，它针对的是数据仓库，数据仓库存储的是脱机的历史数据。为了处理联机数据，研究人员提出了一种面向属性的归纳方法。它的思路是，直接对用户感兴趣的数据视图(用一般的SQL查询语言即可获得)进行泛化，而不是像多维数据分析方法那样预先就存储好了泛化数据。方法的提出者对这种数据泛化技术称之为面向属性的归纳方法。原始关系经过泛化操作后得到的是一个泛化关系，它从较高的层次上总结了在低层次上的原始关系。有了泛化关系后，就可以对它进行各种深入的操作而生成满足用户需要的知识，如在泛化关系基础上生成特性规则、判别规则、分类规则，以及关联规则等。数据挖掘的分类 数据挖掘所能发现的知识有如下几种: .广义型知识，反映同类事物共同性质的知识; .特征型知识，反映事物各方面的特征知识; .差异型知识，反映不同事物之间属性差别的知识; .关联型知识，反映事物之间依赖或关联的知识; .预测型知识，根据历史的和当前的数据推测未来数据; .偏离型知识。揭示事物偏离常规的异常现象。 所有这些知识都可以在不同的概念层次上被发现，随着概念树的提升，从微观到中观再到宏观，以满足不同用户、不同层次决策的需要。例如，从一家超市的数据仓库中，可以发现的一条典型关联规则可能是“买面包和黄油的顾客十有八九也买牛奶”，也可能是“买食品的顾客几乎都用信用卡”，这种规则对于商家开发和实施客户化的销售计划和策略是非常有用的。 数据挖掘的方法 数据挖掘并非一个完全自动化的过程。整个过程需要考虑数据的所有因素和其预定的效用，然后应用最佳的数据挖掘方法。数据挖掘的方法很重要。在数据挖掘的领域里.有一点已经被广泛地接受，即不管你选择哪种方法，总存在着某种协定。因此对实际情况，应该具体分析，根据累积的经验和优秀的范例选择最佳的方法。数据挖掘中没有免费的午餐，也没
数据挖掘课程体会
数据挖掘课程体会 学习数据挖掘这门课程已经有一个学期了，在这十余周的学习过程中，我对数据挖掘这门课程的一些技术有了一定的了解，并明确了一些容易混淆的概念，以下主要谈一下我的心得体会。 近年来，数据挖掘引起了信息产业界的极大关注，其主要原因是存在大量数据，可以广泛使用，并且迫切需要将这些数据转换成有用的信息和知识。数据挖掘就是从大量的数据中，抽取出潜在的、有价值的知识、模型或规则的过程。作为一类深层次的数据分析方法，它利用了数据库、人工智能和数理统计等多方面的技术。 要将庞大的数据转换成为有用的信息，必须先有效率地收集信息。随着科技的进步，功能完善的数据库系统就成了最好的收集数据的工具。数据仓库，简单地说，就是搜集来自其它系统的有用数据，存放在一整合的储存区内。所以其实就是一个经过处理整合，且容量特别大的关系型数据库，用以储存决策支持系统所需的数据，供决策支持或数据分析使用。 数据挖掘的研究领域非常广泛，主要包括数据库系统、基于知识的系统、人工智能、机器学习、知识获取、统计学、空间数据库和数据可视化等领域。主要是可以做以下几件事：分类、估计、预测、关联分析、聚类分析、描述和可视化、复杂数据类型挖掘。在这里就不一一介绍了。 在学习关联规则的时候，提出了一个关于啤酒与纸尿布的故事：在一家超市里，纸尿布与啤酒被摆在一起出售，但是这个奇怪的举措却使得啤酒和纸尿布的销量双双增加了。其实，这是由于这家超市对其顾客的购物行为进行购物篮分析，在这些原始交易数据的基础上，利用数据挖掘方法对这些数据进行分析和挖掘。从而意外的发现跟纸尿布一起购买最多的商品竟是啤酒。按我们的常规思维，啤酒与纸尿布是两个毫无关联的商品，但是借助数据挖掘技术对大量交易数据进行挖掘分析后，却可以寻求到这一有价值的规律。这个故事在一定程度上说明了数据挖掘技术的巨大价值。 总之，非常感谢周教员在这十余周的精彩授课，让我受益匪浅，我会继续学习这门课程，努力为今后的课题研究或论文打好基础。
数据挖掘在中国的现状和发展研究
数据挖掘在中国的现状和发展研究 导读：本文以科学引文索引数据库(SCI)、工程索引数据库(EI)以及清华全文数据库(CNKI)中有关“数据挖掘”研究文章的统计数据为研究基础，对数据挖掘在我国研究的总体趋势、研究热点、研究分支三个方面进行分析和研究。本文分析了数据挖掘在我国的发展，并对进一步发展我国数据挖掘的理论研究和实际应用提出了建议。 关键字：数据挖掘 0 引言 近年来，随着计算机对数据的生成、收集、存贮和处理能力的大大提高，数据量与日俱增，传统的数据分析工具对海量数据的处理力不从心，数据挖掘技术应运而生。 中国科研工作者近几年来积极开展了对数据挖掘的研究，并在理论研究和实际应用上取得了一定的成绩，但是有关数据挖掘的成功应用还比较少。本文通过对中国有关数据挖掘研究文章数量的统计，对数据挖掘在中国发展的现状及发展趋势进行分析和研究，通过分析有关论文的发表，对数据挖掘在中国的理论研究和实际应用提出建议。 1 数据挖掘的应用与研究发展 数据挖掘是指从存放在数据库、数据仓库或其他信息库中的大量数据中挖掘有用知识的过程。数据挖掘是一门新兴的边缘学科，近年来引起了中国学术界和产业界的广泛关注。 数据挖掘出现于20世纪80年代后期，90年代有了突飞猛进的发展。2001年，Gartner Group的一次高级技术调查将数据挖掘和人工智能列为“未来三到五年内将对工业产生深远影响的五大关健技术”之首，并且还将并行处理体系和数据挖掘列为未来五年内投资焦点的十大新兴技术前两位。美国麻省理工学院在2001年1月份的《科技评论》(Technology Review)提出将在未来5年对人类产生重大影响的10大新兴技术，其中第3项就是数据挖掘。 数据挖掘技术已被广泛的应用于各个领域，其中一些典型应用如加州理工学院喷气推进实验室与天文科学家合作开发的SKICAT系统，能够帮助天文学家发现遥远的类星体，是人工智能技术在天文学和空间科学上的第一批成功应用之一；生物学研究中用数据挖掘技术对DNA进行分析利用数据挖掘技术识别顾客的购买行为模式，对客户进行了分析；对银行或商业上经常发生的诈骗行为进行预测IBM公司
大数据处理技术的总结与分析
数据分析处理需求分类 1 事务型处理 在我们实际生活中,事务型数据处理需求非常常见,例如：淘宝网站交易系统、1２306网站火车票交易系统、超市ＰOＳ系统等都属于事务型数据处理系统。这类系统数据处理特点包括以下几点: 一就是事务处理型操作都就是细粒度操作,每次事务处理涉及数据量都很小。 二就是计算相对简单，一般只有少数几步操作组成，比如修改某行得某列; 三就是事务型处理操作涉及数据得增、删、改、查,对事务完整性与数据一致性要求非常高。 四就是事务性操作都就是实时交互式操作,至少能在几秒内执行完成； 五就是基于以上特点,索引就是支撑事务型处理一个非常重要得技术. 在数据量与并发交易量不大情况下,一般依托单机版关系型数据库,例如OＲＡＣLＥ、MＹSQL、SQＬSERVER,再加数据复制（DataGurａd、RＭAＮ、ＭｙSQＬ数据复制等)等高可用措施即可满足业务需求。 在数据量与并发交易量增加情况下，一般可以采用ORＡLＣＥRAC集群方式或者就是通过硬件升级（采用小型机、大型机等，如银行系统、运营商计费系统、证卷系统)来支撑. 事务型操作在淘宝、1230６等互联网企业中,由于数据量大、访问并发量高，必然采用分布式技术来应对,这样就带来了分布式事务处理问题，而分布式事务处理很难做到高效，因此一般采用根据业务应用特点来开发专用得系统来解决本问题。
２数据统计分析 数据统计主要就是被各类企业通过分析自己得销售记录等企业日常得运营数据,以辅助企业管理层来进行运营决策。典型得使用场景有:周报表、月报表等固定时间提供给领导得各类统计报表;市场营销部门,通过各种维度组合进行统计分析,以制定相应得营销策略等． 数据统计分析特点包括以下几点: 一就是数据统计一般涉及大量数据得聚合运算，每次统计涉及数据量会比较大。二就是数据统计分析计算相对复杂，例如会涉及大量goｕpbｙ、子查询、嵌套查询、窗口函数、聚合函数、排序等；有些复杂统计可能需要编写ＳQＬ脚本才能实现． 三就是数据统计分析实时性相对没有事务型操作要求高。但除固定报表外,目前越来越多得用户希望能做做到交互式实时统计； 传统得数据统计分析主要采用基于ＭＰP并行数据库得数据仓库技术.主要采用维度模型,通过预计算等方法，把数据整理成适合统计分析得结构来实现高性能得数据统计分析，以支持可以通过下钻与上卷操作,实现各种维度组合以及各种粒度得统计分析。 另外目前在数据统计分析领域,为了满足交互式统计分析需求，基于内存计算得数据库仓库系统也成为一个发展趋势,例如SAP得HANA平台。 3 数据挖掘 数据挖掘主要就是根据商业目标，采用数据挖掘算法自动从海量数据中发现隐含在海量数据中得规律与知识。
数据挖掘及商务智能总结
第一章绪论 什么是数据挖掘，什么是商业智能 从大型数据库中提取有趣的（非平凡的、蕴涵的、先前未知的且是潜在有用的）信息或模式。 商业智能是要在必须的时间段内，把正确有用的信息传递给适当的决策者，以便为有效决策提供信息支持。 分类算法的评价标准 召回率recall =系统检索到的相关文件数/相关文件总数 准确率precision（查准率）= 系统检索到的相关文件数/系统返回的文件总数第二章数据仓库 什么是数据仓库 是运用新信息科技所提供的大量数据存储、分析能力，将以往无法深入整理分析的客户数据建立成为一个强大的顾客关系管理系统，以协助企业制定精准的运营决策。 数据仓库的基本特征 1面向主题2整合性 3长期性 4稳定性 第三章数据挖掘简介 数据挖掘的一般功能 1分类2估计3 预测4关联分类5聚类 数据挖掘的完整步骤 1理解数据与数据所代表的含义 2获取相关知识与技术 3整合与检查数据 4取出错误或不一致的数据 5建模与假设 6数据挖掘运行 7测试与验证所挖掘的数据 8解释与使用数据 数据挖掘建模的标准 CRISP-CM 跨行业数据挖掘的标准化过程 第四章数据挖掘中的主要方法 基于SQL Server 2005 SSAS的十种数据挖掘算法是什么 1.决策树 2.聚类 3.Bayes分类 4.有序规则 5. 关联规则 6.神经网络 7.线性回归 8. Logistic回归 9. 时间序列10. 文本挖掘 第五章数据挖掘与相关领域的关系 数据挖掘与机器学习、统计分析之间的区别与联系（再看看书整理下） 32页 处理大量实际数据更具优势，并且使用数据挖掘工具无需具备专业的统计学背景。 数据分析的需求和趋势已经被许多大型数据库所实现，并且可以进行企业级别的数据挖掘应用。 相对于重视理论和方法的统计学而言，数据挖掘更强调应用，毕竟数据挖掘目的
数据挖掘文献综述
湘潭大学 本科生专业文献综述 题目: 数据挖掘文献综述 姓名: 林勇 学院: 信心工程学院学院 专业: 自动化 班级: 一班 学号: 2010550113 指导教师: 张莹
0前言 随着计算机技术的迅猛发展，人类正在步入信息社会。面对今天浩如烟海的信息，如何帮助人们有效地收集和选择所感兴趣的信息，更关键的是如何帮助用户在日益增多的信息中自动发现新的概念并自动分析它们之间的关系，使之能够真正地做到信息处理的自动化，这已成为信息技术领域的热点问题。数据挖掘就是为满足这种要求而产生并迅速发展起来的，可用于开发信息资源的一种新的数据处理技术。 1什么是数据挖掘 数据挖掘(Data Mining)，也叫数据开采，数据采掘等，是按照既定的业务目标从海量数据中提取出潜在、有效并能被人理解的模式的高级处理过程。在较浅的层次上，它利用现有数据库管理系统的查询、检索及报表功能，与多维分析、统计分析方法相结合，进行联机分析处理，从而得出可供决策参考的统计分析数据。在深层次上，则从数据库中发现前所未有的、隐含的知识。OLAF'的出现早于数据挖掘，它们都是从数据库中抽取有用信息的方法，就决策支持的需要而言两者是相辅相成的。OLAP可以看作一种广义的数据挖掘方法，它旨在简化和支持联机分析，而数据挖掘的目的是便这一过程尽可能自动化。数据挖掘基于的数据库类型主要有：关系型数据库、面向对象数据库、事务数据库、演绎数据库、时态数据库、多媒体数据库、主动数据库、空间数据库、遗留数据库、异质数据库、文本型、Internet信息库以及新兴的数据仓库(Data Warehouse)等。而挖掘后获得的知识包括关联规则、特征规则、区分规则、分类规则、总结规则、偏差规则、聚类规则、模式分析及趋势分析等。 1.1 数据挖掘的任务 数据挖掘的两个高层目标是预测和描述。前者指用一些变量或数据库的若干已知字段预测其它感兴趣的变量或字段的未知的或未来的值；后者指找到描述数据的可理解模式。根据发现知识的不同，我们可以将数据挖掘任务归纳为以下几类： (1)特征规则。从与学习任务相关的一组数据中提取出关于这些数据的特征式，这些特征式表达了该数据集的总体特征．例如可以从某种疾病的症状中提取
数据挖掘r语言总结报告
总结报告 课程名称：数据挖掘R语言 任课教师： 姓名： 专业：计算机科学与技术 班级： 学号：
计算机科学与技术学院 2018 年 6 月19 日 一、数据预处理 针对不同分析目标，选择合适的字段，并将字段值处理成适于分析的形式。必要时还需对原数据集进行统计变换后形成易于分析的形式。 为每条数据添加字段：所属地区。根据下图中划分的美国四大地区，将每条数据中表示的案件发生地在该字段上划分为东北部、中西部、南部和西部四个值。 首先导入数据： gundata<-read.csv("d:/gun.csv",sep = ",",stringsAsFactors = FALSE,header = TRUE,quote=””) 然后将需要的字段取出来，在这里取出了一下几个字段：
gundata[,c("incident_id","date","state","city_or_county","n_killed","n_injured"," congressional_district","latitude","longitude","state_house_district","state_sen ate_district")] gd <- subset(gundata,select=c(incident_id,date,state,city_or_county,n_killed, n_injured,congressional_district,latitude,longitude,state_house_district,state_s enate_district)) 然后根据州字段将所有数据划分为四个地区 阿拉巴马州Alabama 阿拉斯加州Alaska 亚利桑那州Arizona 阿肯色州Arkansas 加利福尼亚州California 科罗拉多州Colorado 哥伦比亚特区Columbia 康涅狄格州Connecticut 特拉华州Delaware 佛罗里达州Florida 佐治亚州Georgia 夏威夷州Hawaii 爱达荷州Idaho 伊利诺州Illinois
数据挖掘分类算法研究综述终板
数据挖掘分类算法研究综述 程建华 (九江学院信息科学学院软件教研室九江332005 ) 摘要：随着数据库应用的不断深化,数据库的规模急剧膨胀,数据挖掘已成为当今研究的热点。特别是其中的分类问题,由于其使用的广泛性,现已引起了越来越多的关注。对数据挖掘中的核心技术分类算法的内容及其研究现状进行综述。认为分类算法大体可分为传统分类算法和基于软计算的分类法两类。通过论述以上算法优缺点和应用范围，研究者对已有算法的改进有所了解，以便在应用中选择相应的分类算法。 关键词：数据挖掘；分类；软计算；算法 1引言 1989年8月，在第11届国际人工智能联合会议的专题研讨会上，首次提出基于数据库的知识发现(KDD，Knowledge DiscoveryDatabase)技术[1]。该技术涉及机器学习、模式识别、统计学、智能数据库、知识获取、专家系统、数据可视化和高性能计算等领域，技术难度较大，一时难以应付信息爆炸的实际需求。到了1995年，在美国计算机年会(ACM)上，提出了数据挖掘[2](DM，Data Mining)的概念，由于数据挖掘是KDD过程中最为关键的步骤，在实践应用中对数据挖掘和KDD这2个术语往往不加以区分。 基于人工智能和信息系统，抽象层次上的分类是推理、学习、决策的关键，是一种基础知识。因而数据分类技术可视为数据挖掘中的基础和核心技术。其实，该技术在很多数据挖掘中被广泛使用，比如关联规则挖掘和时间序列挖掘等。因此，在数据挖掘技术的研究中，分类技术的研究应当处在首要和优先的地位。目前，数据分类技术主要分为基于传统技术和基于软计算技术两种。 2传统的数据挖掘分类方法 分类技术针对数据集构造分类器，从而对未知类别样本赋予类别标签。在其学习过程中和无监督的聚类相比，一般而言，分类技术假定存在具备环境知识和输入输出样本集知识的老师，但环境及其特性、模型参数等却是未知的。 2.1判定树的归纳分类 判定树是一个类似流程图的树结构，其中每个内部节点表示在一个属性上的测试，每个分支代表一个测试输出，而每个树叶节点代表类或类分布。树的最顶层节点是根节点。由判定树可以很容易得到“IFTHEN”形式的分类规则。方法是沿着由根节点到树叶节点的路径，路径上的每个属性-值对形成“IF”部分的一个合取项，树叶节点包含类预测，形成“THEN”部分。一条路径创建一个规则。 判定树归纳的基本算法是贪心算法，它是自顶向下递归的各个击破方式构造判定树。其中一种著名的判定树归纳算法是建立在推理系统和概念学习系统基础上的ID3算法。 2.2贝叶斯分类 贝叶斯分类是统计学的分类方法，基于贝叶斯公式即后验概率公式。朴素贝叶斯分类的分类过程是首先令每个数据样本用一个N维特征向量X={X1，X2，?X n}表示，其中X k是属性A k的值。所有的样本分为m类：C1，C2，?，C n。对于一个类别的标记未知的数据记录而言，若P(C i/X)>P(C j/X)，1≤ j≤m，j≠i，也就是说，如果条件X下，数据记录属于C i类的概率大于属于其他类的概率的话，贝叶斯分类将把这条记录归类为C i类。 建立贝叶斯信念网络可以被分为两个阶段。第一阶段网络拓扑学习，即有向非循环图的——————————————————— 作者简介：程建华（1982-），女，汉族，江西九江，研究生，主要研究方向为数据挖掘、信息安全。
数据挖掘知识点归纳
知识点一数据仓库 1.数据仓库是一个从多个数据源收集的信息存储库，存放在一致的模式下，并且通常驻留在单个站点上。 2.数据仓库通过数据清理、数据变换、数据集成、数据装入和定期数据刷新来构造。 3.数据仓库围绕主题组织 4.数据仓库基于历史数据提供消息，是汇总的。 5.数据仓库用称作数据立方体的多维数据结构建模，每一个维对应于模式中的一个或者一组属性，每一个单元存放某种聚集的度量值 6.数据立方体提供数据的多维视图，并允许预计算和快速访问汇总数据 7.提供提供多维数据视图和汇总数据的预计算，数据仓库非常适合联机分析处理，允许在不同的抽象层提供数据，这种操作适合不同的用户角度 8.OLAP例子包括下钻和上卷，允许用户在不同的汇总级别上观察数据 9.多维数据挖掘又叫做探索式多维数据挖掘OLAP风格在多维空间进行数据挖掘，允许在各种粒度进行多维组合探查，因此更有可能代表知识的有趣模式。 知识点二可以挖掘什么数据 1.大量的数据挖掘功能，包括特征化和区分、频繁模式、关联和相关性分析挖掘、分类和回归、聚类分析、离群点分析 2.数据挖掘功能用于指定数据挖掘任务发现的模式，分为描述性和预测性 3.描述性挖掘任务刻画目标数据中数据的一般性质 4.预测性挖掘任务在当前数据上进行归纳，以便做出预测 5.数据可以与类或概念相关联 6.用汇总、简洁、精确的表达描述类和概念，称为类/概念描述 7.描述的方法有数据特征化（针对目标类）、数据区分（针对对比类）、数据特征化和区分 8.数据特征化用来查询用户指定的数据，上卷操作用来执行用户控制的、沿着指定维的数据汇总。面向属性的归纳技术可以用来进行数据的泛化和特征化，而不必与用户交互。形式有饼图、条图、曲线、多维数据立方体和包括交叉表在内的多维表。结果描述可以用广义关系或者规则（也叫特征规则）提供。 9.用规则表示的区分描述叫做区分规则。 10.数据频繁出现的模式叫做频繁模式，类型包括频繁项集、频繁子项集（又叫频繁序列）、频繁子结构。 11.频繁项集一般指频繁地在事务数据中一起出现的商品的集合 12.频繁子序列就是一个频繁序列模式 13.子结构涉及不同的结构，可以与项集和子项集一起出现 14.挖掘频繁模式导致发现数据中有趣的关联和相关性 15.包含单个谓词的关联规则称作单维关联规则。多个谓词的关联规则叫做多维关联规则。 16.如果不能同时满足最小支持度阈值和最小置信度阈值是无趣的关联规则。 17.频繁模式挖掘的基础是频繁项集挖掘 18.分类找出描述和区分数据类或概念的模型或者函数来预测类标号未知对象的类标号。 19.导出模型是基于训练数据集的分析，预测类标号未知对象的类标号。形式有分类规则、决策树、数学公式或者神经网络 20.决策树类似流程图的树结构，每一个结点代表一个属性上的测试，每一个分支代表测试
数据挖掘报告
摘要 数据挖掘技术可以在浩瀚的数据中进行统计、分析、综合、推理，发现数据部关联，并作出预测，提供数据信息，为决策提供辅助支持。目前，数据挖掘技术已经广泛应用在商业领域，同样，可以将数据挖掘技术与国家教育项目相结合，对项目中的各类数据信息进行挖掘分析，提取隐藏的数据信息，为项目开发部门提供决策依据，进一步提高项目的科学性和高效性。 本文结合自身参与教育部指定的关于城市集群竞争力项目的实践经验，分析数据挖掘技术在国家教育项目中应用的可行性，并以此为例，采用JAVA语言编写实现KNN算法。 在项目实施方案中，以城市集群的数据为基础，完成数据挖掘的全过程：确定数据挖掘的对象和目标、数据清理和预处理，对某个指标缺失的数据引入神经网络方法进行预测填补，对缺失较多的数据引入对比和类比的方法进行预测填补，采用KNN算法实现数据分类，形成指标体系。利用数据挖掘的结果，通过对指标数据的分析，预测决定城市集群竞争力的主要因素，从而为今后城市集群的发展方向和职能定位提供参考，为城镇体系的总体发展指明方向，为提高我国城市集群整体经济实力和综合竞争力提供一些有益的建议和对策，促进成熟集群向一体化方向发展，同时也可以为国其他城市集群的发展提供给一些有益的参考。 【关键词】数据挖掘 KNN算法数据分类 JAVA 城市集群竞争力
目录 摘要 (1) 目录 (2) 第一章绪论 (3) 1.1研究背景和研究意义 (3) 第二章数据挖掘技术的研究 (4) 2.1 数据挖掘的功能 (4) 2.2 数据挖掘的对象 (6) 2.3 数据挖掘的过程 (7) 2.4 数据挖掘算法 (9) 第三章 KNN算法介绍与实现 (10) 3.1 KNN算法介绍 (10) 3.2 KNN算法的JAVA实现 (12) 第四章总结 (17)
数据挖掘综述
数据挖掘综述 1、产生背景 随着计算机的产生和大量数字化的存储方法的出现，我们借助计算机来收集和分类各种数据资料，但是不同存储结构存放的大量数据集合很快被淹没，便导致了结构化数据库以及DBMS的产生。 但是随着信息时代的到来，信息量远远超过了我们所能处理的范围，从商业交易数据、科学资料到卫星图片、文本报告和军事情报，以及生活中各种信息，这也就是“数据爆炸但知识贫乏”的网络时代，面对巨大的数据资料，出现了新的需求，希望能够更好的利用这些数据，进行更高层次的分析，从这些巨大的数据中提取出对我们有意义的数据，这就是知识发现（KDD,Knowledge Discovery in Databases），数据挖掘应运而生。 2、数据库系统技术的演变 1）20世纪60年代和更早 这个时期是数据收集和数据库创建的过程，原始文件的处理2）20世纪70年代---80年代初期 有层次性数据库、网状数据库、关系数据库系统 3）20世纪80年代中期—现在 高级数据库系统，可以应用在空间、时间的、多媒体的、主动的、流的和传感器的、科学的和工程的。 4）20世纪80年代后期—现在
高级数据分析：数据仓库和数据挖掘 5）20世纪90年代—现在 基于web的数据库，与信息检索和数据信息的集成6）现在---将来 新一代的集成数据域信息系统 3、数据挖掘概念 数据挖掘（Data Mining），就是从大量数据中获取有效的、新颖的、潜在的有用的，最终可以理解的模式的非平凡过程。数据挖掘，又称为数据库中知识发现（KDD,Knowledge Discovery in Databases），也有人把数据挖掘作为数据库中知识发现过程的一个基本步骤。 数据挖掘基于的数据库类型主要有：关系型数据库、面向对象数据库、事务数据库、演绎数据库、时态数据库、多媒体数据库、主动数据库、空间数据库、遗留数据库、异质数据库、文本型、Internet信息库以及新兴的数据仓库等。 4、数据挖掘特点和任务 4.1数据挖掘具有以下几个特点： 1）处理的数据规模十分庞大，达到GB,TB数量级，甚至更大2）查询一般是决策制定者（用户）提出的即时随机查询，往往不能形成精确的查询要求，需要靠系统本身寻找其可能感兴 趣的东西。 3）在一些应用（如商业投资等）中，由于数据变化迅速，因此
数据挖掘总结
1.【p26 1.3】 假设你是BigUniversity的软件工程师，任务是设计一个数据挖掘系统，分析学校课程数据库。该数据库包括如下信息：每个学生的姓名、地址和状态（例如本科生或研究生）所修课程以及他们的GPA（平均积分点）。描述你要选取的结构。该结构的每个成分的作用是什么。 答：该数据挖掘结构应该包括以下几个主要成分： （1）一个数据库、数据仓库或其它信息库，它由一系列包含学生和课程信息的数据库、数据仓库、电子表格、或其它信息库组成。 （2）一个数据库或数据仓库服务器，它根据用户的数据挖掘请求获取相关的数据。 （3）一个知识库，它包含领域知识，用于指导搜索或评估结果模式的兴趣度。例如，知识库可能包含概念层次结构和元数据（例如，描述来自多个异构数据源的数据）。 （4）一个数据挖掘引擎，它由一系列负责分类、关联、聚类分析、演变和偏差分析的功能模块组成。 （5）一个模式评估模块，它与数据挖掘模块串联工作，采用兴趣度的方法，将搜索重心投注在兴趣模式上。 （6）一个图形用户界面，它为用户提供对数据挖掘系统的交互式途径。 2.【p63 2.4】 中列数是最大值和最小值的平均数。 五数概括就是中位数、四分位数Q1和Q3、最小值和最大值 箱线图（盒图）在p35 分位数图是一种观察单变量数据分布的简单有效方法，他显示给定属性的所有数据（允许用户评估总的情况和不寻常的出现）。其次它绘出了分位数信息 3.【p63 2.5】 问：以计数、标准差和中位数为例说明分布的或代数的度量有利于有效的增量计算，而整体度量不行。 答：计数：当前的计数count可以作为一个值来保存，当有x个新值加进来时，可以很容易地更新count值为（count+x）。这就是分布式度量，可以很容易地进行增量计算。 标准差：如果我们之前存储了已有数据平方的和sum和它们的计数count，就可以很容易地利用公式得到新的标准差，只需要计算新加入数据平方的和并将其加入sum中，同时更新count值，随后将它们插入计
数据挖掘技术综述
2008年第6期牡丹江教育学院学报N o．6，2008 (总第112期)J ouR N A L oF M uD A N J I A N G co L L E G EoF E D ucA T I oN s e“aI N o．112 数据挖掘技术综述 高翔侯小静 (洛阳理工学院，河南洛阳471003) [摘要]在对数据仓库与数据挖掘的概念及数据挖掘的功用与分类进行介绍的基础上．阐述了串行关联规则算法和并行关联算法的目标与内容．详细分析了A pr i or i算法、神经网络、遗传算法等数据挖掘算法。 [关键词]数据挖掘f关联规则I apr i ori算法；神经网络l遗传算法 [中图分类号]T P31[文献标识码]A[文章编号]1009—2323(2008)06一0109一02 数据挖掘是信息技术自然进化的结果。自上世纪六十年代以来，信息技术已经从原始的文件处理发展到复杂的、功能强大的数据库系统。而数据仓库是近年来数据库研究领域中迅速发展起来的新技术。利用数据仓库技术可以将现实中的海量数据存放在异构的数据库中。 为了从数据中有效地提取和发现知识．需要对数据仓库中存储的数据进行“挖掘”。数据挖掘是从大量数据中抽取出未知的、有价值的模式或规律等知识的复杂过程。数据挖掘技术由数据清理、数据集成、数据选择、数据交换、数据挖掘、模式评估六个步骤组成。通过这六个步骤的提纯与处理向用户提供有价值的信息。数据挖掘提供的数据模式有概念描述、关联规则、分类与预测、聚类分析、异类分析、演化分析等六类。 1．数据仓库与数据挖掘 数据仓库系统在数据分析和决策方面为用户和“知识工人”提供服务。这种系统与传统的联机事务处理(0L TP)系统不同．它可以用不同的格式组织和提供数据，以满足不同用户的形形色色需求．这种系统称为联机分析处理(oL A P)系统。 数据仓库和oL A P工具均基于多维数据模型．这种模型可以以星形模式、雪花模式或事实星座模式等形式存在。星形模式是最常见的．其数据仓库包括一个大的、饱含大批数据、不含冗余的中心表(实事表)和一组附属表(维表)。在星形模式中．每维只用一个表表示，每个表包含一组属性；雪花模式是星形模式的变种，其中某些维表是规范化的，故而把数据进一步分解到附加的表中。雪花模式和星形模式的主要不同在于：雪花模式的维表可能是规范化形式．便于维护并节省存储空间，但是由于执行查询操作需要更多的连接操作，故而雪花结构可能降低浏览的性能导致系统性能也会受到一定影响。事实星座模式可以看作是多个星形模式的集合．需要多个事实表共享维表。 从结构的角度看．数据仓库模型分为企业仓库、数据集市和虚拟仓库。数据仓库和数据集市已在广泛的应用领域使用．从最初的应用于产生报告和回答预先定义的查询发展到现在已经用于知识发现，并使用数据挖掘工具进行决策。在这种意义下．数据仓库工具可以分为存取与检索工具、数据库报表工具、数据分析工具和数据挖掘工具。在此基础上信息处理与分析和数据挖掘的概念基本分离。数据挖掘不限于分析数据仓库中的数据．也可以分析事务的、文本的、空间的和多媒体数据。 数据挖掘所能发现的知识有如下几种：广义型知识，即反映同类事务共同性质的知识；特征型知识．即反映事务各方面的特征的知识；差异型知识。即反映不同事务之间属性差别的知识；关联型知识。即反映事务之间依赖或关联的知识；预测型知识，它根据历史和当前的数据推测未来数据l 偏离型知识，用于揭示事务偏离常规的异常现象。这些知识都可以在不同的概念层次上被发现，随着概念的提升．从微观到宏观．以满足不同用户、不同决策的需要。至于数据挖掘的工具和方法常用的有分类、聚类、减维、模式识别、可视化、决策树、遗传算法、不确定性处理等。 从l EE E t r ans ac t i or L s o n kno w I edge and da t a engi neer．i ng以及A C M SI G M O D I nt l．C onf．M a na gem e nt of D a t a 近年来的文献中可以看出．除了不断地提出一些新的挖掘技术外。大量的有关D M的文章集中讨论了如何提高D M 系统，尤其是关联规则挖掘的性能，这包括算法的有效性、可伸缩性和并行处理。另外，复杂数据类型挖掘已经是一个发展迅速的热点研究领域。复杂数据挖掘包括复杂数据对象的多维分析．空间数据挖掘，时序数据和其他与时间相关的数据挖掘、文本挖掘以及w eb挖掘等。 2．数据挖掘的关联规则算法研究 2．1串行关联规则算法 数据挖掘的一个重要任务是从事务数据库中发现关联规则。其中每个事务都包括一个项目集．由于事务的数据库通常都饱含大量不同的项目，因此候选集的总数很大，所以当前的关联规则发现技术都是通过要求满足一个最小支持度以尽量减小搜索空间。 A pr i or．算法是一种最有影响的挖掘布尔关联规则频繁项集的算法。它将发现关联规则的过程分为两个步骤t 第一步．通过迭代检索出事务数据库中的所有频繁项集，即支持度不低于用户设定的阈值的候选集；第二步．利用频繁项集构造出满足用户最小信任度的规则t对于每个频度项目集L，产生它的所有非空子集S，对L的每个非空子集S，如果满足兰器茜乏渊≥mI-Lco挖，'贝Ⅱ输出相关规则s 一(L—S)。图l给出了A pr i or i算法及其相关过程的伪代码。由图所述，A pr i or Lgen完成两个动作：连接和剪枝。在连接部分．L I一-与LI一，连接可能的候选．剪枝部分使用A pr i or i性质删除具有非频繁子集的候选集．非频繁子集的测试在过程has-i nf requer屯s ubs et中． 1．Fl={f r equent l一i t em se t s}I 2．F0r(k=2}R一1≠口Ik+十){ 3．C k=apri ot gen(Fk一1) [收稿日期]200—03一04 [作者简介]高翔(198l一)。女．河南洛阳人．洛阳理工学院助教．中国人民大学软件与理论专业在读硕士研究向为挖掘；侯小静(1975一)，女，河南洛阳人．洛阳理工学院讲师，硕士，研究向为计算机应用． 109