关联分析研究的进展

陈宇王廷，　张保稳，　何德全

（上海交通大学，上海　２００２４０）

【摘 要】关联规则的发现是数据挖掘的一个重要方面，由于信息数据的急剧增长，面对浩如烟海的海量数据，为把这些数据转换成被人类充分利用的有价值信息，对关联规则挖掘算法进行研究就显得异常重要。总结了当今各种关联规则挖掘算法并对其加以分类，阐述了各类关联规则算法的特点，列举算法之间的差异，在时间和空间上进行比较，并且在此基础上对关联规则挖掘的未来趋势进行了分析和展望。【关键词】数据挖掘；关联分析；Apri or 算法；频繁项集

【中图分类号】T P181 【文献标识码】A 【文章编号】1009-8054(2010) 02-0084-04

Research Progress on Association Analysis

CHEN Yu-ting, ZHANG Bao-wen, HE De-quan

(Shanghai Jiaotong University, Shanghai 200240, China)

【Abstract 】The discovery of association rule is an important aspect of data mining. Due to the tremendous increase of information data and in order to transform these raw data into valuable information which could be best used by the people, it 's extremely important to study the mining algorithm. The paper summarizes various prevailing association rule mining algorithms, classifies them into four different types and makes comparisons between among various types of algorithms. And based on this, the future developments of the association rule mining algorithms are analyzed and forecasted.【Keywords 】data mining; association analysis; Apriori; frequent itemset

关联分析研究的进展

收稿日期：２００９－０８－１７

作者简介：陈宇王廷，１９８５年生，男，上海交通大学在读硕士，研究方向：数据挖掘、关联分析；张保稳，男，上海交通大学副教授，研究方向：数据挖掘；何德全，男，中国工程院院士，上海交通大学信息安全工程学院院长，研究方向：信息安全。

０ 引言

当今世界正处在一个信息迅速发展的时代，信息数量急剧增长，面对浩如烟海的海量数据，把这些数据转换成被人类充分利用的有价值信息的强烈需求，激发了数据挖掘技术的产生，其中关联规则的挖掘是目前数据挖掘领域中研究最为广泛的课题之一[1]。

强有力的关联规则挖掘算法，可以帮助决策者从海量数据中发现重要的数据模式，从而提取有价值的知识，逾越丰富数据到有用信息之间的鸿沟，对商业决策和科学研究做出巨大贡献。

１ 关联规则挖掘

文中在对典型的关联规则挖掘技术进行分析后，对关联分析进行了归纳。关联规则挖掘技术从整体上分为如下几类：按照事务数据集数据类型的不同可以划分为二值型关联规则挖掘与数值型关联规则挖掘；由于数据挖掘处理的多是大规模的数据库，一个挖掘任务的完成经常需要较长的时间，故按照处理器处理数据的方式不同可以划分为串行关联规则挖掘与并行关联规则挖掘；由于数据分布的分散性，有价值的模式经常出现在较高的概念层中，仅从较低的概念层上很难发现有用的模式，故按照是否对事务数据集进行概念分层又可以划分为单层次关联规则挖掘与多层次关联规则挖掘；由于当前事务数据库是多用户共享的共同资源，频繁的数据库更新通常是不可避免的，故按照事务数据集是否动态改变又可以划分为增量式关联规则挖掘与静态关联规则挖掘(见图1)。

1.1 二值型关联规则挖掘

（１）　基于ＳＱＬ的关联规则挖掘算法—ＳＥＴＭ［２］

事务通常以关系数据库的格式存储，一条事物对应关系

图１　关联规则挖掘的分类

表的一条记录。如果借助关系数据库的查询功能，将关联规则挖掘的过程转化为SQL 语句的方式来执行，可以有效地提高挖掘的效率。SETM 算法利用中间表R k 存储事物的标识和其中包含的k -项集。对k -1阶项集的中间表R k -1与R 1作连接操作，就得到k 阶项集的连接表R k `，对连接表按照项集字段分组，每个项集构成一组，组内的记录个数就是该项集的支持度计数，那些达到最小支持度阈值的项集就是频繁k -项集。然后，利用频繁项集对连接表过滤，只保留频繁项集对应的交易记录，得到k -项集的中间表记作R k 。以此类推，直到某个中间表为空时算法结束。

（２）　关联规则挖掘的基本算法——Ａｐｒｉｏｒｉ［３］

Apriori 算法是第一个典型的关联规则挖掘算法，它开创性地使用基于支持度的剪枝技术，系统地控制候选项集指数增长。该算法中使用Apriori-gen 函数通过如下两个操作产生候选项集：

① 候选项集的产生：该操作由前一次迭代发现的频繁(k -1)-项集产生新的候选k -项集；

② 候选项集的剪枝：该操作采用基于支持度的剪枝策略，删除一些候选k -项集。

函数A p r i o r i -g e n 的候选产生过程合并一对频繁(k -1)-项集，仅当它们的前k -2个项都相同。令A ={a 1，a 2，…，a k -1}和B ={b 1，b 2，…，b k -1}是一对频繁(k -1)-项集，合并A 和B ，如果它们满足如下条件：a i =b i (i =1，2，…，k -2)并且a k -1≠b k -1。

（３）　ＦＰ增长算法

FP 算法不同于Apriori 算法的“产生-测试”，而是使用一种称作FP 树的紧凑数据结构组织数据，并直接从该结构中提取频繁项集，它通过逐个读入事务，并把每个事务映射到FP 树中的一条路径来构造。FP 增长是一个有趣的算法，它展示了如何使用事务数据集的压缩表示来有效地产生频繁项集。此外，对于某些事务数据集，FP 增长算法比标准的Apriori 算法要快几个数量级[4]。FP 增长算法的运行性能依赖于数据集的压缩因子，如果生成的条件FP 树非常茂盛，则算法的性能显著下降，因为算法必须产生大量的子问题，并且需要合并每个子问题返回的结果。

（４）　ＱＴＴＰ算法［５］

QTTP 算法直接把事物操作数据当作候选集，通过扫描保存各项集的超集信息，从而对扫描过的信息不再重复扫描。为了保存扫描信息，存储结构规定如下：用Kset 表示层的索引号；NO.T 表示每层中TID 的序号；ID 用来标识没有超集的记录，有超集记录的ID 与其超集的ID 相同；标识位(flag)用来判断“记录k 项集是记录(k +1)项集的子集”是否出现过，取0表示未出现过，取1表示已出现过。上述4个算法的比

较如表1所示。

1.2 数值型关联规则挖掘

（１）　数值型关联规则挖掘算法［６］

数值型关联规则的挖掘是通过先将数据转换为二值型，再利用二值型规则的挖掘方法来实现的。对于分类型属性和值域(属性的取值空间)较小的数值型属性，每个取值映射为一个变量，对值域较大的数值型属性先分段，每个区间映射为一个变量，取值落在该区间中的数据转换为1，反之为0。数值型关联规则的挖掘就是发现这样的规则X →Y ，满足以下方面：

① 对于给定的支持度阈值，该规则满足б(X ∪Y )≥s ；② 对于给定的置信度阈值，该规则满足conf ≥minconf ；③ 对于给定的兴趣阈值，该规则是有趣的。（２）　模糊关联规则挖掘算法［７］

模糊关联规则挖掘[8]就是要发现模糊概念之间的关联。一般来说，模糊关联规则挖掘包括两个步骤：搜索频繁模糊项集和生成模糊关联规则。其中后者的过程与二值型关联规则挖掘相同，以下是频繁模糊项集搜索的过程：

① 定义属性上的模糊概念，可以用手工的方式定义，也可以通过其他方法自动生成；

② 扫描数据库，得到频繁1-模糊项集，在第k 次循环利用Apriori-gen 运算根据k -1阶候选项集，计算候选项集的支持度计数，得到k 阶频繁项集。1.3 并行关联规则挖掘[9]

并行算法是进行大规模计算的有效方法，利用多个处理器并行地处理数据，关键是计算、通信、内存利用和并发之间的协调。根据硬件的体系结构，并行关联规则挖掘算法分为内存分布的并行挖掘算法和共享内存的并行挖掘算法。

（１）　内存分布的并行挖掘算法［１０］

Count 分布算法(CD 算法)是最典型的内存分布的并行关联规则挖掘算法。它把数据分布到各处理器，每次循环时在每个处理器的内存中复制全部候选项集，建立候选项集的Hash 树结构，然后各处理器分别扫描局部数据，计算局部支持度计数，通过处理器之间的通信得到全局支持度计数。

（２）　共享内存的并行挖掘算法［１１］

CCPD 算法是基于Apriori 算法的共享内存的并行算法，它将数据库划分为若干逻辑分区，各处理器并行地生成候选项集，构造共享的Hash 树。由于对Hash 树的插入操作是并行执行的，当两个以上的处理器同时修改一个叶节点时，就

表１　二值型关联规则挖掘算法的比较

会造成访问冲突的问题。CCPD算法采用了新的Hash函数，构造Hash平衡树，缩短了搜索时间。

1.4 多层次关联规则挖掘

在许多应用中，由于数据分布的分散性，有价值的模式经常出现在较高的概念层中，仅从较低的概念层上很难发现有用的模式，所以数据挖掘应该提供在多个层次上进行挖掘的功能。根据规则涉及到的层次，多层关联规则可以分为同层关联规则和层间关联规则。同层关联规则考虑相同概念层次上的项之间的关系，而层间关联规则中出现的项可以属于不同的概念层次。

（１）　同层关联规则的挖掘

同层关联规则挖掘可以采用下面两种支持度策略：

①统一的支持度阈值：对于不同的层次，都使用一个支持度阈值。这种方法的缺点是在低层次上难以找到满足支持度阈值的项集；

②递减的支持度阈值：对不同的概念层次指定不同的支持度阈值，较低层次的支持度阈值相对较小。假设指定第k层的最小支持度计数是minsup[k]，如果第k层的项集X的支持度计数X.sup≥minsup[k]，那么称X是频繁项集。

ML_T2[12]算法是一种典型的同层关联规则挖掘算法，采用交易削减的方法，减少了扫描的数据量，从而提高了算法的效率。

（２）　层间关联规则的挖掘

层间关联规则又称广义关联规则，形式为X→Y，其中X，Y是任意概念层次上的频繁项集，满足X∩Y=Ф，且Y 不包括X中的项的祖先。广义关联规则的挖掘包括3个步骤：

①找到满足支持阈值的频繁项集，频繁项集可以由任意概念层次上的项构成；

②生成关联规则，计算规则的置信度，找到满足置信阈值的规则；

③计算规则的期望支持度和期望置信度，删除冗余规则。

其中，第①步是这个过程的核心，对此也有各种不同的算法，如Basic算法、Cumulate算法等等。

1.5 增量式关联规则挖掘

增量关联规则挖掘的主要思想是在原有规则的基础上，去掉那些不满足条件的旧规则，发现满足条件的新规则，其目的是尽量减少计算量。增量关联规则算法主要解决两类问题，即支持度阈值的动态调整和支持数据库的更新。

（１）　支持度阈值的动态调整

阈值的调整一般分为以下3类：

①置信阈值调整带来的问题很容易解决，由于保留了原来的频繁项集，置信阈值改变后，很容易由频繁项集重新生成满足条件的规则；

②当支持度阈值增大时，规则的更新也很简单，只要去掉那些不满足新支持度阈值的频繁项集和规则就可以完成更新任务；

③当支持度阈值减小时，原来的非频繁项集可能成为新的频繁项集，这类情况需要重新计算支持度。

（２）　数据库的更新

数据库的更新可以引起某些关联规则的失效，也可产生新的关联规则。FUP(Fast Update)[13]算法是一种典型的支持数据库更新的关联规则挖掘算法。当数据库中增加了一批新的记录时，设L表示原始事务数据库的频繁项集，L`表示数据库增量后的频繁项集。该算法的主要思想是从L中删除(L-L`)的项集，并且识别出属于(L`-L)的频繁项集。而在计算后者时，只需要检测那些在新增数据中满足支持度阈值的项集，从而减少对原始数据库的扫描，提高规则的维护效率。

２ 结语

文中在对数据挖掘与关联分析的基本概念进行阐述后，着重对关联规则挖掘算法进行了分类、研究与比较。从1994年A g r a w a l和S r i k a n t提出最著名的关联规则挖掘算法Apriori算法之后[14]，各类不同的挖掘算法不断涌现，随着计算的大规模化，涌现出如CD、FDM等并行关联规则挖掘算法；处理数据的不断复杂化，又出现了诸如ML_T2算法；为了降低算法的开销，对现有算法的改进也在不断进行中，如自顶向下的FP增长算法等。通过分析，可以看到国内外在关联规则挖掘方面的研究已经取得了巨大的进步，但关联规则挖掘技术在某些方面仍然存在着不足，需要进一步研究并提出更佳的解决方案。

（１）　关联规则算法体系的标准化、模块化

虽然关联规则的定义较为简单，算法形式多变，但基本思想变化不大。所以有必要建立一个系统的算法体系结构，然后归纳总结现有的各类算法。该系统至少应满足各算法具有统一的数据输入和输出格式；算法模块独立使用；提供标准统一的算法测试平台。

（２）　处理非结构化数据库

与具有明确的属性域取值的结构化数据不同，非结构化数据不具有明显的结构形式[15]，如流式数据、多媒体数据和文本数据等。这类非结构化数据库的大量使用，无疑将引导关联规则研究进入一个全新的领域。

（３）　辅助研究

在生命科学、天文科学、生态科学和环境科学等数据密集型的自然科学研究领域，关联规则可以提供高效的规律发现和模式识别方法，验证已有的和发现全新的经验和规律。可以预见，关联规则将成为科学研究的重要辅助工具。

（４）　辅助决策

关联规则在医药、金融、商业和工业制造等领域的成功应用证明了关联规则的理论生命力和实际应用价值。如何将关联规则和其他的决策方法结合，为决策者提供科学有效的依据将成为关联规则研究中最具现实意义的课题[16]。

参考文献

[1] Han Jiawei ，Micheline Kambe Y ．数据挖掘概念与技

术[M ]. 范明，孟晓峰，译. 北京：机械工业出版社，2007：20-31.

[2] H o ut s ma M ，S wa m i A. Se t -O ri e nt e d M in in g o f

Association Rules[R]. Los Angeles ：IBM ，1993.[3] R a k e s h A g r a w a l ，R a m a k r i s h n a n S r i k a n t. F a s t

Algorithm for Mining Association Rules[C]// Bocca J B ，Jarke M ，Zaniolo C ，eds. Proceedings of 20th Int. Conf. Very Large Data Bases(VLDB). [s.l.]：Morgan Kaufmann Press ，1994：487-499.

[4] 冯洁，陶宏才. 典型关联规则挖掘算法的分析与比较[J].

计算机技术与发展，2007(03)：22-45.

[5] 刘军峰，李景文，陈大克，等. 一种改进的关联规则自

顶向下算法[J]. 计算机技术与发展，2008(02)：14-18.[6] Srikant R ，Agrawal R. Mining Quantitative Asso-ciation Rules in Large Relational Tables[J]. ACM Special Interest Group on Management of Data ，1996(25)：01-13.

[7] 汪培庄. 模糊数学简介(I)、(II)：数学的实践与认识[M].

北京：国防工业出版社，1994：02-03[8] 王磊. 模糊关联规则挖掘算法[J]. 甘肃科技，2006(22)：

03-04.

[9] Z a k i J. P a r a l l e l a n d D i s t r i b u t e d A s s o c i a t i o n

Mining ：A Survey[J]. IEEE Concurrency ，Special I s su e o n P a r al l e l M e c ha n i s ms f o r D a t a M i n in g ，1997，07(04)：04-25.

[10] Agrawal R ，Shafer J. Parallel Mining of Associa-tio n Rule s[J]. IEEE Trans. Know ledge and D ata Engineering ，1996，08(06)：962-969.

[11] Zakietal M J. Parallel Data Mining for Association

Rules on Shared-Memory Multi-Processors ：Pro-ceeding of Supercomputing[M]. Los Alamitos ：IEEE Computer Soc. Press ，1996(03)：17-22.

[12] Han Jiawei ，Fu Yongjian. Discovery of Multiple

Level Association Rules from Large Database[M].Zurich ：[s.n.]，1995：420-431.

[13] David Wai-Lok Cheung ，Han Jiawei ，Vincent Ng ，

et al. Maintenance of Discovered Association Rules i n L a r g e D a t a b a s e s ：A n I n c r e m e nt a l U p d a t i n g Technique[J]. Proceedings of ICDE ，1996(02)：106-114.

[14] 毛国君，段立娟，王实，等. 数据挖掘原理与算法[M].

北京：清华大学出版社，2005：167-169.

[15] 唐婵娜，范磊. 考虑置信度的告警因果关联的研究[J].

信息安全与通信保密，2009(06)：27-46.

[16] 孙义明，曾继东. 数据挖掘技术及其应用[J]. 信息安全

与通信保密，2007(08)：15-31.

态变量，不对整个数据包记录，节约防火墙存储空间；运行效率方面，二分支结构具有固有效率优势(类比二叉树搜索)，每条规则运行时间复杂度约为O (log 2N )。上例中，若数据包不是TCP 请求，算法立刻退出，无任何冗余计算。规则制定者可以通过合理构造决策树，来减少树深度，提高运行效率。

３ 结语

文中提出一种基于改进决策树的有状态防火墙模型，一定程度上允许了设置复杂规则。然而，在算法设计中，选择分支和循环是两种重要的逻辑结构，该模型仅能满足对前者的需求，若某一规则的算法逻辑需要使用循环结构才可构造出，则该模型无法适用。改进工作是扩展当前所采用的树结构成为图结构，表达更为复杂的逻辑，但模型的复杂化必然带来实现成本的提高，对防火墙管理员也提出了更高要求；

对于这几者之间的协调平衡，需要进行更深入地研究。

参考文献

[1] 王卫平，陈文惠，朱卫未. 防火墙技术分析[J]. 信息安

全与通信保密，2006(08)：24-27.

[2] Gouda M G ，Liu A X. A Model of Stateful Firewalls

a n d i t s P r o p e r t i e s [C ]//I E E E. D S N 05. U n i t e d States ： IEEE Publications ，2005.

[3] 陈波. SYN Flood 攻击的原理、实现与防范[J]. 计算机

应用研究，2003(12)：80-83.

[4] Stevens W R. TCP/IP Illustrated ，Volume 1：The

P r o t o c o l s [M ]. U n i t e d S t a t e s ：A d d i s o n -W e s l e y ，1994：103-135.

[5] 叶振新，杨树堂，马进. 防火墙性能优化[J]. 信息安全

与通信保密，2009(06)：48-51.

(上接第83页)