采用增量式神经网络(FUZZY ARTMAP)分类P2P流量(修改0731)

采用增量式神经网络(FUZZY ARTMAP)分类P2P流量CLASSIFICATION OF PEER-TO-PEER TRAFFIC USING INCREMENTAL NEURAL

NETWORKS (FUZZY ARTMAP)

Bijan Raahemi1, Alexandre Kouznetsov2, Ahmad Hayajneh3, PeterRabinovitch4

1,2,3University of Ottawa, 55 Laurier Ave, E., Ottawa ON K1N 6N5 Canada

{braahemi, akouz086, ahaya047}@uottawa.ca

4Alcatel-Lucent, Research and Innovation Center, 600 March Road, Ottawa, ON,

Canada

Peter.rabinovitch@https://www.360docs.net/doc/823651602.html,

摘要我们介绍数据挖掘的应用，特别是FUZZY ARTMAP神经网络对IP网络中的P2P流量的分类。我们在一个主干网关路由器上获取Internet流量，对数据进行预处理，选择最有意义的属性，作为FUZZY ARTMAP算法采用的训练数据集。FUZZY ARTMAP是一种增量式学习分类方法，适用于数据流的挖掘。我们采用增量式和非增量式的方法对不同大小的训练数据集建立了几种模型。我们观察到，当训练数据集比较小的时候，增量式学习算法比非增量式算法性能更好。这使得增量式学习分类方法在数据流挖掘应用在内存大小通常是有限的情况下效率更突出。我们的方法只依赖于数据包的IP头信息，消除了利用深层包检查等相关技术引起的隐私问题。

关键词数据挖掘；增量式学习神经网络；FUZZY ARTMAP；IP流量分类；P2P流量

1．简介

P2P是一种Internet应用，它允许一组用户彼此交流，通过直接访问对等机器并从对等机上下载文件，共享计算资源。最新研究表明，P2P[1,2]占据带宽流量的70%。

P2P流量和它的特性已经改变了原来假设下设计数据网络的初衷。P2P流量显得更加对称(相对于ADSL的设计而言)；P2P流量突发性较低，导致基于原数据网络设计的统计复用变得很难生效。同时，P2P流量相对于传统的Web和邮件流量持续时间更长，数据包长度更大，导致中间交换机和路由器的队列处理器更加繁忙，从而消耗网络设备中更多的带宽和处理器资源。再者，P2P 流量本地较少大多分布在全球不同的AS传播。

P2P应用消耗大量的带宽和网络资源，导致网络拥塞，影响服务的可用性、可靠性和服务质量，潜在地降低了用户的满意度。为如此大量的网络使用分配设备的同时，电信运营商和Internet 服务供应商没有通过其基础设施提供的服务获得相应的利润。因此，为了进一步控制和管理，分类和过滤P2P流量的有效解决方案才引起电信设备供应商和Internet服务提供商重视。

本文中介绍了我们研究的成果，我们在一个主干网关络由器上获取Internet流量，对数据进行预处理，为FUZZY ARTMAP神经网络提供训练数据集。我们的方法仅依赖于数据包的IP头，消除了运用深层次报文分析引起的隐私问题。2．相关工作

P2P流量的分类，最近得到了学术界和业界的广泛关注。各种P2P流量分类的方法被提出。一种比较流行的方法是TCP端口基于分析工具Netflow和cflowd[3]，这种配置是通过读取TCP/UDP数据包包头获得服务端口号，然后和已知P2P应用的端口号进行比较，如果匹配一致就把该数据包分类为P2P。尽管P2P应用有默认的端口号，但是，新版本P2P应用允许用户去更改端口号，或者选择在指定范围内的随机端口号。因此，基于端口号分析方法的效率和准确率下降。

S.Sen，O.Spatscheck和D.Wang在[4]中注意到实际中网络应用在数据包的数据部分有一个特定的字符串，故提出了一种应用签名的方法。他们利用可用的信息，通过专有的P2P协议规范结合从数据包追踪分析到的有用信息去识别签名，从而实现数据包的分类。

研究人员也通过分析网络流量的行为和统计特征去分类P2P应用。在[5]中，S.Zander，T.Nguyen 和G.Armitage基于流的统计特性运用无监督的机器学习技术构建了一个IP流量分类的框架。同时，作者计划通过更多的流和应用去验证他们的方法，他们指出分类结果的精确地和性能还没有得到验证。Denis Zuev和Andrew W.Moore在[6]中提出一种监督机器学习的方法去识别网络流量。他们开始通过集中预定义的方式分配流量：Bulk, DataBase, Interactive, Mail, WWW, P2P,Service, Attack, Games和Multimedia.然后，他们利用248

个流特征形成一个流鉴别器通过朴素贝叶斯分析的方法去构建他们的模型。他们验证了这个方法在精确度和准确率方面的性能，尽管这种方法是有前景的，但是存在一个关于这种方法的可扩展性的问题，当它涉及太多鉴别组时，它花费太多的时间去准备数据和分配流量的预先定义类别。

文献[7、8]的工作中提出了监督式的机器学习方法去分类网络流量，以多层感知器神经网络作为分类。作者预处理和标记数据，运用不同属性的组合为多种比率的P2P和非P2P的训练数据集建立了集中模型。结论中包含的神经网络应用观察网络模型需要不断的更新，以确保新的应用被检测到。

在[7、8]中神经网络被作为一个非增量分类器提出。后文会进行解释的，它不需要总是不断的更新非增量算法。虽然有大量的工作关系到增量式FUZZYARTMAP神经网络和各种应用分类任务[9、10、11、12]，关系到这个理论，但是没有人提出用增量式神经网络和FUZZY ARTMAP 对Internet流量进行分类。

3．流数据挖掘和增量式学习

最近工作和我们之前的研究[7、8]表明，数据挖掘算法可以用来确定常见的由各种P2P应用产生的P2P流量特征。从这个角度，P2P流量分类可以被作为一个任务的子集来确定，即在线数据流挖掘。流数据挖掘作为数据密集应用的一个重要分支，在数据包的动态信息流占一大部分，经常要求快速和及时的处理最新信息。不像针对已存储的数据的分析方法，分析流数据的途径需要不同的方法。不仅速度要更快，而且存储效率也要高。当数据随着时间变化时，对分类器来说导入新的数据和之前已经取得的成绩相比较，可能变成一个挑战。

对于流数据分类，传统的算法需要被修改。因为流数据是随着时间变化的，通过之前方法取得的训练周期可能不能吻合数据。数据流分类的一种方法是基于增量式学习的感念，机器学习原来是着重于非增量式的学习任务，其中，一旦训练集被充分地处理，那么这个训练集可以构造一个先验和学习停止。然而，在一些领域，如数据流在线挖掘，学习任务自然就是增量式的。作为原始训练集在增量式学习中已经完成，系统仍然有继续基于新的数据学习的能力，而不丢失之前的成果。换句话说，它可以在没有忘记以前的东西的前提下不断学习。

流行增量式学习的分类器是基于自适应共振理论的系列算法，FUZZY ARTMAP是这个系列的一种，适用于我们的工作。

3.1. FUZZY ARTMAP

FUZZY ARTMAP是Carpenter在1992年[10]中提出的，同样由于Predictive ART被熟知，是一种神经网络，是基于适应共振理论的一种增量式监督学习的工具，也是基于胜者为王(winner-takes-all)的体制[12]，是适应共振理论神经网络的一个指导先驱。接下来的计划是举例，FUZZY ARTMAP的算法和理论是从[13]中衍生出来的。

自适应滤波器(Adaptive Filters)—神经网络(Neural Networks(NN))—比较学习(Competitive Learning)—自适应共振理论(Adaptive Resonance Theory(ART))—FUZZY ART—FUZZY ARTMAP 对比学习网络大多数应用在无监督学习中，可以应用于聚集任务中。对比学习一个重要的不足是稳定性和稳定适应环境的问题。适应共振理论基于增量式学习神经网络的应用能够解决这个问题[9]。同时，ART神经网络是ART基于神经网络产生的第一种工作于二进制输入的方法，

FUZZY ART不是一般的系统，它能够接受模拟的复合FUZZY输入，也就是引导的成分是0和1之间的真实数据。

当ART NN和FUZZY ART NN 被设计应用于聚集任务时，FUZZY ARTMAP是一种同态相位，包括两种FUZZY ART网络的神经网络，可以应用于复合输入的分类任务。FUZZY ARTMAP 工具有一种特殊的预处理进程，余角译码，是一种对输入常态化的响应和非响应的回应。a的余角，用a的c次方表示，体现非响应，此时a的c次方等于1-a。

4．基于FUZZY ARTMAP神经网络的IP流量分类

我们仅仅用包含IP数据包包头的信息建立分类器。对于大多数实验，我们考虑P2P和非P2P 在训练数据集中一个固定的比例：30/70。首先，我们清空数据，并标注它，进行FUZZY ARTMAP 预处理，包括非数字转换成数字形式，（0,1）的常态化和余角译码。

4.1. 训练数据集的建立

采用测试网络通信量(TCPdump)的方法，2006年四月份五天内的不同时段，我们在校园网的主干网络处捕获TCP/IP包头的双向网络流量。一共产生37个不同长度的文件，每一个记录包含全部的TCP/IP包头，下面是一个样本的记录：11:39:54.370377 IP(tos 0x0,ttl 127,id 35953,offset 0,flags[DF],proto:TCP(6),length:603)

137.122.72.6.3688>137.122.14.100.80:P184127950 2:1841280065(563) ack 548172814 win 16256 Tos,flag,和offset字段是很清晰的，对所有记录有着单一值，同时，“ttl”，“win”，“Sequence number”和序列数不包含不同记录的信息。到达时间，ID，协议，包长，源IP，目的IP，源端口和目的端口包含有可以被利用去区分记录的有识别价值的信息。因此，我们仅仅保留信息属性，同时，丢弃其他没用的信息和一元字段。

下一步，我们选择整个数据的一个子集，可以精确标记P2P和非P2P流量。这个子集被用来构建神经网络模型，为了标注流量，我们应用下列伪码：

If (port number)<1024 //如果端口号小于1024

Then

Type=”Non-P2P”//类型为非P2P

Else

If port number is in {1214,6881,6889,6699,6700,6701,4661,4665,4672, 4662,6346,6347,6348,6349,6257,1044,1045,1337,2 340,2705,4500,4329,5190,5500,5501,5502,5503,66 66,6667,7668,7788,8038,8080,28864,8311,8888,88 89,41170,3074,3531}

Then

Type=”P2P”

Else

Discard record

End

括号里的数据表明最常见的P2P应用缺乏端口号。我们检查几种P2P应用确定他们允许用户仅仅在1024-65535之间随机选择端口。

这种应用程序产生一个包含标注记录的文件，包括：到达时间，ID，协议，包长，源IP，目的IP和源端口等属性。

4.2. 构建FUZZY ARTMAP神经网络模型

运用来自AaronGarrett[14]的FUZZY ARTMAP软件构建模型。针对我们的实验，我们对ARTMAP进行Matlab代码五步仿真。Weka(智能分析环境)数据挖掘工具包[15]对数据进行预处理操作，如常态化。我们选择六组属性：到达时间，ID，协议，包长，源IP，和目的IP。我们不关心源端口和目的端口，因为我们在标注进程中已经应用过它们了。

然后，我们进行一系列的实验，对每个实验把数据标注分离成训练和测试部分。训练和测试文件的主要不同的地方就是文件大小。每个实验包括两个子集：非增量式和增量式。做非增量式实验时，独立训练和测试的次序是逐步实行的，每次训练意味着绝对地新的学习，不应用之前取得的成绩。然而，增量式实验运用增量式学习，每次训练进程不仅重视现在的训练文件而且重新运用来自之前实验训练得到的成果。我们研究的目标就是比较增量式和非增量式数据不同的方案。

5．仿真结果分析

5.1. 分类效率标准

我们采用灵敏度，专一度和精确度来作为分类器的度量标准。精确度是指在P2P的模糊分类和实际情况一致的情况下，正确分类的实例数占实例总数的百分比表示。一个单独的实例有四种不同的预测输出，两种正确的输出是：(a)P2P流量分类的准确率(TP)，即一个P2P实例被精确的分类为P2P；(b)非P2P流量分类的准确率(TN)，一个非P2P实例被精确的分类为非P2P。因此，也有两种错误的预测：(c)P2P流量的误判率(FP)，一个P2P实例被分类为非P2P；(d)非P2P流量的误判率(FN)，一个非P2P实例被分类为P2P。

灵敏度(也可以叫做P2P包分类的准确度)是计算出通过分类器分类的正确的P2P包在总的数据包中的比例：

Sensitity=TP/(TP+FN).

专一度(也可以叫做非P2P包分类的正确率)是计算出通过分类器分类的正确的非P2P包在总数据包中占的比例：

Specificity=TN/(FP+TN).

精确度：

Accuracy=(TP+TN)/(TP+TN+FP+FN)

灵敏度、专一度和精确度越高，分类器的准确程度就越高。

5.2．仿真结果

第一次实验是基于每组1600个实例的10组实验。表1-a，1-b和1-c分别显示出这次实验的精确度，灵敏度和专一度。仿真结果和和表格一致的表明增量式学习的效果很大程度上比非增量式学习效果更好。这是因为之前的成果在下一步训练和测试上提高了分类器的效率。

接下来的实验是运用每次800个实例的10组实验(表2-a，2-b和2-c)。仿真结果和表格再一次一致表明：增量式的学习方法比非增量式的方法效率更高。

同时，我们也采取了相同的方法对更大长度的训练和测试文件(10000个实例)。在这个条件下，增量式的方法没有表现出在较小文件数目时相对于非增量式方法的优势。可解释为：不管怎样训练文件，达到足够构建模型的情况下，再通过补充信息也无法提高分类器的性能。

表3-a，3-b和3-c实验显示，数据文件在2000个到32000个实例训练/测试下的实验结果。(实验把2000,4000,8000,16000,32000个实例作为一个子集，训练和测试各占50%。)

6．总结

我们在校园网网关处采集网络流量，进行预处理和标注数据，分别运用增量式学习和非增量式学习对不同长度的训练测试数据集构建FUZZY ARTMAP神经网络分类模型。我们应用灵敏度，专一度和精确度来作为分类器实效度量标准。

我们发现，当训练数据集的长度相对较小时（4000左右或更小），增量式学习方法比非增量式学习有更好的效果。当训练数据集的长度增长时，增量式相对非增量方法的优势不见了。

观察报告强调：在线数据流挖掘任务的实用

性，比如在网络中P2P流量分类。这种应用类型，经常对有效存储的数量有限制。比如，需要一个长度较小的训练数据集的分类算法是很有价值的。我们的报告表明，特别是在ARTMAP神经网络中的增量式学习算法，当训练数据较小的时候比非增量式有更好的效果。这种算法，比如FUZZY ARTMAP神经网络，可以在路由器中应用（也许给用户最终访问接口），作为后台进程不断运行。

7．感谢

这次研究得到了加拿大Alcatel-Lucent的协作和ORNEC的支持。

8．参考文献

[1] Azz ouna, N.B., and Guillemin, F., “Impact of peer-to-peer applications on wide area network traffic: an experimental approach”, IEEE Global Telecommunications Conference, GLOBECOM '04, Vo. 3, 29 Nov.-3, pp. 1544-1548, Dec. 2004.

[2] Kamei, S., and Kimura, T., “Practicable network design for handling growth in the volume of peer-to-peer traffic”, IEEE

Pacific Rim Conference on Communications, Computers and

signal Processing, PACRIM, Vol. 2, pp. 597-600, Aug. 2003.

[3] Mark Crovella and Balachander Krishnamurthy, “Internet Measurement: Infrastructure, Traffic and Applications”,

Publisher: John Wiley and Sons, West Sussex, England, 2006.

[4] Sen, S., O. Spatscheck, and D. Wang, “Accurate, Scalable In- Network Identification of P2P Traffic using Application

Signatu res,” Proceedings of the 13th International World Wide

Web Conference, NY, USA, pp. 512-521, May 2004.

[5] Zander, S, Nguyen, T, and Armitage, G, “Selflearning IP

Traffic Classification based on Statistical Flow Characteristics”, Springer-Verlag Lecture Notes in Computer Science, Vol. 3431, Springer Berlin /Heidelberg, pp. 325-328 , 2005.

[6] Zuev, D and W. Moore, A, “Traffic Classification using a Statistical Approach”, Springer-Verlag Lecture Notes in

Computer Science, Vol. 3431, Springer Berlin / Heidelberg, pp.

321-324, 2005.

[7] B. Raahemi , A. Hayajneh, and Peter Rabinovitch, “Classification of Peer-to-Peer Traffic using Neural Networks”, Proceedings of Artificial Intelligence and Pattern Recognition

AIPR-07, Orlando, USA, July 2007.

[8] B. Raahemi , A. Hayajneh, and P. Rabinovitch, “Peer-to-Peer

IP Traffic Classification using Decision Tree and IP Layer Attributes”, International Journal of Business Data Communications and Networks, Vol. 3, Issue 4, pp.60-74, Aug 2007.

[9] Carpenter, G.A. & Grossberg, S., “Adaptive Resonance Theory”, In M..A. Arbib (Ed.), The Handbook of Brain Theory and Neural Networks, MIT Press, Cambridge, MA, pp. 87-90, 2003.

[10] Carpenter, G.A., Grossberg, S , Markuzon N., Reynholds J., Rosen D., “Fuzzy ARTMAP: a Neural Network Ar chitecture for incremental supervised learning of analog multidimensional maps”, IEEE Trans. On Neural Networks, V. 3, pp.698-713, 1992.

[11] G. A. Carpenter, S. Grossberg, D. B. Rosen, “ Fuzzy ART: Fast Stable Learning and Categorization of Analog Patterns by an Adaptive Resonance System”, IEEE Trans. On Neural Networks, pp. 759-771, 1991.

[12] Rumelhart and Zipser, “Feature Discovery by Competitive Learning”, Cognitive Science, N. 9, pp. 75-112, 1985.

[13] G. A. Carpenter, “Neural network models for patte rn recognition and associative memory”, Neural Networks, V. 2, N. 4, pp. 243-257, 1989.

[14] Available at MATHWORKS web site:

https://www.360docs.net/doc/823651602.html,/matlabcentral/fileexchange/loadFile. do?objectId=4306&objectType=file

[15] available at WEKA web site:

https://www.360docs.net/doc/823651602.html,/ml/weka/