Srt结题报告

SRT 结题报告

一、 研究背景及意义

现实生活中存在着各式各样的网络结构，对网络结构的研究能够解决人们生活中很多的问题。在各类现实的网络结构中，人们对社交网络存在更大的兴趣，在这方面从事了大量的研究工作。人类社会的日益网络化需要人类对各种人工和自然的复杂网络的行为有更好的认识。许多真实系统都可以用网络的形式加以描述, 一个典型的网络是由许多节点与链接节点之间的边组成的. 节点代表系统中的个体, 边则表示节点之间的作用关系。真实网络的普遍存在, 促使来自不同学科领域的科学家共同致力于复杂网络的研究。复杂网络的研究可以使人们更好的了解现实世界的复杂系统, 为设计具有良好性能的网络提供依据。

二、 现状分析

目前很多学者针对不同类型的Web 社区提出了不同的算法。在传统的Web 社区发现中，一般将网络结构表示为图的形式，图中的结点表示Web 网页，边表示网页间的连接关系，如Kleinberg 提出的HITS 算法、PageRank 算法、Kummar 等提出的拖网算法。以上这些算法取得了成就，但由于大多基于链接结构分析或者主题分析，容易产生结果漂移，且大多只能识别单一社区，无法挖掘更真实的信息。针对新型社交网络，学者们也提出了一些搜索方法，典型的有Kernighan 算法、基于Laplace 图特征值的谱平分法、利用分级聚类概念提出的分裂算法和凝聚算法。这些算法或需要丰富的先验知识，或是时间复杂度高，或者是对网络规模敏感。

三、 研究内容

3．1复杂网络及其基本性质

一个具体的网络可抽象为一个由节点集合 V 和边集合 E 组成的图 G = (V,E)。节点数记为 n = |V |，边数记为 m = |E|。E 中每条边都有 V 中一对点与之相对应。如果任意点对 (i, j) 与 (j, i) 对应同一条边，则该网络称为无向网络 (undirected network)，否则称为有向网络 (directed network)。如果给每条边都赋予相应的权值，那么该网络就称为加权网络 (weighted network)，否则称为无权网络 (unweighted network)。真实世界中复杂网络具有三个基本性质：包括小世界性质，无标度性质以及社团结构性质。

3．1．1小世界性质

20 世纪 60 年代美国哈佛大学的社会心理学家 Stanley Milgram 的通过一些社会调查后给出了一个推断：地球上任意两个人之间的平均距离是6。也就是说，平均中间只要通过 5 个人，你就能与地球上任何一个角落的任何一个人发生联系。这就是小世界效应(small-world effect)。具体地说，一个网络称为是有小世界效应的，如果对于固定的网络节点平均度 ?d ?，平均路径长度 l 的增加速度至多与网络规模 n 的对数成正比。如果考虑网络上信息或任何事物的传播，小世界效应意味着在多数真实世界网络中传播是非常快速的。

3．1．2无标度性质

网络中节点的度的分布情况可用度分布函数 (degree distribution function)P (d) 来描述, 它表示的是一个随机选定的节点的度恰好为 d 的概率。许多网络的度分布可以用幂律 (power law) 形式γ-∝d d p )(来更好地描述。幂律 (power law) 分布也称为无标度 (scale-free) 分布，具有幂律度分布的网络也称为无标度网络，这是由于幂律分布函数具有无

标度性质。在一个度分布为具有适当幂指数(通常为 2 ≤γ≤3) 的幂律形式的大规模无标度网络中，绝大部分的节点的度相对很低，但存在少量的度相对很高的节点。

3．1．3社团结构性质

随着对网络性质的物理意义和数学特性的深入研究，人们发现许多实际网络都具有一个共同性质, 即社团结构(community structure)。也就是说，整个网络是由若干个“群(group)”或“团(cluster)”构成的。每个社团内部的节点之间的连接相对非常紧密，但是各个社团之间的连接相对来说却非常稀疏。

3．2研究复杂网络社团结构的主要算法

3．2．1传统算法

复杂网络社团结构划分的传统算法主要包括图形分割法、分级聚类方法、k-means型方法和谱方法。这些算法或需要丰富的先验知识，或是时间复杂度高，或者是对网络规模敏感。所以对于这几类算法大部分我们只是定性的了解没有做更加深入的研究。我们只选择了分级聚类方法中在web发现领域具有重要意义的两个算法：GN算法和FN算法进行了深入研究并在Matlab软件中编码测试。

GN算法首次提出了边介数概念表示复杂网络中普遍存在的社区结构，启发了其他研究者对这个问题进行深入研究。该算法采用的启发式规则为：社区间链接的边介数应大于社区内链接的边介数。其中每个链接的边介数被定义为网络中经过该链接的任意两点间最短路径的条数。算法通过反复计算边介数，识别社区间链接，删除社区间链接以自顶向下的方式建立一棵层次聚类树。

GN算法流程图：

基于这样的流程图我们我们编码测试了GN算法，该算法也存在着一定的局限性。该算法最大的缺点是计算速度慢。由于边介数的计算开销过大，使其具有很高的时间复杂性。因此，该算法只适合处理中小规模网络。

FN 算法提出了一个用于刻画网络社区结构优劣的量化标准，被称之为模块性函数Q 。函数Q 给出了社区结构的清晰定义。该算法中候选解的搜索策略为选择并合并两个现有的社区。初始化时候选解中每个社区仅包含一个结点；在每次迭代时算法FN 选择使函数Q 值增加最大或减小最少的社区对进行合并；当候选解只对应一个社区时算法结束。通过这种自底向上的层次聚类过程，FN 算法输出一棵层次聚类树，然后将对应的函数Q 值最大的社区划分作为最终聚类结果。合并两个社区时所引起的Q 值变化量可以通过

)(22e ij j i ij j i ji a a e a a e Q -=-+=?来计算。

初始的ij e 和i a 满足：若结点i 与j 有边相连，则m ij 2/1e =，否则0=ij e ；m k a i i 2/=。其中i k 为结点i 的度，m 为网络中总的边数，

ij e 表示网络中连接两个不同社团的结点的边在所有边中占的比例，

i a 为每行(或者列)中各元素之和。

FN 算法流程图：

FN 算法结束时得到的是一个社区结构分解的树状图，在该树状图的任意水平位置用线断开就能够得到一种社区结构，从中选择出的对应的最大 Q 值的社区结构作为 FN 算法的运行结果。FN 算法尽管在运行时间上较GN 算法有较大改善，却依然能够获得与 GN 算法相当的运算结果。我们也编码测试了FN 算法。

GN算法和FN算法都需要丰富的先验知识，只能划分已知社团结构的网络，对于未知社团结构的网络不太适用，所以我们又进一步选择了一个进化算法：蚁群算法进行研究。3．2．2进化算法

进化算法多种多样，我们选择了其中一种：蚁群算法。它是一种用来寻找最优解决方案的机率型技术。它由在1991年被提出，比较新。研究此算法的文章比较多，我们的可参考资料也比较多。而且它避免了冗长的编程和筹划，程序本身是基于一定规则的随机运行来寻找最佳配置，对于组合优化类问题求解有着优越性。算法本身具有：

（1）选择机制：信息素越多的路径，被选择的概率越大。

（2）更新机制：路径上面的信息素会随蚂蚁的经过而增长，而且同时也随时间的推移逐渐挥发消失。

（3）协调机制：蚂蚁间实际上是通过分泌物来互相通信、协同工作的。

蚁群算法正是充分利用了选择、更新和协调的优化机制，即通过个体之间的信息交流与相互协作最终找到最优解，使它具有很强的发现较优解的能力。

将蚁群算法应用于社区发现我们是这样做的：我们在每个节点上都放置单只或多只蚂蚁，每一只蚂蚁具有往任意方向运动的能力，但每只蚂蚁的运动方向受到与他当前位置相连的路径的信息素的影响，每只蚂蚁在经过某一路径时会释放一定量的信息素，当后来的蚂蚁经过这个路口时会选择信息素浓度较高的路径的概率就会相对较大。这样就会形成正反馈。信息关联度较紧密的节点之间的路径上的信息素浓度就会越来越大，而其他路径上的信息素浓度会随着时间的流逝而逐渐消减。经过蚂蚁多次选择、行进，也就是算法的多次迭代，算法自动满足指定的收敛条件后，分析此时信息素的分布情况，信息素密集的区域即为核心社区，再对核心社区外围的节点按照信息素、节点度等参数做一定划分，最终得到的就是社区发现的结果。

蚁群算法中参数的设置对于该算法的性能有很大的影响。首先是蚂蚁数目的设置，蚁群算法是一种并行随机搜索算法,它是通过多个候选解组成的群体进化过程来搜索最优解。蚂蚁数目越多,蚁群算法的全局搜索能力及算法的稳定性越强,但是蚂蚁数目过多时,会使大量曾被搜索过的路径上的信息素的变化趋于平均,信息正反馈作用减弱,虽然全局搜索的随机性加强,但收敛速度变慢；反之,蚂蚁数目过少时,特别是对于规模较大的问题时,使得那些从未被搜索到的路径上的信息量减少至0,全局搜索的随机性减弱,虽然收敛速度变快,但是算法稳定性变差,且容易出现过早停滞。如果蚂蚁数目远远大于问题规模时,继续增加蚂蚁数目对算法的性能改善不明显。在参阅了一些资料后，我们发现蚂蚁数目m=[0.6n,0.9n]为最佳。再就是启发因子α，启发因子α反映蚂蚁在运动过程中所积累的信息量在指导蚁群搜索中的相对重要程度，其值越大，蚂蚁选择以前走过路径的可能性就越大，搜索的随机性减弱；而当启发因子α值过小时，则易使蚁群的搜索过早限于局部最优。在阅读了相关文献后，

α[1.0，2.0]时,蚁群算法的求解性能较好。还有就是信息素挥发因子ρ，对算我们发现当∈

法的影响具有双重性,当ρ较小时,未被选中路径上的信息量将迅速衰减,这使搜索空间减小,算法陷入局部最优的可能性加大而算法的收敛性提高；另一方面,被选路径上的信息量增量减小,这使搜索空间增大,算法陷入局部最优的可能性减小,而算法的收敛性降低。关于ρ的取值，我们也是通过阅读文献获得，发现当取ρ∈[0.5,0.8]时,蚁群算法的全局收敛性和收敛速度都较好,计算性能也比较稳定。我们在编写程序时参数的取值也是参照这些来取的。3．3测试算法的数据集

我们测试算法的数据集主要分为两类，一是真实世界中的网络，二是人工生成的网络。真实世界中的网络主要有空手道俱乐部网络、宽吻海豚网络和美国足球队网络等。人工生成网络是LFR基准网络。此网络数据可在Linux下用C语言编程得到。

四、总结

本次我们小组主要研究了复杂网络的基本性质和三个比较著名的算法。研究的主要算法包括首次提出了边介数概念表示复杂网络中普遍存在的社区结构的GN算法，提出了用于刻画网络社区结构优劣的量化标准模块性函数Q的FN算法还有一种进化算法蚁群算法。将蚁群算法引入社区发现，解决了以往算法实现复杂、算法的适用性差、聚类准确度偏低的问题。该算法的特点是实现起来非常简单，通过对网络结构做一定的预处理，发掘出网络中的结构特征，根据特征值选取能够优化社区划分的预设参数，尽管该算法在计算速度上与其他算法相比稍差，但是它能够划分出最优模块度的网络，通过对参数进行有针对性的配置，该算法应用于各种结构特点的网络都有很好的适应性。我们对于网络划分结果的可视化方面还存在一些不足，我们采用了Graphviz2.26.3软件直接画图，可视化效果还不是很完美。在人工生成网络方面我们是直接采用了在Linux下用C语言编写程序生成好的数据集，真实世界中的网络我们采用的是Newman在网络上提供的数据集。最后我们要感谢在本次研究中给予我们帮助的所有老师和同学们，谢谢！