社区划分——Label Propagation_光环大数据培训

https://www.360docs.net/doc/5a2035667.html,

社区划分——Label Propagation_光环大数据培训

一、社区划分的概述

对于社区，没有一个明确的定义，有很多对社区的定义，如社区是指在一个网络中，有一组节点，它们彼此都相似，而组内的节点与网络中的其他节点则不相似。更为一般的可以表述为：社区是指网络中节点的集合，这些节点内部连接较为紧密而外部连接较为稀疏。

基于上述的形象的表示，出现了很多的社区划分算法，如前面介绍的Fast Unfolding算法，Fast Unfolding算法是基于模块度的算法，模块度相当于对上述社区的形象描述的一种抽象表示，成为优化的主要目标。

二、Label Propagation算法

1、Label Propagation算法概述

Label Propagation算法是一种基于标签传播的局部社区划分算法。对于网络中的每一个节点，在初始阶段，Label Propagation算法对每一个节点一个唯一的标签，在每一个迭代的过程中，每一个节点根据与其相连的节点所属的标签改变自己的标签，更改的原则是选择与其相连的节点中所属标签最多的社区标签为自己的社区标签，这便是标签传播的含义。随着社区标签的不断传播，最终紧密连接的节点将有共同的标签。

Label Propagation算法最大的优点是其算法过程比较简单，想比较于优化模块度的过程，算法速度非常快。Label Propagation算法利用网络的结构指导标签的传播过程，在这个过程中无需优化任何函数。在算法开始前我们不必要知道社区的个数，随着算法的迭代，在最终的过程中，算法将自己决定社区的个数。

2、Label Propagation算法原理

https://www.360docs.net/doc/5a2035667.html,

对于每一个节点，都有其对应的标签，标签代表的是该节点所属的社区。在算法迭代的过程中，节点x根据其邻居节点更新其所属的社区。更新的规则是选择节点x的邻居节点中，所属社区最多的节点对应的社区为其新的社区。

上述便是Label Propagation算法的核心概念。在初始节点，令每一个节点都属于唯一的社区，当社区的标签在节点间传播的过程中，紧密相连的节点迅速地取得一致的标签。具体过程如下图所示：

这样的过程不断地持续下去，直到所有可能聚集到一起的节点都具有了相同的社区标签。在传播过程的最终，具有相同社区标签的节点被划到相同的社区中称为一个个独立的社区。

在标签传播的过程中，节点的标签的更新过程可以分为两种，即：

同步更新

异步更新

同步更新是指对于节点x，在第t代时，根据其所有邻居节点在第t?1代时的社区标签对其标签进行更新。即：

Cx(t)=f(Cx1(t?1),Cx2(t?1),?,Cxk(t?1))

其中，Cx(t)表示的是节点x在第t代时的社区标签。函数f表示的取的参数节点中所有社区个数最大的社区。同步更新的方法存在一个问题，即对于一个二分或者近似二分的网络来说，这样的结构会导致标签的震荡，如下图所示：

在上图中，两边的标签会在社区标签a和社区标签b不停地震荡。

https://www.360docs.net/doc/5a2035667.html,

对于异步更新方式，其更新公式为：

Cx(t)=f(Cxi1(t),?,Cxim(t),Cxi(m+1)(t?1),?,Cxik(t?1))

其中，邻居节点xi1,?,xim的社区标签在第t代已经更新过，则使用其最新的社区标签。而邻居节点xi(m+1),?,xik在第t代时还没有更新，则对于这些邻居节点还是用其在第t?1代时的社区标签。

对于节点的更新顺序可以顺序选择。

对于整个迭代过程，理想的情况下是图中节点的社区标签不再改变，此时迭代过程便可以停止。但是这样的定义方式存在一个问题，即对于某个节点，其邻居节点中存在两个或者多个最大的社区标签。对于这样的节点，其所属的社区是随机选取的，这样，按照上述的定义，此过程会一直执行下去。对上述的迭代终止条件重新修改：

迭代的终止条件是：对于每一个节点，在其所有的邻居节点所属的社区中，其所属的社区标签是最大的。

上述的定义可以表示为：如果用C1,?,Cp表示社区标签，dCji表示是节点i的所有邻居节点中社区标签为Cj的个数，则算法终止的条件为：对于每一个节点i，有：

ifihaslabelCmthendCmi≥dCji?j

这样的停止条件可以使得最终能够获得强壮的社区(Strong Community)，但是社区并不是唯一的。对于Strong Community，其要求对于每一个节点，在其社区内部的邻居节点严格大于社区外部的邻居节点，然而Label Propagation算法能够保证对于每一个节点，在其所属的社区内有足够多的邻居节点。

https://www.360docs.net/doc/5a2035667.html,

Label Propagation算法的过程如下：

对网络中的每一节点初始化其所属社区标签，如对于节点x，初始化其社区标签为Cx(0)=x；

设置代数t；

对于网络中的节点设置其遍历顺序和节点的集合X；

对于每一个节点x∈X，令

Cx(t)=f(Cxi1(t),?,Cxim(t),Cxi(m+1)(t?1),?,Cxik(t?1))；

判断是否可以迭代结束，如果否，则设置t=t+1，重新遍历。

三、实验

1、数据描述

实验过程中使用的数据为：社团划分——Fast Unfolding算法中使用的数据，其结构如下所示：

其在Fast Unfolding算法的划分结果为：

社区1：节点0，1，2，3，4，5，6，7

社区2：节点8，9，10，11，12，13，14，15

2、实验代码

https://www.360docs.net/doc/5a2035667.html,

###################################### Author:zhaozhiyong#

Date:20151205# Fun:Label

Propagation#####################################import stringdef

loadData(filePath): f = open(filePath) vector_dict = {}

edge_dict = {} for line in f.readlines(): lines =

line.strip().split("/t") for i in xrange(2): if

lines[i] not in vector_dict: #put the vector into the

vector_dict vector_dict[lines[i]] =

string.atoi(lines[i]) #put the edges into the edge_dict edge_list = [] if len(lines) == 3:

edge_list.append(lines[1-i]+":"+lines[2]) else: edge_list.append(lines[1-i]+":"+"1")

edge_dict[lines[i]] = edge_list else:

edge_list = edge_dict[lines[i]] if len(lines) == 3: edge_list.append(lines[1-i]+":"+lines[2]) else: edge_list.append(lines[1-i]+":"+"1")

edge_dict[lines[i]] = edge_list return vector_dict, edge_dictdef

get_max_community_label(vector_dict, adjacency_node_list):

label_dict = {} # generate the label_dict for node in

adjacency_node_list: node_id_weight = node.strip().split(":")

node_id = node_id_weight[0] node_weight =

string.atoi(node_id_weight[1]) if vector_dict[node_id] not in

label_dict: label_dict[vector_dict[node_id]] = node_weight

else: label_dict[vector_dict[node_id]] += node_weight #

find the max label sort_list = sorted(label_dict.items(), key = lambda

d: d[1], reverse=True) return sort_list[0][0]def check(vector_dict,

edge_dict): for node in vector_dict.keys():

adjacency_node_list = edge_dict[node] node_label =

vector_dict[node] label_check = {} for ad_node in

adjacency_node_list: node_id_weight =

ad_node.strip().split(":") node_id = node_id_weight[0]

if vector_dict[node_id] not in label_check:

label_check[vector_dict[node_id]] = 1 else:

label_check[vector_dict[node_id]] += 1 sort_list =

sorted(label_check.items(), key = lambda d: d[1], reverse=True)

if node_label == sort_list[0][0]: continue else:

return 0 return 1 def label_propagation(vector_dict, edge_dict):

#initial, let every vector belongs to a community t = 0 #for every

node in a random order while True: if (check(vector_dict,

edge_dict) == 0): t = t+1 print

https://www.360docs.net/doc/5a2035667.html,

"iteration: ", t for node in vector_dict.keys(): adjacency_node_list = edge_dict[node] vector_dict[node]

= get_max_community_label(vector_dict, adjacency_node_list) print vector_dict else: break return

vector_dictif __name__ == "__main__": vector_dict,

edge_dict=loadData("./cd_data.txt") print "original community: ", vector_dict vec_new = label_propagation(vector_dict, edge_dict)

print "---------------------------------------------------------"

print "the final result: " for key in vec_new.keys(): print

str(key) + " ---> " + str(vec_new[key])

3、代码解析

上述的实验代码中主要包括4个部分，其一为loadData()函数，其目的是从文

件中读入数据，取得点的信息，边的信息；第二个是label_propagation()函数，

其目的是Label Propagation算法的整个迭代过程，期中会调用两个函数，即

get_max_community_label()函数和check()函数，get_max_community_label()

函数的目的是在对每个节点遍历其邻居节点的过程中，选择出最大的社区标签，check()函数的目的是判断算法是否迭代结束。

为什么大家选择光环大数据！

大数据培训、人工智能培训、Python培训、大数据培训机构、大数据培训班、

数据分析培训、大数据可视化培训，就选光环大数据！光环大数据，聘请大数据

领域具有多年经验的讲师，提高教学的整体质量与教学水准。讲师团及时掌握时

代的技术，将时新的技能融入教学中，让学生所学知识顺应时代所需。通过深入

浅出、通俗易懂的教学方式，指导学生较快的掌握技能知识，帮助莘莘学子实现

就业梦想。

https://www.360docs.net/doc/5a2035667.html,

光环大数据启动了推进人工智能人才发展的“AI智客计划”。光环大数据专注国内大数据和人工智能培训，将在人工智能和大数据领域深度合作。未来三年，光环大数据将联合国内百所大学，通过“AI智客计划”，共同推动人工智能产业人才生态建设，培养和认证5-10万名AI大数据领域的人才。

参加“AI智客计划”，享2000元助学金！

【报名方式、详情咨询】

光环大数据网站报名：https://www.360docs.net/doc/5a2035667.html,

手机报名链接：http:// https://www.360docs.net/doc/5a2035667.html, /mobile/