多尺度可视化的小世界网络

多尺度小世界网络的可视化

摘要

有很多在信息可视化领域下研究的网络是”小世界”网络。这些网络起先出现在对社会网络的研究并且证明是与其他应用领域相关的模型，如软件逆向工程和生物学。此外，很多这些网络实际上都有多尺度性质：它们可以看做是一组一组的小世界网络。我们描述一个设计好的用来识别小世界网络里最弱边的度量标准，从而开发出一个简单的低成本的过滤程序（将一个图分割成很小的并且高度关联的部件）。我们通过一个基于语义缩放的网络交互式的导航来展示这个度量标准是如何被开发的。一旦网络分解为一系列的子网层次，用户可以很容易地找到演员群的集体和其子团体，从而了解他们的动态。

关键词:小世界网络，多尺度图，聚类度量，语义缩放。

1．小世界网络

小世界现象是第一次被Milgram 提出来的，他是研究社会网络结构的。他进行了一次如今众所周知的实验，每个志愿者将一封信寄给给一个他们认为最有可能将这封信传递给其‘接受者’的朋友，然后他的朋友再把信寄给他认为更接近这名‘接受者’的朋友（‘接受者’是一名工作在波士顿股票经纪人）。最终，大部分信件都寄到了这名股票经纪人手中，每封信平均经手6．2次到达。（Milgram认为世界上任意两个人之间建立联系，最多只需要6个人）这个结果表明：所有的信件都可以以这种方式交付，通过一条平均由六个人组成的路径。这个理论经常引用为“六度分隔”准则。这种网络的研究获得了重生并且被Watts和Strongatz 推广到很多其他的领域。

小世界网络的典型特点主要停留在两个结构参数上:1.平均的路径长度2、节点的聚簇索引。大致上，小世界网络使得结点的子集高度聚集，而结点与结点之间只有几步的距离。更确切的说，在一个小世界网络中的平均路径长度与一个随机图形（拥有相同的边界号码）的路径长度相比，它的结点的聚簇索引平均更大。

很多重要的现实世界的例子是小世界网络。这些已经被Watts 在观察神经网络时发现了。小世界网络在这个领域的应用已经被Kashuringagan更深的讨论了。Adamic 表明小世界的性质适用于从web上提取的站点对应的网络。来自逆向软件工程的图形为小世界网络提供了进一步的例子。一个关于小世界网络的著名的例子是从互联网电影数据库获得的。

下边表格中的数据显示了一些网络的小世界的性质。IMDB的例子包含在演员和电影的IMDB数据库的一小部分。从一个特定的演员x，我们在删除所有连接x（同时删除x）与这些演员的边之前，可以找到所有其他的与x一起演出的男演员和女演员（有超过35个演员的电影都将被丢弃）。两个演员如果出演同一部电影就会被一条边连起来（但不是和x，否则这个图就已经完善了）。最终的图包含419个演员相互之间有5651条边相连。这个图在Figure 1中说明。在同一部电影中演出的演员组看做一个小团体（子图拥有最大数量的边：完全子图）并且以一个深蓝色的圆盘表示。

Graph Clustering

index Ave Path Length Random graph （same number of

nodes and edges）

IMDB 0.9666 3.2043 0.0243 2.6694

“Resyn

Assistant“

0.9518 3.2847 0.1942 1.8195

Mac OS 9 0.3875 2.8608 0.0179 3.3196

Web 0.1078 3.1 2.3e-4 -

.edu sites 0.156 4.062 0.0012 4.048

表一

是一些小世界网络的例子显示了它们的群集索引相应的值和平均路径长度。最后的两列表明相同的统计资料对于随机图有相同的结点和边数。

“Resyn Assistant”网是一个与用来设计化学成分可视化的一个JAVA API关联的图。结点与java 类相对应，线则连接了类内部的属性和方法，以及同其他类的关联。Mac OS9 的例子包含一个图：结点对应于头文件而边对应于头文件的物理序列。证据表明：许多在软件逆向工程中研究的图都可以在小世界网络中找到。

就我们的知识而言，从可视化的角度来看小世界网络的结构特性还没有得到充分利用。对小世界网络的大部分的研究精力集中在提供理论模型。对于基于度的分布的小世界网络的很多关键类的定义已经提出了。最近，算法方面已经引起了很大的注意，强调定义小世界网络分布式算法的可能性。

2.交互可视化的小世界网络

当处理一个社会网络的常规任务时在于确定连接演员的链接的模式。这些模型经常对应于社会团体-----演员集体相互之间紧密相连。此外，他们可能表明社会地位------演员团体以相同的方式链接到整个社会系统。其他更直观的问题可能是“是否有一团体与其他所有的团体都有连接？”或者一般来讲“这些团体是以一种特殊的方式组织的吗？”，等等。一旦一个组被确定，除非这组中的演员相互之间认识，去明白这个特殊的组是如何组织的才有意义，这个小组便成了一个社会网络即：小世界网络。

这些问题在第一阶段大部分可以通过肉眼观察解决。我们的工作重点放在了对小世界性质的运用来支持可视化进程。当开发出一个小世界网络后，用户很有可能视觉上忽略各个部件之间的高度连接并且直观的讲注意力集中在各个“小团体网络”的连接上。这个方案

与Scheneiderman 的想法一致。这个Figture 1支持这个叙述。

我们呈现的这个技术使得我们能够计算出一个小世界网络的分解部分以及它在可视化之前的高度连接的部分并且能够提供给用户一个网络的抽象视图。这种做法，从某种意义上来说，实行了Schneiderman 提出的过滤阶段。当处理大型网络时，它可以给用户提供非常有价值的帮助

我们将会看到，对一个结构化参数的边的简单的计算可以引导我们对一个小世界网络的高度关联的部分进行有效的划分。应用用权值并且丢弃低值的边将图分成一个个的小部件（可以用经典算法捕捉）。因此，基于一个简单并且有效的结构化参数，可以将结点归为一个聚集，从而将网络的平均的组织，变成一个部件。

2.1 多尺度的网络

通过对上述案例的研究可以得到以下结论。很多网络不仅是小世界网络，而且他们内部高度相连的部分也是小世界网络。因此，小世界网络也可以分解成几个层次的小世界网络（很明显，这个层次的最低级别可能不是小世界网络，而仅仅是一个小团体）。这观点是由Adamic 从web 中导出来的网络得出的。对一个由153，127个网址的网络的平均路径长度和聚簇索引的计算使得Adamic 可以表明一个网址是小世界网络。网站.edu 的子集是与这个网络孤立的，并且已经被证明是小世界网络。这种现象已经通过从IMDB 中提取的几个子网证实了。 我们认为网络上的相关的信息可以从一个分层的部分推断出来。。更重要的是分层可以有效的用来导航网络。

3.网络模块和之间的边缘强度

就像之前所说的，我们的技术需要我们对每个网络的边计算一个值。我们定义的度量标准首先引入以及概括了瓦特介绍的结点的聚簇索引。给定一个网络中的结点v ，它的聚簇索引(是通过首先计算出连接结点v 的邻接点的边数r(N(v))---(出度)以及采取比例)： C(v)=r(N(v))/(k(k-1)/2)（结点的聚簇索引）

来定义的(在这里k 指的是v 的邻接点的个数，请注意分母计算有k 个结点的小团体(完全子图)的边数)。

而图G 的聚簇索引计算公式如下：

N v c v C v G /)()(∑= (其中N 表示图G 中结点的个数)

小世界网络就是那些拥有高聚簇索引,同时又有较小的路径长度，与有相同结点和边数的随机图相比。Watts 讨论了一些产生图的模型，同时对这两个属性很满意。尽管小世界网络的类图非常大，但这也不能说明所有信息可视化中的图是小世界网络。通过我们对一系列的例子集合的研究，我们有这样一个假设许多信息可视化中重要的例子都是小世界网络。

现在我们将问题转向定义一条边的聚簇索引。

给定一条边(u,v)，它的强度是通过将结点u和结点v划分为三个部分来计算的。其中M(u)是结点u的邻接点的集合而不是结点v的邻接点的集合。M(v)与之类似。W(u v)表示u 和v结点的共同的邻接点的集合。r(A,B)表示连接结合A中的结点与集合B中结点的边数。比率：s(A B)=r(A, B) / |A|·|B| 计算了连接集合A和B中相互连接结点的边数，占所有可能连接结点的边数的比例。现在看来，所有连接子集M(u),M(v)或者W(u,v)的边，是一个连接边(u,v)的长度为4的环(如图)。注意，所有长度为4的环都是以这种方式连接的。最后我们定义比率：|W(u, v)|/(| M(u)| + |W(u, v)| + |M(v)|)

计算了长度为3的环(包括边(u，v))所占的比例。注意，在集合M(u,v)中有多少结点，就有多少这样的环。边的强度，是通过下边的公式来计算的：

s(M(u), W(u, v)) + s(W(u, v), M(v)) + s(W(u, v))

+ s(M(u), M(v)) + |W(u, v)|/

(| M(u)| + |W(u, v)| + | M(v)|)

（注意：we need to put s(A) = 2r(A)/(|A|·(|A|-1) when computing

the proportion of edges connecting a set to itself）

3.1 摒弃弱边

一条边的强度指标可以被解释为这条边对其邻边的衔接度的贡献的一个度量标准。相反，如果边是一个地峡连接在网络中不相交的邻区那么它的值为0。因此，导致群之间弱连接的边可以被辨别并且被过滤掉。

这种过滤进程在于消除小于给定阈值τ的边。这个操作将会得到一个最大的没有连接的子图的集合{h1,h2,h3,....hq},与初始图的聚簇集相对应(每个相连的部件被认为是一个集)。然后我们通过将H1看成一个新的更高层次的图的结点来计算熵图。如果在原来的图Hi和Hj上至少存在一条边，则在这两个高级别的结点Hi和Hj之间有一条边。

Figure2说明了这个过程。图(a)代表了一张力矢量布局算法画的图。在图(b),弱边使用虚线绘制。最终的熵图在(c)图显示。这个过程可以递归地调用，最终得到一个层次聚类(..)。

图3描述了在从IMDB 中提取网络的例子中应用该技术产生的熵图。我们可视化的技术依靠这种聚类算法。与选择阈值有关的技术问题在第五部分得到解决。

图3.

从表一中的网络中得到的熵图。演员们被组织到一个更强或者

更弱独立的社区中，所有的组都连接着一个核心小组。

3.2层次划分

这个技术可以通过递归调用熵图的每个部件的度量而得到充分的利用。注意这技术因网络的多尺度性质而有意义。也就是说，较大的组件可以进一步使用相同的技术来分解，这可以根据需要重复(停止条件可以按照图的大小来定制并且直到其保留小世界性质)。例如，在图三中的每个盒子都有一个已经被进一步划分并且展现了其熵图的子网络。该图的中心表明整个网络是围绕着4个不同的演员组来组织的。

这种递归进程产生一个层次聚集的网络。这个层次结构本身其实可以用来引导网络并且进入它的小世界网络部件。因此，顺着该分支直到下一个层次和直观上检查相关的熵图序列可以帮助用户在网络的一部分辨别演员的核心小组。

3.3视觉连贯性

首先有必要谈谈我们在实验中用到的有关布局算法。我们的技术当配合使用矢量布局算法的时候(或者任何其他的算法)是很有效率的。这个并不令人感到惊讶，由于矢量布局算法将会使得邻接点更加接近。它仅仅在分离结点事件变成一条边时才会成功，如果他们的邻接点是弱连接的时候（意思是集合M(u,v)几乎为空，并且s(M(u),M(v))的值很小)。

事实上，力导向布局算法已被用作图的划分技术。当在欧氏空间布局结点后，阈值的距离就可以被用来定义聚集是如何形成的。这种技术在某种意义上对应于一个用户当检查图的时候在做什么并且曾经成功的应用过该技术。很明显当一个图作为紧密相连的结点的很大的子集时将会在屏幕上显示为一个球形。

然而，力导向算法一般不会辨别边的强弱并且导致图中所有的边有相同的吸引力，不管弱边或者强边。这种不便之处通过给边分配重量还有当定义引力的时候将重量考虑进去(大量的重量可以额外分配给结点)是可以避免的。我们的方法含蓄地将边的强度考虑了进去当将图布局到屏幕上时。事实上，在递归的每一步，熵图都用力导向算法进行了布局。如今，两个聚集之间的弱边就是从熵图中移除的那些边被一条更“弱”引力的边取代。

4 对小世界网络结构的探索

实施的整个方法(对度量和聚集等级的计算)是为了提供一个标准的独立的可视化和探

索应用。我们选择用TUlip library来拓展工具。Tulip 很容易地扩展出成千上万个结点还有边同时能够提供实时导航。而且它还能提供一个能处理图的聚集分层的框架。强度指标和聚类的递归过程都是围绕现有的Tulip 插件进行的。

图4显示了应用程序SWViz截图。设计集中在分层集群图（左）连同一个部件的详细视图（右）的预览图的连接程度上。详细视图可以显示一个展开的力导向布局，环形布置也可以显示为所选择的部件的分层视图。

4.1导航一致性

在预览图中选择一个部件的方法不同可以引起在右边面板上有不同的视图。左键单击可以导致选择的部件的预览图的显示。中键单击将会显示该部件的平面展开图。滚轮是用来放大和缩小。

在这种情况下视觉的一致性是通过在预览面板中用固定方法展示选择的部件来维持的。例如，假设用户将选择的子图从力导向布局改变为右边面板上的环布局，则左边面板上选择的部件将会自动的在它的自己的盒子里用相同的布局方式展示出来。注意这并不妨碍预览图本身，因为这个操作只适用于盒子中的子网而不是整个图本身。

现在我们将精力集中在特殊的例子上，同时讨论一下怎样用这个技术来探索并发现小世界网络的结构的。

4.2 Resyn Assistant API

“Resyn Assistant”是一个为了研究化学元件而设计的软件，它是在蒙彼利埃开发的。

在进入一个新的开发阶段并做出设计决定之前，开发团队决定研究实际的API的结构。访问他们的API 的图的可视化使得该团队能够恢复过去的整个发展史。更重要的是，它提供给他们对于他们的软件的新视角并且表明他们的代码是围绕一个核心部件而组成的(图五) 。外围的部件对应于专有的模块。例如，与分子拓补结构相关的类组成了一个单一的群集。API的整个结构在图四中清楚的说明了。

图5 “Resyn API”的层次分解显示了软件的各个

模块是如何相互关联的。

实际上Resyn的设计师们能够确定在该API的设计错误。深入挖掘到第二个层次，他们发现有相似功能的类，本来应该属于同一个子集里，然而却被分配到两个不同的集群里。社记者们，计划在下一个“Resyn”版本中修改这种设计错误。

4.3 IMDB 子集

现在让我们更近的看一下演员的IMDB数据库的子集(图1)。熵图中间的那组汇集了国际知名的电影演员(图3)，如Sharon

Stone, Meryl Streep, Leonardo Di Caprio, Al Pacino

等等。他们位于中心，主要是由于他们在许多电影中都出现过。外围的群集对应于许多电影(在同一部电影中出演的演员必须在一个集合中)。这个例子清楚的表明该方法在发现小世界网络中有影响力的演员是非常有效的。

4.4 其它例子

我们研究了很多从库IMDB中提取的很多其它的有关图的例子。当然，我们也可以将我们的方法应用在从软件系统(包括Mac OS9文件，MFC 类...)中得到的各种各样的图中。

在每种情况下这种方法都能够正确的识别模块或组件并且能显示出它们期望的依赖关系。

5. 阈值的选择和质量测量

一个重要的问题直到现在才出现。就是应该怎样判断一条边是弱边？换句话说，当筛选边的时候应该怎样选择应用到强度指标的阈值？对这个问题的一个令人满意的答案还需要一些工作要做而且还需要依赖强度指标值的分布知识。

然而，这还远远不够，实际上阈值的选择取决于从过滤程序得到的部分是“好”这样的事实。因此我们初步的疑问有产生下边的问题：“什么才是一个图中的‘好’的部分？”。作为划分图很多标准已经被提出来的策略。在许多情况下，区分标准实际上可以转变为一个优化问题。那就是，”最好的“分区有可能使得一个给定的在一个图中所有可能的分区的集合中定义的函数所需的代价最小。然而大多数优化问题并不承认确定性的解决方案，并且已经已经提出很多启发式的解决途径。

5.1 分区的质量

在确定一个给定的图的分区的质量问题可以通过计算一个分区是多么接近经过优化的

分区来解决。对这个问题本身的回答依赖于在所有可能的分区的集合的花费分布的情况。

这些因素使得我们选择一个称为“MQ”的特别的成本函数，首先在软件逆向工程领域中作为一个分区成本函数被引进。为了完整性，我们提供了函数MQ的定义。给定一个图G 的集合C={C1,C2,...,Cn}，MQ是这样定义的：

第一项是每个集群内部的边缘密度的平均值。第二项则是集群之间的边缘密度的平均值('s' 符号在第三部分已经介绍过了)。值得注意的是MQ不是可视化本身质量的衡量措施。

而是客观的衡量聚类(图中所有可能的聚类)的质量。

我们用MQ 在一个给定的图中自动的选择‘最好的’聚类。MQ值(在给定的图中的所有分区的集合中)的分布接近正态分布其中μ = -0.2 ，σ = 0.2[ ]

(MQ是规范化的并且在区间[-1,1]中变化)。因此给定任何一个可能的MQ值c,我们可以断定一个分区有一个值至少与c相等的可能性。例如，只有0.5%的概率图中所有的分区的有一个MQ值打印0.315.读者可以在【6】中得到更多详细信息。

5.2边缘强度和MQ的关联

因此，我们看到对于我们原来的关于确定最优阈值的问题可以基于结合边缘强度和MQ值的研究得到答案。更确切的说，选择的阈值应该是能够引导一个分区有很高的MQ 值。图6展现了一条曲线，该曲线描述了MQ值的变化与强度的关系。最优阈值c=1.6可以通过观察很容易获得。

5.2.1 提高质量

回想一下一旦选择了一个阈值，强度低于阈值的边缘将被丢弃。这将会导致一个图的分区变成几个部件。然而在很多情况下，这个分区将会包含几个孤立的定点，这实际上使得它的MQ 的质量降低了。这个困难可以按照如下方式避免：原来的图中度为一的孤立的顶点实际上重新插入了它们唯一的邻聚集中。所有其他孤立的顶点暂时分为一个单一的聚集中并且从该子集中得到的子图与它的连接的部件断开。

我们能够观察到这个简单的重组步骤大大提高了与给定的阈值有关的MQ值(通过与【6】中的结果比较)。实际上处理过后的孤立顶点可以是我们提高MQ值高达0.8～0.9.这些

10 。“Resyn

值是比较特殊的，因为一个分区有一个MQ的价值至少等于0.75的概率为6

”和IMDB网络的Mq值在表2中显示。

图6 该曲线描述了MQ值的变化与“Resyn Assistant” API

的边缘强度的关系。”最优“阈值接近1.6同时对应的MQ值

接近0.8，这非常的高。

5.2.2一个简单的启发式的分区

我们的应用帮助用户选择阈值，通过检查一个图的MQ直方图的强度。可以想象，通过一个范围滑块赋予用户对于阈值选择的完全的权限。这种交互式的途径计算代价低，并且在很多情况下可以视为一种可考虑的途径。

●很多聚集计术实际上旨在尽可能找到有最小外边数目的分区。这和我们的解决途径

是一致的因为被过滤的边是“很大范围”的边，这形成了一个小群体（这可以看

做是小世界网络的属性）。

●

●

●

●

●

6.总结以及未来工作