分布式并行计算应用

分布式并行计算应用（一）

迎接P2P分布式并行计算今年是处理器的“双核年”。多年以来，Intel和AMD都在持续努力提升CPU计算能力，在单芯片频率达到近乎极限后，终于将CPU推入多内核时代。

现今的个人计算机，运算能力是早期大型计算机的百倍以上，这是拜软件业与硬件业互相促进之赐。众所周知的例子，是所谓“微软-英特尔”联盟，即操作系统和处理器相互刺激市场需求。市场竞合的结果，导致寡头垄断局面形成；在个人电脑市场上，两硬（Intel、AMD）一软（微软）分蛋糕分得不亦乐乎。

我们需要越来越快的计算机。人类追求极限的永恒需要，会让我们在追求更高计算能力的路上继续走下去。然而，“更高计算能力”并不一定意味着“更快的CPU”，所有CPU计算能力的总和，总是大于单个CPU，分布式并行计算，提供了让许多CPU 协同工作的可能性。

多CPU（多台计算机）协同，基本上是软件层面的问题，软件层面的问题，最终还是操作系统平台的问题。互联网给了Goo gle一个机会，把运算放到客户端去执行，这是一种聪明的做法——它意味着更少的中央服务器投入和更好的用户体验。Googl e持续推出基于Web的新服务，几乎让人觉得Web OS时代已经

到来。这判断为时过早，可以说，目前Web客户端平台运算能力相对于纯本地程序，是相当低下的；再者，浏览器本身，仍然需要在操作系统之上运行；其三，这种架构仍然没有将客户计算机有机地整合起来。

IBM等大公司，推网格计算概念已有多时，实质成果还不如小小一个BT/eMule来得大。P2P技术用在文件共享上，已经改变了整个娱乐业格局，如果它被应用于运算能力协同上，前途无可限量。

互联网会更加普及，未来所有个人设备都会随时在线，设备（客户端）是人类个体的智能代理。如果把每个设备看作CPU的一个内核，将能组成一个运算能力强大的多核CPU。过去几十年，计算机CPU和操作系统，一直在朝着高度集成化方向发展，导致软、硬件体系结构趋向于高度复杂，单机运算能力也在逼近极限。基于P2P的分布式并行计算，另辟蹊径，化解了单机高度集成带来的复杂度。

基于P2P的广域网分布式并行计算，有两个问题需要解决：第一，协同机制。客户端之间如何互相协作、如何分解问题、如何解决通讯导致的延迟、如何实现“热插拔”……

第二，信用机制。WebService租用和ASP（Application S ervice Provider）未能变成主流市场，很大程度上是因为信用机制不够健全。信用有两个层面，一个是信用观念，一个是信用技术，前者取决于后者。

除了一些科研项目外，目前尚不存在影响力广泛的广域网分布式并行计算应用。P2P技术的应用，仍停留在较低层次的文件共享上。最有可能让P2P分布式并行计算得以实现的，是操作系统厂商。《黑客帝国》的英文原名是Matrix，即矩阵；该片描写的，其实就是一个P2P并行运算的场景。片末，人类和计算机达成妥协，或许也预示了P2P并行运算的光辉未来。

P2P分布式并行计算，离我们并不遥远。它得以广泛应用之日，也将是软硬件体系架构大变革之时。那一天，CPU将和我们的大脑一起被解放。

分布式并行计算应用（二）

云计算与分布式处理、并行处理和网格

计算的关系

“云计算”（Cloud Computing）是分布式处理（Distributed Computing）、并行处理（Parallel Computing）和网格计算（Grid Computing）的发展，或者说是这些计算机科学概念的商业实现。

最近，大公司如MS、Google、IBM等都在炒作一个概念就是云计算，如IBM跟欧盟合作开展云计算，欧盟拨款1.7亿万欧元；Google与IBM 联合力推云计算模式；Yahoo也把宝押在了云计算上；我国也在无锡跟IBM公司联合建立了一个云计算中心；有人说微软收购Yahoo一个重要的考虑就是在Yahoo在云计算方面的领先地位，多少有点儿道理。那么，什么是云计算？有人把云计算（Cloud Computing）翻译成“云雾计算”着实是可笑，使有人在问什么是云计算，什么是雾计算，说明多数人对于云计算是一头雾水。云计算可不是“云雨”，可不是云山雾罩。

“云计算”（Cloud Computing）是分布式处理（Distributed Computing）、并行处理（Parallel Computing）和网格计算（Grid Computing）的发展，或者说是这些计算机科学概念的商业实现。许多跨国信息技术行业的公司如IBM、Yahoo和Google等正在使用云计算的概念兜售自己的产品和服务。云计算这个名词可能是

借用了量子物理中的“电子云”（Electron Cloud），强调说明计算的弥漫性、无所不在的分布性和社会性特征。量子物理上有“电子云（electron cloud）”，在原子核周围运动的电子不是一个经验世界的轨道例如像天体一样的运行轨道，而是弥漫空间的、云状的存在，描述电子的运动不是牛顿经典力学而是一个概率分布的密度函数，用薛定谔波动方程来描述，特定的时间内粒子位于某个位置的概率有多大，这跟经典力学的提法完全不同。电子云有以下特性，概然性、弥漫性、同时性等等，云计算可能的确是来自电子云的概念，前今年就有所谓“无所不在的计算”，IBM有一个无所不在的计算叫“Ubiquitous “，MS（Bill）不久也跟着提出一个无所不在的计算“Pervade“，现在人们对无所不在的计算又有了新的认识，现在说是”Omnipresent “。但是，云计算的确不是纯粹的商业炒作，的确会改变信息产业的格局，现在许多人已经用上了Google Doc和Google Apps，用上了许多远程软件应用如Office字处理而不是用自己本地机器上安装这些应用软件，以后谁还会花钱买Office软件哪？还有许多企业应用如电子商务应用，例如要写一个交易程序，Google 的企业方案就包含了现成的模板，一个销售人员根本没学习过Netbeanr也能做出来。这种计算和产业动向是符合开源精神的，符合SaaS（Software as a Service）趋势。现在有这样的说法，当今世界只有五台计算机，一台是Google的，一台是IBM的，一台是Yahoo的，一台是Amazon的，一台是微软的，因为这五

个公司率先在分布式处理的商业应用上捷足先登引领潮流。Sun 公司很早就提出说“网络就是计算机”是有先见之明的。

有以下五个主要原因使得分布式计算必然会越来越普遍，逐渐发展成主流的计算模式而取代集中式的大型计算机：

1、现在分布式系统的第一个原因就是因为他具有比集中式系统更好的性能价格比。你不要花几十万美元就能获得高效能计算。

2、多数应用本身就是分布式的。如工业企业应用，管理部门和现场不在同一个地方。

3、高可靠性。冗余不仅是生物进化的必要条件，而且也是信息技术。现代分布式系统具有高度容错机制，控制核反应堆主要采用分布式来实现高可靠性。

4、可扩展性。买一台性能更高的大型机，或者再买一台性能相同的大型机的费用都比添加几台PC的费用高得多。

5、高度灵活性。能够兼容不同硬件厂商的产品，兼容低配置机器和外设而获得高性能计算。

粗略地计算，目前的个人计算机每个CPU芯片的处理能力是200MIPS，就是每秒种执行200M也就是两亿次指令，而最近Yahoo

公司报道他们已经实现了有一万个节点（node）就是一万台PC 计算机连接的分布式系统，总的处理能力是 2,000,000MIPS，最快的芯片也达不到这个速度，因为在一定面积上设计的芯片的速度是存在一个极限的，不可逾越。而当前世界著名的超级计算机所谓的TOP500，达到每秒几百万亿次指令执行，都是采用分布式设计的，世界第一的IBM BlueGene超级计算机采用了32部机架，每部机架部署有768个PowerPC440 CPU。顺便说一句，这TOP500基本都是使用Linux操作系统的！现在社会和家庭拥有的个人计算机就是PC，只有30%的计算能力被利用，甚至更低，而其余70%的实际上是被闲置的，这些闲置的计算机资源和计算能力只有通过分布式系统才能得到有效的利用，这样可以大大提高一个国家的计算能力，而计算能力是衡量一个国家国力和科学研究能力的指标，这一点现在还没有被国人充分认识到。一个国家和地区的计算能力现在已经成为一种重要的战略资源，不亚于石油和其他战略物资的重要性。云计算就是把普通的服务器或者个人计算机连接起来以获得超级计算机也叫高性能和高可用性计算机的功能，但是成本更低。这在世界上也是个先进的项目。云计算模式必定能大大提高我国科学计算机和商业计算能力，使得我国经济竞争力大大提升。美国和欧洲有许多社会分布的分布式计算系统，他们动员和使用这些社会计算能力进行人类基因组学（Genomics）的研究、天文学问题研究、数学难题研究以及其

他的科学问题研究。去年的一个研究报告估计我国个人计算机PC保有量接近两亿台。

按照计算机操作系统的宗师Andrew S. Tanenbaum（AST）给分布式系统的的定义：“分布式系统是这样的系统，它运行在不具有共享内存的多台机器上，但在用户的眼里却像是一台计算机”。（引自《现代操作系统》，机械工业出版社，1999年中文版）。它的目标是让每个用户感觉联网的计算机是一个分时系统——就像使用个人计算机一样——而不是一个由许多计算机联合起来的集体，即使由五个节点组成的分布式系统也应该让用户感觉自己是在使用一台价值20万美元的大型计算机，唯一不寻常的感觉是处理速度提高了许多，别的没有什么不同。例如，这里有一个简单的例子，在机器A的用户要使用安装在机器B上用户的目录里的文件，A用户要使用远程登录命令rlogin B登录到机器B的目录上，那么这就不是一个真正的分布式系统，因为用户A意识到了另外一台机器的存在，分布式系统必须要做到，用户A登录到一个目录上的时候不知道自己是在本地机器上还是在远程机器上的目录上，对于用户A来说机器B是透明的，这就是分布式系统设计时考虑的“透明性”要求。其他有关的问题包括：分布式文件系统的问题，目录和文件访问机制以及一致性问题，分布式系统进程的通信问题等等。目前的云计算严格说还没有到达真正的分布式计算的语义学水平。