云计算技术调查报告

云计算技术调查报告

指导教师：.

作者姓名：.

作者学号：.

完成时间：.

摘要：

云计算（英语：Cloud Computing），是一种基于互联网的计算方式，通过这种方式，共享的软硬件资源和信息可以按需提供给计算机和其他设备。整个运行方式很像电网。云计算描述了一种基于互联网的新的IT服务增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展而且经常是虚拟化的资源。云其实是网络、互联网的一种比喻说法。典型的云计算提供商往往提供通用的网络业务应用，可以通过浏览器等软件或者其他Web服务来访问，而软件和数据都存储在服务器上。云计算关键的要素，还包括个性化的用户体验。云计算可以认为包括以下几个层次的服务：基础设施即服务（IaaS），平台即服务（PaaS）和软件即服务（SaaS）。云计算服务通常提供通用的通过浏览器访问的在线商业应用，软件和数据可存储在数据中心。

关键字：

BigTable数据管理技术，虚拟计算，编程模式，基础设施即服务（IaaS），平台即服务（PaaS）和软件即服务（SaaS），远程网络访问

目录

1. 当前应用情况 (3)

1.1应用领域 (3)

1.2 产业现状 (3)

1.3 商业模式应用 (4)

2. 技术组成 (6)

2.1数据存储技术 (6)

2.2数据管理技术 (6)

2.3编程模型技术 (7)

3. 核心技术原理 (9)

4. 优缺点总结 (13)

4.1云计算优点： (13)

4.2 云计算缺点： (14)

5. 未来发展趋势 (15)

5.1私有云将首先发展起来 (15)

5.2 混合云架构将成为企业IT趋势 (15)

5. 3云计算概念逐渐平民化 (15)

5. 4云计算安全权责更明确 (15)

6. 参考文献及资料 (16)

1. 当前应用情况

1.1应用领域

云计算有着广泛的应用前景。

协作工具：个人、家庭、组织、社会通过“云”进行协同工作、实现同步处理或接续；

例如：

科研：地震监测海洋信息监控天文信息计算处理

医学：DNA信息分析海量病历存储分析医疗影像处理

网络安全：病毒库存储垃圾邮件屏蔽

图形和图像处理：动画素材存储分析高仿真动画制作海量图片检索

互联网：Email服务在线实时翻译网络检索服务

服务平台：为需要大规模计算或存储时的各种应用或开发提供虚拟化的资源服务，不同的使用者可以实现资源的共享；

创新基地：为用户提供 API，鼓励用户进行创新尝试，不断涌现新的应用或服务。

1.2 产业现状

自亚马逊EC2产品和Google-IBM并行计算项目提出云计算以来，从技术供应商到软件服务提供商纷纷推出披着“云计算”外衣的各式产品与服务，其中不乏炒作概念、混水摸鱼之辈。总的来看，云计算还处于一个起步的阶段，业务种类还比较单一。目前，提供云计算产品和服务的公司主要来自北美特别是美国。

Amazon：最早提供远程云计算平台服务的公司，云计算平台称为弹性计算云（Elastic Compute Cloud，EC2）。用户租用的是虚拟的计算能力，简化了计费方式。在弹性计算云中，提供了三种不同能力的虚拟机实例，具有不同的收费价格。例如，其中默认的也是最小的运行实例是 1.7GB 的内存， 1 个 EC2 的计算单元（1虚拟的计算核以相关的计算单元）， 160GB 的虚拟机内部存储容量，是一个 32 位的计算平台，收费标准为每个小时 10 美分。在当前的云计算平台中，还有两种性能更加强劲的虚拟机实例可供使用，当然价格也更加昂贵一点。

IBM：在 2007 年 11 月 15 日推出了蓝云计算平台，为客户带来即买即用的云计算平台。它包括一系列的云计算产品，通过将 Tivoli、DB2、WebSphere 与硬件产品（目前是 x86 刀片服务器）集成，能够为企业架设一个分布式、可全球访问的资源结构。首款支持Power 和 x86 处理器刀片服务器系统的“蓝云”产品于2008年正式推出，并且计划随后推出基于System z“大型主机”的云环境，以及基于高密度机架集群的云环境。2007 年 2 月起，IBM 与无锡市政府合建无锡太湖新城科教产业园建立云计算中心，已投商用。

Google：是云计算的发起人和重要推动力量之一，针对自身特定的网络应用程序定制云计算平台。针对内部网络数据规模超大的特点，Google 提出了一整套基于分布式并行集群方式的基础架构，利用软件的能力来处理集群中经常发生的节点失效问题。Google 使用的云计算基础架构模式包括四个相互独立又紧密结合在一起的系统。包括 Google 建立在集群之上的文件系统Google File System，针对 Google 应用程序的特点提出的 Map/Reduce 编程模式，分布式的锁机制Chubby 以及Google开发的模型简化的大规模分布式数据库 BigTable。Google 并不是通过向用户提供云计算服务来收费，而是基于云计算平台实现 Google 各种应用的运行，并通过后向收费获取收益。

其他：思科、英特尔、微软、惠普、……云计算提供商的队伍越来越长。

中国企业积极投身于云计算的产业之中，电信运营商、软件厂商、设备制造企业、互联网企业等从不同角度切入云计算，希望分得一杯羹。趋势科技和瑞星等安全厂商纷纷提出了“安全云”计划。如今，每天有2万多种新的病毒和木马产生，传统的通过更新用户病毒库的防毒模式，受到了严峻的挑战，用户端的病毒库将过于庞大。趋势科技和瑞星的“安全云”将病毒资料库放在“云”端，与客户端通过网络相连，当“云”在网络上发现不安全链接时，可以直接形成判断，阻止其进入用户机器，从根本上保护机器的安全。据趋势科技大中华区执行总裁张伟钦介绍，趋势科技已投入了大量资金，在全球数个地方建设了新型数据中心。同时，趋势科技还花费了1000多万美元，租借了34000多台服务器，构建了一个服务遍及全球的“安全云”。目前趋势科技已将公司中低端的部分产品线放到“云安全”计划中，而高端的大部分产品线，仍在准备过程中。谷歌提供的Gmail、Google Earth、Google Analytics等服务都基于其云计算服务器运行。谷歌基于云计算提供的翻译服务具有现今最好的性能。对互联网和美国人生活的一项研究显示，大约70%的在线用户使用以上“云计算”服务。

1.3 商业模式应用

云计算与电子商务结合产生的电子外包就是前景看好的应用之一。电子商务是互联网的重要应用，代表着互联网从大众化娱乐向商业化服务的发展方向。

作为一种面向互联网的商业模式创新，云计算与电子商务的结合必将在企业的组织形式，盈利方式，市场营销，知识管理等领域带来重大的变化，从而使从事电子商务活动的企业尤其是中小企业能够更有效的利用各种信息和资源，降低成本，从而提高企业的核心竞争力，提高商品和服务交易的成交率。基于云计算的电子外包使企业无需新增硬件投入、软件和程序开发成本，只要按需支付一定租金，就可以访问服务提供商如阿里巴巴等建立的电子商务云，运行企业所需的管理程序，建立和存储商业数据库资料；只要有网络连接，就可以做到在任何时间、任何地点进行操作，不受时间和地域的限制，保证业务的不间断运转，避免错过任何一个商业机会。电子外包实际上是“随需而变”电子商务的一种形式，这种模式就是利用云计算平台，将分布在各个地方的各种资源虚拟地构建起来，实现资源共享，使得企业在使用网络构架和应用程序时就能像使用自来水、电力和燃气等一般公共服务一样方便。它不仅能同时为成千上万客户同时提供商务服务，而且能保证其应用环境的高度安全。

此外，通过统一开放的接口，云平台还将允许企业进行电子商务的创新尝试和搭建属于自己的商务系统。从这个意义上说，电子商务与云计算的结合，融合了 SaaS、PaaS 和 IaaS 的形式，是一种新型的电子商务活动。随着业务的不断发展，云计算的应用创新还将不断涌现出来。从租用软件到租用开发平台再到租用基础设施，或者其他各种类型的应用模式，云计算的创新在于一切以客户需要为中心，通过无所不在的网络为客户提供 7×24 的全天候服务。金融危机引发的经济衰退则为云计算的发展提供了有力的外部条件。

2. 技术组成

云计算是一种新型的超级计算方式，以数据为中心，是一种数据密集型的超级计算。在数据存储、数据管理、编程模式等方面具有自身独特的技术。

2.1数据存储技术

为保证高可用、高可靠和经济性，云计算采用分布式存储的方式来存储数据，采用冗余存储的方式来保证存储数据的可靠性，即为同一份数据存储多个副本。另外，云计算系统需要同时满足大量用户的需求，并行地为大量用户提供服务。因此，云计算的数据存储技术必须具有高吞吐率和高传输率的特点。云计算的数据存储技术主要有谷歌的非开源的

GFS（Google File System）和 Hadoop 开发团队开发的GFS的开源实现HDFS（Hadoop Distributed FileSystem）。大部分IT厂商，包括yahoo、Intel的“云”计划采用的都是HDFS的数据存储技术。未来的发展将集中在超大规模的数据存储、数据加密和安全性保证、以及继续提高I/O速率等方面。

2.2数据管理技术

云计算系统对大数据集进行处理、分析向用户提供高效的服务。因此，数据管理技术必须能够高效的管理大数据集。其次，如何在规模巨大的数据中找到特定的数据，也是云计算数据管理技术所必须解决的问题。云计算的特点是对海量的数据存储、读取后进行大量的分析，数据的读操作频率远大于数据的更新频率，云中的数据管理是一种读优化的数据管理。因此，云系统的数据管理往往采用数据库领域中列存储的数据管理模式。将表按列划分后存储。

为了满足云计算的大规模数据集管理，高效的数据定位需求。谷歌采用BigTable的数据管理技术。在各大IT厂商的支持下，Hadoop开发团队正在开发其开源版本。以BigTable为例。BigTable数据管理方式设计者——Google给出了如下定义：“BigTable是一种为了管理结构化数据而设计的分布式存储系统，这些数据可以扩展到非常大的规模，例如在数千台商用服务器上的达到PB(Petabytes)规模的数据。”BigTable对数据读操作进行优化，采用列存储的方式，提高数据读取效率。BigTable管理的数据的存储结构为： -

>string。BigTable的基本元素是：行，列，记录板和时间戳。其中，记录板是一段行的集合体。BigTable中的数据项按照行关键字的字典序排列，每行动态地划分到记录板中。每个节点管理大约100个记录板。时间戳是一个64位的整数，表示数据的不同版本。BigTable在执行时需要三个主要的组件：链接到每个客户端的库，一个主服务器，多个记录板服务器。主服务器用于分配记录板到记录板服务器以及负载平衡，垃圾回收等。记录板服务器用于直接管理一组记录板，处理读写请求等。为保证数据结构的高可扩展性，BigTable采用三级的层次化的方式来存储位置信息，如图4所示。

其中第一级的Chubby file中包含Root Tablet的位置，Root Tablet包含所有METADATA tablets的位置信息，每个METADATA tablets包含许多User Table的位置信息。

2.3编程模型技术

为了使用户能更轻松的享受云计算带来的服务，让用户能利用该编程模型编写简单的程序来实现特定的目的，云计算上的编程模型必须十分简单。必须保证后台复杂的并行执行和任务调度向用户和编程人员透明。云计算采用类似MAP-Reduce的编程模式。现在所有IT厂商提出的“云”计划中采用的编程模型，都是基于MAP-Reduce的思想开发的编程工具。MAP-Reduce不仅仅是一种编程模型，同时也是一种高效的任务调度模型。Map-Reduce这种编程模型并不仅适用于云计算，在多核和多处理器、cellprocessor、以及异构机群上同样有良好的性能。

该编程模式仅适用于编写任务内部松耦合、能够高度并行化的程序。如何改进该编程模式，使程序员得能够轻松的编写紧耦合的程序，运行时能高效的调度和执行任务，是Map-Reduce编程模型未来的发展方向。

为了满足云计算的分布式存储方式、同时保证数据可靠性和高吞吐率以及高传输率的需求。目前各IT厂商多采用GFS或HDFS的数据存储技术。以GFS为例。GFS是一个管理大型分布式数据密集型计算的可扩展的分布式文件系统。它使用廉价的商用硬件搭建系统并向大量用户提供容错的高性能的服务。

GFS和普通的分布式文件系统有以下区别，如表2所示：

GFS系统由一个Master和大量块服务器构成。Master存放文件系统的所有的元数据，包括名字空间、存取控制、文件分块信息、文件块的位置信息等。GFS中的文件切分为64MB的块进行存储。在GFS文件系统中，采用冗余存储的方式来保证数据的可靠性。每份数据在系统中保存3个以上的备份。为了保证数据的一致性，对于数据的所有修改需要在所有的备份上进行，并用版本号的方式来确保所有备份处于一致的状态。客户端不通过Master读取数据，避免了大量读操作使Master成为系统瓶颈。客户端从Master获取目标数据块的位置信息后，直接和块服务器交互进行读操作。GFS的写操作将写操作控制信号和数据流分开，如图3[11]所示：

图3 写控制信号和写数据流

即，客户端在获取Master的写授权后，将数据传输给所有的数据副本，在所有的数据副本都收到修改的数据后，客户端才发出写请求控制信号。在所有的数据副本更新完数据后，由主副本向客户端发出写操作完成控制信号。

当前各IT厂商提出的“云”计划的编程工具均基于Map-Reduce的编程模型。Map-Reduce是一种处理和产生大规模数据集的编程模型，程序员在Map函数中指定对各分块数据的处理过程，在Reduce函数中指定如何对分块数据处理的中间结果进行归约。用户只需要指map和reduce函数来编写分布式的并行程序。当在机群上运行Map-Reduce程序时，程序员不需要关心如何将输入的数据分块、分配和调度，同时系统还将处理机群内节点失败以及节点见

通信的管理等。图5给出了一个Map-Reduce程序的具体执行过程。

从图5可以看出，执行一个Map-Reduce程序需要五个步骤：输入文件、将文件分配给多个worker并行地执行、写中间文件（本地写）、多个Reduce workers同时运行、输出最终结果。本地写中间文件在减少了对网络带宽的压力同时减少了写中间文件的时间耗费。执行Reduce时，根据从Master获得的中间文件位置信息，将Reduce命令发送给中间文件所在点执行，进一步减少了传送中间文件对带宽的需求。

图5

Map-Reduce模型具有很强的容错性，当worker节点出现错误时，只需要将该worker节点屏蔽在系统外等待修复，并将该worker上执行的程序迁移到其他worker上重新执行同时将该迁移信息通过Master发送给需要该节点处理结果的节点。Map-Reduce使用检查点的方式来处理Master出错失败的问题，当Master出现错误时，可以根据最近的一个检查点重新选择一个节点作Master并由此检查点位置继续运行。

3. 核心技术原理

在典型的云计算模式中，用户通过终端接入网络，向“云”提出需求；“云”接受请求后组织资源，通过网络为“端”提供服务。用户终端的功能可以大大简化，诸多复杂的计算与处理过程都将转移到终端背后的“云”上去完成。用户所需的应用程序并不需要运行在用户的个人电

脑、手机等终端设备上，而是运行在互联网的大规模服务器集群中；用户所处理的数据也无需存储在本地，而是保存在互联网上的数据中心里。提供云计算服务的企业负责这些数据中心和服务器正常运转的管理和维护，并保证为用户提供足够强的计算能力和足够大的存储空间。在任何时间和任何地点，用户只要能够连接至互联网，就可以访问云，实现随需随用。

由于云计算分为IaaS、PaaS和SaaS三种类型，不同的厂家又提供了不同的解决方案，目前还没有一个统一的技术体系结构。本文综合不同厂家的方案，构造了一个供商榷的云计算体系结构。这个体系结构如图所示，它概括了不同解决方案的主要特征，每一种方案或许只实现了其中部分功能，或许也还有部分相对次要功能尚未概括进来。

云计算技术体系结构分为4层：物理资源层、资源池层、管理中间件层和SOA构建层，如图3所示。物理资源层包括计算机、存储器、网络设施、数据库和软件等；资源池层是将大量相同类型的资源构成同构或接近同构的资源池，如计算资源池、数据资源池等。构建资源池更多是物理资源的集成和管理工作，例如研究在一个标准集装箱的空间如何装下2000个服务器、解决散热和故障节点替换的问题并降低能耗；管理中间件负责对云计算的资源进行管理，并对众多应用任务进行调度，使资源能够高效、安全地为应用提供服务；SOA构建层将云计算能力封装成标准的Web Services服务，并纳入到SOA体系进行管理和使用，包括服务注册、查找、访问和构建服务工作流等。管理中间件和资源池层是云计算技术的最关键部分，SOA构建层的功能更多依靠外部设施提供。

云计算的管理中间件负责资源管理、任务管理、用户管理和安全管理等工作。资源管理负责均衡地使用云资源节点，检测节点的故障并试图恢复或屏蔽之，并对资源的使用情况进行监视统计；任务管理负责执行用户或应用提交的任务，包括完成用户任务映象(Image)的部署和管理、任务调度、任务执行、任务生命期管理等等；用户管理是实现云计算商业模式的一个必不可少的环节，包括提供用户交互接口、管理和识别用户身份、创建用户程序的执行环境、对用户的使用进行计费等；安全管理保障云计算设施的整体安全，包括身份认证、访问授权、综合防护和安全审计等。

基于上述体系结构，本文以IaaS云计算为例，简述云计算的实现机制，如图所示。

用户交互接口向应用以Web Services方式提供访问接口，获取用户需求。服务目录是用户可以访问的服务清单。系统管理模块负责管理和分配所有可用的资源，其核心是负载均衡。配置工具负责在分配的节点上准备任务运行环境。监视统计模块负责监视节点的运行状态，并完成用户使用节点情况的统计。执行过程并不复杂：用户交互接口允许用户从目录中选取并调用一个服务。该请求传递给系统管理模块后，它将为用户分配恰当的资源，然后调用配置工具来为用户准备运行环境。

4. 优缺点总结

4.1云计算优点：

（1）虚拟化技术。

现有的云计算平台的最大的特点是利用软件来实现硬件资源的虚拟化管理、调度及应用。通过虚拟平台用户使用网络资源、计算资源、数据库资源、硬件资源、存储资源等，与在自己的本地计算机上使用的感觉是一样的，相当于是在操作自己的计算机，而在云计算中利用虚拟化技术可大大降低维护成本和提高资源的利用率。

（2）灵活定制。

在云计算时代，用户可以根据自己的需要或喜好定制相应的服务、应用及资源，云计算平台可以按照用户的需求来部署相应的资源、计算能力、服务及应用。用户不必关心资源在哪里、如何部署，只需要把自己的需求告诉云，剩下的工作就交给云了，云将返回用户定制的结果，当然用户也可以对定制的服务进行管理，如退订或删除一些服务等。

（3）动态可扩展性。

在云计算体系中，可以将服务器实时加入到现有服务器群中，提高"云"处理能力，如果某计算节点出现故障，则通过相应策略抛弃掉该节点，并将其任务交给别的节点，而在节点故障排除后可实时加入现有集群中。

（4）高可靠性和安全性。

用户数据存储在服务器端，而应用程序在服务器端运行，计算由服务器端来处理。所有的服务分布在不同的服务器上，如果什么地方（节点）出问题就终止它，另外再启动一个程序或节点，即自动处理失败节点，保证了应用和计算的正常进行，而用户端不必备份，可以任意点恢复。

在云计算服务器端提供了最可靠、最安全的数据存储中心，有全世界最专业的团队管理信息，有全世界最先进的数据中心保存数据，严格的权限管理策略可以帮助用户放心地与指定的人共享数据。

另一方面数据被复制到多个服务器节点上有多个副本（备份），存储在云里的数据即使意外删除或硬件崩溃都不会受到影响。

（5）高性价比。

云计算对用户端的硬件设备要求最低，使用起来也最方便，软件不用购买和升级只需定制就可以了，而服务器端也可以用价格低廉的PC组成云，而计算能力却可超过大型主机，而用户在软硬件维护和升级上的投入大大减少，

（6）数据、软件在云端（服务器端）。

云计算模式下，用户的所有数据直接存储在云端，在需要的时候直接从云端下载使用；用户使用的软件由服务商统一部署在云端运行，软件维护由服务商来完成，当个人计算出现故障或崩溃，也不会影响该用户对其软件的试用，用户只需要换个PC就可以继续自己的工作，包括文档实时编辑和协作开发等。

（7）超强大的计算和存储能力。

用户可以在任何时间、任意地点，采用任何设备登录到云计算系统后就可以进行计算服务；云计算云端由成千上万台甚至更多服务器组成的集群具有无限空间、无限速度。

4.2 云计算缺点：

1.安全，因为云计算计算能力和数据都在云里，如何保证客户数据的安全就是比较重要的了。安全有两个方面，一个是数据不会丢失，这个一般服务商都会有备份能力解决，但是也是偶尔会发生丢失的；另外一个就是你的数据不会泄漏，这个虽然服务商也会采取一些措施，不让外部人员，例如黑客等攻击获取数据，但是服务商内部人员的问题也是很大的，例如前一阶段暴露的某国有大型移动运营商内部员工非法销售客户通话列表一事。当然服务商都会说数据放在他们那里是安全的，但是都是他们自说自的，没有一个第三方的权威机构统一认证和评判。

2.网络延迟或者中断。云计算一般都是远程通过网络访问的，虽然现在网速提高很快，但是和局域网相比，速度还是有所延迟的，而如果一旦网络终端，服务也就无法访问，例如前几年海底电缆断了，那么你根本无法访问到国外的云计算服务了。

其它的缺点也有，但是一般都可以采用技术克服，上面的两个是最主要的。

5. 未来发展趋势

从社会经济发展来看云计算的必然性，从互联网本身的计算环境以及大型产业的发展来看，总的说明，云计算是有它的必然性，是我们社会经济发展到现在一个必然的趋势

5.1私有云将首先发展起来

大型企业对数据的安全性有较高的要求，他们更倾向于选择私有云方案。未来几年，公有云受安全、性能、标准、客户认知等多种因素制约，在大型企业中的市场占有率还不能超越私有云。并且私有云系统的部署量还将持续增加，私有云在IT消费市场所占的比例也将持续增加。

5.2 混合云架构将成为企业IT趋势

私有云只为企业内部服务，而公有云则是可以为所有人提供服务的云计算系统。混合云将公有云和私有云有机地融合在一起，为企业提供更加灵活的云计算解决方案。而混合云是一种更具优势的基础架构，它将系统的内部能力与外部服务资源灵活地结合在一起，并保了证低成本。在未来几年，随着服务提供商的增加与客户认知度的增强，混合云将成业企业IT架构的主导。中国人口与发展研究中心信息办主任冯方回也认为，尽管现在私有云在企业内应用较多，但是在未来这两类云一定会走向融合。

5. 3云计算概念逐渐平民化

几年前，由于一些大企业对于云计算概念的渲染，导致很多人对于云计算的态度一直停留在“仰望”的阶段。但是未来其发展一定是平民化的。

其平民化必然经历如下几个步骤。

（1）云计算产品价格持续下降。基本上任何IT产品的价格都会随着用户中的普及而逐渐降低价格，云计算也不例外，实际上，降价的趋势从去年就已经开始了。

（2）云计算定价模式简单化，定价模式的简单化有助于云计算的进一步普及，这是非常好理解的，没有人希望去购买商品的时候面对繁杂的价格计算公式，而在这一点上，目前的云计算产品显然做的还不够。众多厂商的涌入使得云服务定价标准目前比较混乱。

5. 4云计算安全权责更明确

对于云计算安全性的质疑一直是阻碍云计算进一步普及的最大障碍，如何消除公众对于云计算安全性的疑虑就成了云服务提供商不得不解决的问题，在这一问题上，通过法律来明确合同双方的权责显然是一个重要的环节。

届时云服务性能监控将无处不在，第三方近乎实时监控都会让云计算提供商背负巨大压力。届时有关云计算性能监控的报告如同高峰时期实时路况播报那样平常。

云计算技术调查报告—————————————————

火龙果 整理

https://www.360docs.net/doc/7b13732089.html, 6. 参考文献及资料

[1] 王鹏 黄华峰 曹珂编，《云计算：中国未来的IT 战略》，人民邮电出版社，第89页，2010年06月

[2] 周洪波编，《云计算实践指南丛书》，电子工业出版社，第355页，2011年05月

[3] 吴朱华编，《云计算技术剖析》，人民邮电出版社，第45页，2011年05月

[4] https://www.360docs.net/doc/7b13732089.html,/view/e5f274d776eeaeaad1f33016.html

[5] https://www.360docs.net/doc/7b13732089.html,/view/e5f274d776eeaeaad1f33016.html

[6] https://www.360docs.net/doc/7b13732089.html,/view/1316082.htm