云计算感想

云计算

一：计算机发展史

计算机自诞生以来，发展迅速。经历了从大型计算机时代，到微型计算机时代，再到互联网时代，然后再到目前的云计算时代，如图1。

大型计算机时代：1946年，世界上出现了第一台电子数字计算机“ENIAC”，用于计算弹道，由美国宾夕法尼亚大学莫尔电气工程学院制造。ENIAC体积庞大，占地面积170多平方米，重量约30吨，消耗近150千瓦的电力。

微型计算机时代：微型计算机简称“微型机”、“微机”，由于其具备人脑的某些功能，所以也称其为“微电脑”。是由大规模集成电路组成的、体积较小的电子计算机。它是以微处理器为基础，配以内存储器及输入输出(I/0)接口电路和相应的辅助电路而构成的裸机。特点是体积小、灵活性大、价格便宜、使用方便。

互联网时代：始于1969年的美国，又称因特网，是全球性的网络，是一种公用信息的载体，是大众传媒的一种。具有快捷性、普及性，是现今最流行、最受欢迎的传媒之一。这种大众传媒比以往的任何一种通讯媒体都要快。互联网是由一些使用公用语言互相通信的计算机连接而成的网络，即广域网、局域网及单机按照一定的通讯协议组成的国际计算机网络。

云计算是一种基于互联网的计算方式，通过这种方式，共享的软硬件资源和信息可以按需求提供给计算机和其他设备，主要是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。

图1：计算机发展阶段图

二、云计算背景

继个人计算机变革、互联网变革之后，云计算被看作第三次IT浪潮，是中国战略性新兴产业的重要组成部分。在上世纪60年代，麦卡锡就提出了把计算能力作为一种像水和电一样的公用事业提供给用户的理念，这成为云计算思想的起源。在20世纪80年代网格计算、90年代公用计算，21世纪初虚拟化技术、SOA、SaaS应用的支撑下，云计算作为一种新兴的资源使用和交付模式逐渐为学界和产业界所认知。中国云发展创新产业联盟评价云计算为“信息时代商业模式上的创新”。

云计算是分布式计算、并行计算、效用计算、网络存储、虚拟化、负载均衡等传统计算机和网络技术发展融合的产物。

图2 云网络

三、云计算发展阶段

云计算发展分为5个阶段：

萌芽期：这是最初的阶段，云计算的概念被提出，有人开始对它感兴趣。

期望膨胀期：云计算技术的产生被大家寄予了很高的期望，典型的成功案例会催化这种热情剂，不断提升技术热度，直至达到炙手可热的巅峰;这个阶段典型的标志是"人人都在谈论它，但没人真正知道它"。

幻想破灭期(或称低谷期)：人们对云计算过高的期望与现实的不匹配，使得期望越高失望越大，一把火被浇灭，关注度一下子跌到了谷底。

复苏期：回归理性的人们开始反思，从实际出发考虑云计算的价值，赋予其合理的使命并最终达到效果。

成熟期：云计算技术已经被认识到其作用并被广泛接受，开始规模应用。

图3 云计算发展阶段

四、云计算发展现状

云计算是多种技术混合演进的结果,其成熟度较高,又有大公司推动,发展极为迅速。Amazon、Google、IBM、微软和Yahoo等大公司是云计算的先行者。云计算领域的众多成功公司还包括Salesforce、Facebook、Youtube、Myspace等。

Google在于2007年10月在全球宣布了云计划，Google与IBM开展雄心勃勃的合作，要把全球多所大学纳入“云计算”中。2008年1 月30日，Google宣布在台湾启动“云计算学术计划”，将与台湾台大、交大等学校合作，将这种先进的大规模、快速计算技术推广到校园。2007年10 月，Google与IBM开始在美国大学校园，包括卡内基美隆大学、麻省理工学院、史丹佛大学、加州大学柏克莱分校及马里兰大学等，推广云计算的计划，这项计划希望能降低分布式计算技术在学术研究方面的成本，并为这些大学提供相关的软硬件设备及技术支援（包括数百台个人计算机及BladeCenter与System x服务器，这些计算平台将提供1600个处理器，支援包括Linux、Xen、Hadoop等开放原始码平台）。而学生则可以透过网络开发各项以大规模计算为基础的研究计划。

IBM于2007年8月高调推出“蓝云（Blue Cloud）” 计划，这一计划已经在上海推出。IBM的Willy Chiu透露，“云计算将是IBM接下来的一个重点业务。”这也是IBM扩张自身领地的绝佳机会，IBM具有发展云计算业务的一切有利因素：应用服务器、存储、管理软件、中间件等等，因此IBM自然不会放过这样一个成名机会，提出了“蓝云计划”。Google和IBM的合作则颇具互补效应。两家公司正试图将各自的技术进行融合，IBM熟谙企业级计算机的运行之道，而Google 悉知大流量数据传输和高速网路链接的不二法门—两家公司的联手有望创造出

重大成就。IBM公司CEO塞缪尔?帕米萨诺开玩笑地把这个项目形容为Google 年轻工程师与IBM“胖老头儿”的绝妙拍档。Forrester Research分析师阿德利安称，云计算编程技术将成为基准的下一代计算机编程结构，IBM想捷足先登以抢占制高点，这正好可以利用Google的网络优势。

2008年8月1日，IBM宣布，将斥资3.6亿美元在美国北卡罗来纳州建立云计算数据中心。IBM将该数据中心称为史上最复杂的数据中心。IBM同时还将在东京建立一所新的机构，帮助用户使用云计算基础设施。新的数据中心将位于北卡三角科技园的一栋现有建筑中。IBM将使用服务器虚拟化技术以及其他新机制，从而使该数据中心的能源利用效率比业内平均水平高50%，每年的二氧化碳排放量减少31799吨。该数据中心占地6万平方英尺，预计将于09年下半年投入运营。IBM表示：“使用该数据中心的用户能够获得空前的互联网计算能力，并获得业内领先的成本和环保优势。”云计算是当前IT领域的热门概念。IBM周五宣布的举措是“Blue Cloud”云计算计划的一部分。IBM位于东京的机构将不是数据中心。IBM在东京的专家将为大企业、大学和政府提供云计算咨询，帮助他们利用云计算设施，设计云计算应用，以及向他们的用户提供基于云计算的服务。

微软公司正在秘密开发完全脱离桌面的互联网操作系统“Midori”，取代已经有20多年历史的Windows操作系统，目的是为了大规模应用云计算技术。微软的优势也显而易见，全世界有数以亿计的Windows用户，微软所要做的就是将这些用户通过互联网更紧密地连接起来，并通过Windwos Live向他们提供云计算服务。微软正在创造这样一种用户体验，即从一般的设备存储转移到任何时间都可以存储的模式，其目的很明显，就是在互联网战略上同Google平起平坐。

亚马逊（https://www.360docs.net/doc/ca255614.html,）于2007年向开发者开放了名为“弹性计算机云”的服务，让小软件公司可以按需购买亚马逊数据中心的处理能力。

五、云计算原理

云计算是对分布式处理（Distributed Computing）、并行处理（Parallel Computing）和网格计算（Grid Computing）及分布式数据库的改进处理，其前身是利用并行计算解决大型问题的网格计算和将计算资源作为可计量的服务提供的公用计算，在互联网宽带技术和虚拟化技术高速发展后萌生出云计算。

云计算的体系结构由5部分组成，分别为应用层，平台层，资源层，用户访问层和管理层，云计算的本质是通过网络提供服务，所以其体系结构以服务为核心。

资源层是指基础架构屋面的云计算服务，这些服务可以提供虚拟化的资源，从而隐藏物理资源的复杂性。

平台层为用户提供对资源层服务的封装，使用户可以构建自己的应用。

应用层提供软件服务用户访问层是方便用户使用云计算服务所需的各种支撑服务，针对每个层次的云计算服务都需要提供相应的访问接口。

管理层是提供对所有层次云计算服务的管理功能。

用户访问层是方便用户使用云计算服务所需的各种支撑服务，针对每个层次的云计算服务都需要提供相应的访问接口。

如图4：

图4云计算体系结构图

六、云计算关键技术

1、虚拟机技术

虚拟机，即服务器虚拟化是云计算底层架构的重要基石。在服务器虚拟化中，虚拟化软件需要实现对硬件的抽象，资源的分配、调度和管理，虚拟机与宿主操作系统及多个虚拟机间的隔离等功能，目前典型的实现（基本成为事实标准）有Citrix Xen、VMware ESX Server 和Microsoft Hype-V等。

2、数据存储技术

云计算系统需要同时满足大量用户的需求，并行地为大量用户提供服务。因此，云计算的数据存储技术必须具有分布式、高吞吐率和高传输率的特点。目前数据存储技术主要有Google的GFS（Google File System，非开源）以及HDFS （Hadoop Distributed File System，开源），目前这两种技术已经成为事实标准。

3、数据管理技术

云计算的特点是对海量的数据存储、读取后进行大量的分析，如何提高数据的更新速率以及进一步提高随机读速率是未来的数据管理技术必须解决的问题。云计算的数据管理技术最著名的是谷歌的BigTable数据管理技术，同时Hadoop 开发团队正在开发类似BigTable的开源数据管理模块。

4、分布式编程与计算

为了使用户能更轻松的享受云计算带来的服务，让用户能利用该编程模型编写简单的程序来实现特定的目的，云计算上的编程模型必须十分简单。必须保证后台复杂的并行执行和任务调度向用户和编程人员透明。当前各IT厂商提出的“云”计划的编程工具均基于Map-Reduce的编程模型。

5、虚拟资源的管理与调度

云计算区别于单机虚拟化技术的重要特征是通过整合物理资源形成资源池，

并通过资源管理层（管理中间件）实现对资源池中虚拟资源的调度。云计算的资源管理需要负责资源管理、任务管理、用户管理和安全管理等工作，实现节点故障的屏蔽，资源状况监视，用户任务调度，用户身份管理等多重功能。

6、云计算的业务接口

为了方便用户业务由传统IT系统向云计算环境的迁移，云计算应对用户提供统一的业务接口。业务接口的统一不仅方便用户业务向云端的迁移，也会使用户业务在云与云之间的迁移更加容易。在云计算时代，SOA架构和以Web Service 为特征的业务模式仍是业务发展的主要路线。

7、云计算相关的安全技术

云计算模式带来一系列的安全问题，包括用户隐私的保护、用户数据的备份、云计算基础设施的防护等，这些问题都需要更强的技术手段，乃至法律手段去解决。

七、云计算应用

1、云物联应用

物联网中的感知识别设备（如传感器、RFID等）生成的大量信息如果不能有效地整合与利用，那无异于入宝山而空返，望“数据的海洋”而兴叹。云计算架构可以用来解决数据如何存储、如何检索、如何使用、如何不被滥用等关键问题。

2、云存储应用

云存储的概念：是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。云存储不是存储，而是服务：使用者使用云存储，并不是使用某一个存储设备，而是使用整个云存储系统带来的一种数据访问服务。所以严格来讲，云存储不是存储，而是一种服务。

3、云呼叫应用

云呼叫(CloudCall)，《著云台》分析师团队结合云发展的理论认为：是基于云计算技术设计的全新话务控制系统。企业无需购买软硬件设备，呼叫中心转移到云中，“云呼叫”中心实现按需付费的交付模式，系统可自动按客户需求分配资源，并只收已用部分的费用，即可以保证高峰期服务不中断，也可以避免业务淡季资源的浪费，同时管理者只需登录客户端，就可以随时查看报表、调整绑定号码、并对员工进行实时的监控与管理。

4、私有云应用

私有云(Private Clouds)是为一个客户单独使用而构建的，因而提供对数据、安全性和服务质量的最有效控制。该公司拥有基础设施，并可以控制在此基础设施上部署应用程序的方式。私有云可部署在企业数据中心的防火墙内，也可以将它们部署在一个安全的主机托管场所。

5、云教育应用

云教育（Cloud Computing Education 简称：CCEUD ），《著云台》的分析师团队结合云发展（Cloud Development )的理念总结认为，是指基于云计算商业模式应用的教育平台服务。在云平台上，所有的教育机构，培训机构，招生服务机构，宣传机构，行业协会，管理机构，行业媒体，法律结构等都集中云整合成资源池，各个资源相互展示和互动，按需交流，达成意向，从而降低教育成本，提高效率。

6、云会议应用

云会议是基于云计算技术的一种高效、便捷、低成本的会议形式。使用者只需要通过互联网界面，进行简单易用的操作，便可快速高效地与全球各地团队及客户同步分享语音、数据文件及视频，而会议中数据的传输、处理等复杂技术由云会议服务商帮助使用者进行操作。

7、云社交应用

云社交（Cloud Social）的概念，利科国际咨询集团《著云台》分析师团队提出：是一种物联网、云计算和移动互联网交互应用的虚拟社交应用模式，以建立著名的“资源分享关系图谱”为目的，进而开展网络社交，云社交的主要特征，就是把大量的社会资源统一整合和评测，构成一个资源有效池向用户按需提供服务。参与分享的用户越多，能够创造的利用价值就越大。

八、云计算发展障碍

目前隐私问题已经成为一个社会问题，特别是云时代来临之时，隐私则成为关注的重点。在云计算的概念下，计算机不再是一些独立的机器，而是网络中的一个节点。这种将计算任务交给全球运行的服务器网络，在提供各种便捷服务的同时，不可避免就是需要提供更多更详细的个人信息，才能获得更好的服务。但另一方面，越来越多的个人信息公之于众，使得人类毫无隐私可言，特别是目前政府机构以及公共服务机构越来越多的发布包含个人信息的数据。所以在云计算的背景下，无论是数据发布中的隐私，还是位置服务中的位置隐私，用户个人信息的保护都显得尤为重要。

除了隐私安全之外，系统运作的安全也是云计算应该重点考虑的问题。如果一个企业的系统被黑客或者其它恶意组织所攻击，导致系统瘫痪，企业某段时间不能正常运营，那么对于企业而言损失则不是一般的大。特别是大企业或许就是几分钟都会造成很大的影响，如果是一天，甚至几天不能正常运行那么造成的损失可想而知。虽然目前厂商和企业都已经意识到这一点，并且在努力研究希望能够早日解决这一问题，但是目前还没有一项较为满意的解决方案。

八、云计算系统

目前典型的开源云计算系统主要有Hadoop、Eucalyptus、Cassandra、Hive、V oltDB。

1、Hadoop

一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有着高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高传输率（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求（requirements）这样可以流的形式访问（streaming access）文件系统中的数据。

Hadoop是一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。它主要有以下几个优点： 高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。

高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。

高效性。Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。

高容错性。Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。

低成本。与一体机、商用数据仓库以及QlikView、Yonghong Z-Suite等数据集市相比，hadoop是开源的，项目的软件成本因此会大大降低。

Hadoop 由许多元素构成。其最底部是Hadoop Distributed File System （HDFS），它存储Hadoop 集群中所有存储节点上的文件。HDFS（对于本文）的上一层是MapReduce 引擎，该引擎由JobTrackers 和TaskTrackers 组成。其架构图如下：

图5 hadoop架构图

2、Eucalyptus

Elastic Utility Computing Architecture for Linking Your Programs To Useful Systems (Eucalyptus)是一种开源的软件基础结构，用来通过计算集群或工作站群实现弹性的、实用的云计算。它最初是美国加利福尼亚大学Santa Barbara 计算机科学学院的一个研究项目，现在已经商业化，发展成为了Eucalyptus Systems Inc。不过，Eucalyptus 仍然按开源项目那样维护和开发。Eucalyptus Systems 还在基于开源的Eucalyptus 构建额外的产品；它还提供支持服务。

Eucalyptus组件：在逻辑上，Eucalyptus云包括4个组件：存储控制器（walrus）、云控制器(简称CLC或者“cloud”)、集群控制器(cc)以及节点控制器(nc)。客户端依赖于解决方案，但可能以浏览器脚本、一个用户空间应用程序、或者甚至是一个内核模块的形式出现。云控制器是从客户端进入云的接口，并为云提供逻辑决定。云控制执行对客户端进行认证的服务，并将客户端的请求转化为事务。集

群控制器是一个节点控制器集合。它负责状态信息并与所提供的虚拟机进行交互。可是，节点自身是通过管理程序(Xen或者KVM)来与在线以及离线虚拟机进行交互的。一个节点控制器在一个单独的机器上是作为一个独立的实例存在的。但是，多个节点控制器组成了特定的云。

图6 Eucalyptus架构图

3、Cassandra

Cassandra是一套开源分布式NoSQL数据库系统。它最初由Facebook开发，用于储存收件箱等简单格式数据，集GoogleBigTable的数据模型与Amazon Dynamo的完全分布式的架构于一身。Facebook于2008将Cassandra 开源，此后，由于Cassandra良好的可扩放性，被Digg、Twitter等知名Web 2.0网站所采纳，成为了一种流行的分布式结构化数据存储方案。

4、Hive

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce 任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。

5、VoltDB

VoltDB，一个内存数据库，提供了NoSQL 数据库的可伸缩性和传统关系数据库系统的ACID 一致性。我们将设计数据库表并对其进行分区，使用Java? 代码编写的存储过程来存储和检索数据。我们还将了解VoltCache，这是一种构建于VoltDB 之上的键值存储。

十、总结与展望

云计算是一个成功的商业计算模型，但它并不完美，存在一些缺陷。具体体现在以下5个方面：

从平台统一角度看，目前云计算没有统一的标准，不同厂商解决方案风格不同、互不兼容。

从计算角度看，云计算管理是由廉价PC和服务器构成的计算资源池，主要针对松耦合型的数据处理应用，对于不易分解成众多相互独立子任务

的紧耦合型计算任务来说，采用云计算处理数据效率会很低。

从数据角度看，云计算主要管理和分析商业数据。

从资源集成角度看，使用云计算，就必须将各种数据、系统、应用集中到云计算数据中心，如果改变很多现有的信息系统的运行模式，把他们、

迁移到云计算平台上，将面临难度和成本的双重挑战。

从信息安全角度看，许多用户担心将自己的数据托管到云计算中心会被第三方偷窥、非法利用或存在丢失的可能性，因而不敢使用云计算技术。

虽然存在以上缺陷，但云计算依然是一门成功的技术，信息时代离不开云计算。