邬贺铨:大数据时代的机遇与挑战

邬贺铨:大数据时代的机遇与挑战

2012-12-18 09:04:30

今天的报告将讲无线化网络的革命、智能化制造的前景、大数据时代的机遇、颠覆性技术的影响与新一轮产业的变革等五个方面的内容。

我为什么会选择这么几个题目?今年2月22日《华尔街日报》有一篇文章——“科技引领的繁荣即将到来”,谈到三大技术创新,第一个是大数据时代,第二智能化制造,第三无线网络革命。

无线网络革命

无线3G普及率超过固网宽带,这里是指注册的宽带用户,我们的固网宽带普及率比较低,2012年7月只有12.4%,全球发达国家一般是26%,我们国家的固网宽带化普及率只是发达国家的一半。无线发展非常之快,预计到2015年固网宽带用户达到2.5亿,3G用户将达到4.5亿,移动用户达到12.5亿。

在电信运营商的收入中,非话业务的收入占电信业务的收入将近50%,以前主要靠电话收入,今年上半年全国的非话收入已经占到电信业务收入的一半,中国电信更高达60%多,中国联通50%多,中国移动28%。

全球移动互联网流量占全部互联网流量10%左右,亚太地区这一数字将近20%,这是因为东方民族比较酷爱使用手机。预计2016年全中国产生的移动数据流量要占全世界移动数据流量的10%,这个比例也是比较高的,无线的比例更大,2012年无线流量占到互联网流量的一半,因为有很多的Wi-Fi,贡献了很多无线流量。

我们再来看移动通信中数据流量与话音流量的比例。今年一季度,移动数据大概是移动话音流量的5倍,即现在移动网络里面,五分之四的流量都是上网的流量,只有五分之一是打电话,所以整个移动网络也是互联网化,估计到2015年全世界移动数据业务流量会比2010年增加26倍。在移动通信的收入里面数据占多少?从全国看占32%,中国电信更高一点占45%,中国联通40%,中国移动占28%。

中国移动是最大的移动运营商,反而比例比较低,他们的话音收入占比比较高。

我们来看美国AT&T公司的网络流量情况,移动互联网的流量规模相当于8年前固定互联网的流量,2011年全球移动数据业务流量是2000年全球互联网流量的8倍。(图1)

流量的增长需要更先进的宽带技术来支持。局域网技术本来用在企业网里面,现在实际上已经涉及到城域网,它的发展非常快,从10M 到100M,用15年完成标准化,从100M到1G只用4年,从1G到10G 用了3年。1999年制定了10M无线局域网标准,今年年初中国颁布了1G的超高速无线局域网标准。

我们来看移动通信技术的进展。1990年大家大量使用GSM、CDMA,2G是数字电路交换,2000年3G采用分组交换,现在网上是增强型的3G,之后出现了演进型3G即LTE,今年1月份国际电信联盟通过4G标准。从1G到4G,每一代技术都是革命性的。第一代移动通讯,它是频分多址。2G的TDMA是时分多址,CDMA是码分多址,LTE和将来的4G是正交频分多址OFDMA,几乎是10年一代。

革命的技术在哪里?以LTE为例,一个频带内分为多个子载波,相邻的子载波间可以部分重叠并通过正交的方法来避免干扰,频率应用率能提高很多。不仅如此,过去都是一根天线发送,现在多根天线一起发送和接收,这称为MIMO,即空间复用。假如离基站近,可以直接从基站把信号发送到终端,如果距离远,可通过另外一个终端转发,这称为中继接力。甚至可以几何分布的多根天线一起发射。现在频率不够,回到家里自动把手机转到家里的Wi-Fi,这称为异构网协同。

传统的移动网中,电话信号走的是传统的电路交换网,数据走的是互联网,两种业务由不同的网络来传送。LTE会变成全IP,无论是电话也好数据也好,都走互联网。传统的移动网信号要经过基站、基站控制器、网关和交换机,数据流量越来越大,为了减少迟延,希望更加扁平化,增强型的基站直接连到演进形的分组核心节点。过去移动通信考虑人们在家里使用固定电话,上街用手机,回到家里手机

关机,现在随着移动通信资费下降,有很多人拿着手机打电话,尽管旁边还有固定电话,但手机更方便。现在80%的移动通信都是在房间里发出来的,实际上移动电话相当于固定电话在用,因此移动通信的控制管理可以放在边缘上,这样更有利于管理。基站有潮汐效应,位于办公区的基站白天业务量大,晚上流量小,而位于住宅区的基站则相反。如何把基站做到忙闲均匀呢?将相邻的多个基站的基带处理器集中在一起,可以把流量很小的基站资源调给另外一个小区用,达到资源的均衡。基带处理集中的另一个好处是不需要每个基站用单独的空调,从而节省能耗。无线移动通信的能力不断提升,最早GSM除了通话只能发短信,之后到GPRS,UMTS、HSDPA,到现在的LTE,目标是峰值速率达到100M。手机的功能也不断增强,早年我们的手机只是听和讲,最多显示号码,现在可以触摸了,可以写了,可以感知了。2000年手机可以听歌,2001年有彩屏,2002年有照相机,2003年有手写输入,2004年有录音功能,2005年有TV功能,2006年有内置游戏加速卡,2007年有3G和Wi-Fi,2008年有触摸屏,2009年嵌入传感器功能,2010年加入PC功能,2011年出现双核处理器、GPU、遥控器,2012年发展到四核处理器,重力感应、光线感应、手势输入、语音搜索、语音翻译、健康检测器等等,手机还可以检测这个地方的辐射严重不严重,现在手机变成了感知世界的工具,通信功能变成手机里面比较小的一项能力,更多是日常生活当中不能离开的个人助理功能。

苹果公司iPhone/iPad上的语音助理Siri,让你的终端能够明白你所说的一切事情,并做出相应的反映。6月11日新版的Siri能够搜索当天的体育比赛得分,读出当地影院的电影上映时间表以及为你预订酒店餐位。Google推出的Google Glasses,不仅能够通过触摸和语音的方式进行控制,而且还能通过视觉进行操作,通过眨眼睛或者注视正确的方向来操控摄像头进行拍照,并将照片上传到Google+,该眼镜还将提供地图服务导航功能。美Leap Motion公司开发了一个打火机大小的接口装置,内有3个微型摄像头,将它连到PC上就成为可以识别手势的设备,根据对3个摄像头捕捉到的画面进行分析,

软件可以跟踪用户的手指,探测到不足10微米的细微运动。未来办公室的职员和游戏玩家将用各种手势动作来隔空与他们的设备互动。

智能手机是指具有独立操作系统可以由用户自行安装软件、游戏等第三方应用程序的手机,智能手机的能力相当于8年前的PC,已经是当年美国阿波罗计算机的几百倍的能力。过去人们是以PC作为数字世界的核心,将来可能是以手机作为数字世界的核心。

现在普通手机上网流量不高,一般是10-50M,智能手机是100M-1G,移动智能终端的流量比功能终端高1-2个数量级。

移动互联网现在为什么发展那么快?严格来讲手机屏幕没有PC 大,移动网的带宽没有固网高,移动网的资费比固网高,这都是不利条件,但是手机可以利用碎片化的时间,个性化、私密化、娱乐化、互动性,获得用户身份识别、用户位置信息、用户在线状态信息、用户终端和应用偏好,用户消费行为统计数据。可以定制终端、语音和数据服务,因此移动互联网用户数肯定要超过桌面互联网,这是一个趋势。

移动互联网基于“端”与“云”的应用模式比较。基于“端”的应用模式,大家买了iPhone,上到苹果的App Store平台上,花一些钱下载你需要的应用软件,苹果系统有这些应用软件60万个,下载到终端上,这个时候可以离开网络来玩这个游戏,这个体验是比较好的。但也有不好的地方,你的内存是有限的,“愤怒的小鸟”挺好,但玩完之后还想玩新的,要把原来花钱买的东西卸载后再换新的。

基于“云”的应用模式,使用浏览器连接网上的游戏等应用,无需下载到终端上,在线玩游戏。一般来说手机屏幕小,使用传统的浏览器难有好体验,现在专门为手机开发的HTML5浏览器,更容易在网页中处理多媒体和图片内容,使Web由内容平台向统一应用层平台转变,云计算还将加速这种转变。

基于“云”的方式对操作系统要求不是那么高,可以做一个薄的操作系统,我们只要把浏览器做好就可以了,所以未来基于“端”和基于“云”这两种方式都是可能的。

利用云平台还可增强移动互联网的智能性,移动手机、平板电脑有不同尺寸,网络要识别手机屏幕大小和分辨率,形成适合终端播放的文件和视频流,终端显示时能对图像进行拼接及屏幕播放。iPhone 4S 结合在云计算后台的语音识别和合成功能,开拓了智能的语音搜索和应答业务。

智能化制造的前景

美国《华尔街日报》网站2012年2月22日发表题为“科技引领的繁荣即将到来”的文章,指出大数据时代、智能化制造和无线网络革命是重要的三大技术变革。制造业的智能化一开始是2D绘图,然后是3D建模、数字样机、数字制造,现在发展到智能制造,在生产过程中或产品出厂前能体验用户的感受。整个数字化设计的过程是这样的,一个汽轮机,以前把汽轮机每一个零件做出来,然后拼接在一起看它设计是否好,功能是否完善,如果不好要重新做零件,这个过程非常慢。现在不仅仅在网络上面设计,一个大企业在上海、北京、杭州都有技术部门,可以在不同地方的技术人员协同设计,在网上模拟以完善产品,这是制造过程新的变化。

原来生产体系是刚性的,适合大规模生产,现在需要灵活制造、计算机集成制造、精益制造、精准制造、并行工程、敏捷制造。数字化制造不仅能规模化也能个性化生产,不仅仅针对产品,而且要对制造流程的设计、工具设计、厂房布局等全面优化。

进一步发展智能化制造。早期的电气化解决了驱动问题,后来发展到数控,解决控制自动化问题,按程序来加工工件,但数控只是一个“傻瓜”的动作,按固定程序加工,不管加工工件在今天加工跟昨天

加工温度有什么变化,环境有什么变化,不管加工材料属性有什么变化,只会死板执行程序,所以加工出来的精度不能保证。智能化制造将传感器及智能诊断和决策软件集成到装备中,由程序控制的装备上升到智能控制,能自适应反馈被加工工件在过程中的状况。

三维打印是新出现的技术。把一个被加工的工件分解为切片,然后将切片层层叠加方式完成整个工件的加工,这种方式也叫添加制造。以前的制造叫做减法制造,将被加工工件的毛坯通过切削去掉不要的部分,实际仅利用了很少一部分材料。添加制造把要的东西往上叠加,这种方式用在设计样机可以很快。又例如人造骨头、假牙,不可能大规模的生产,三维打印是一种好方式。也有人认为未来的添加制造对某些产品也可以做到大规模的生产。美国提出添加制造可以提升美国的高端的制造,重新夺回制造业的优势,认为添加制造对制造业大国中国将是严峻挑战。

在美国先进制造伙伴关系计划中有一个材料基因组计划,这是类似于人类基因组计划,现在提出来要像分析人体的基因一样找材料基因,为什么现在提出材料基因组?传统研制材料,像“炒菜”那样,根据已有的认识和经验,选择一些基本材料的组合,通过反复配试,往往并非最佳的结果。例如想开发航空发动机的材料,把不同的金属放在一起,然后试一下行不行,不行再试,这个过程非常慢。现在要从分子结构来分析材料,通过原子排列找出相-显微组织-材料性能-环境参数-使用寿命等的关系,建立原子、分子的结构跟材料性能的关系,这种办法可以把发现、开发、生产和应用先进材料的速度提高一倍,美国的材料基因组计划被赋予复兴美国制造业和保持全球竞争力的重任。

另外一个新技术叫做合成生物学,过去都在谈转基因,转基因是把一个物种某一个基因改变了,实际上一个物种有成千上万的基因,我们只改变它一两个基因,现在都害怕农产品转基因,担心吃了不好。现在美国提出要把动物植物里面的DNA作为编程语言的软件,然后用DNA片断组合来开发新硬件,人、动物、植物都有DNA,由DNA

组成细胞,合成生物学可用来设计药品、化学用品,为残疾病人造出新的肢体。美国把合成生物学列入新一代制造业的支撑技术。

现在提《第三次工业革命》,该书提出一种建立在把互联网和新材料、新能源相结合基础上的第三次工业革命。第三次工业革命会迎来制造业的数字化,而且扩散到其他领域。美国提出未来20年最有潜力从根本上改变制造业的领域是:半导体、先进材料(重点是综合计算材料工程领域)、添加制造技术和生物制造(重点是合成生物学),这四个方面是未来制造业变革很重要的环节,未来的制造业会发生很大的变化。

颠覆性技术的影响

什么是颠覆性技术?一般来讲一个产品品种会随着需求的提高而不断改进性能,这种改进与时间的关系是线性的,但颠覆性技术不一样,它由技术来驱动,引导新的需求,颠覆性的技术并不是纯粹由需求引导的。

举例来说,颠覆性技术不仅仅是技术,包括产业模式、商业流程、应用领域、服务类型等各方面的创新。新技术从实验室到形成产业往往需要10年左右的时间,但新产品一旦上市,使用普及渗透越来越快,能很快成长为一个巨大的产业。数码相机颠覆了传统相机,DVD播放器取代了录音机,激光照排取代了铅字印刷等等就是颠覆性技术的例子。

柯达最早开发出数码相机,但担心影响其胶卷生产而没有继续开发和投产,没想到颠覆柯达的恰恰是数码相机。柯达在胶片时代创造了高达近50%的毛利率,到上世纪80年代初,实验室产生了上千项与数码相机有关的专利。1988年数码相机商用,同年柯达与中国政府签订了“全行业合资计划”,出资10亿美元全面进入中国感光材料领域,建起8000多家彩印店。2003年胶卷市场大势已去,柯达也想转型数码公司,当时测算公司的转型需要30亿美元的投资并可能削减72%的红利,遭到股东的强烈反对,后来虽然柯达也进入了数码相机的领域,但是为时已晚。2009年停产彩卷,2012年1月拥有131年历史的柯达申请破产,前几年柯达靠出售专利许可权收入就达19亿美

元,今年打算出售旗下1100项目专利以偿还破产贷款,开价26亿美元但应价不到2.5亿美元。只好无限期推迟专利拍卖。

日本富士原来也做胶卷,当年跟东芝公司合作开发了数码相机,后来发现数码相机太多人做,它要转型,转到生命科学、印刷、文件处理、光学元器件和高性能材料五大领域。在2007年前后,借鉴了富士多年对胶片的研究所积累的胶原蛋白、抗氧化技术的研究成果,富士还大胆进军化妆品行业,其“艾诗缇”系列在日本已跻身销量第三。

中国政府在数码相机进入市场的1988年注资8亿元给乐凯扩大胶卷生产。2003年胶卷销量大幅度下滑,同年乐凯与柯达合资,希望在传统胶片领域结盟共同应对市场,联姻仅仅维持了4年,乐凯2011年净亏损已达5592.9万元,2012年乐凯宣布停止彩卷生产。乐凯转型做过很多尝试,包括数码相机、MP3、立体照相、彩扩机、偏光片等,但由于缺乏技术储备,最终都未获成功。幸好2005年乐凯公司利用其精细化工的基础投资建设为液晶显示器配套的光学聚酯薄膜生产线,成为全球仅有的拥有此类生产能力的5家企业之一,2011年9月并入中国航天科技集团后,转向光学膜材料、数字印刷材料等方向。

光存储取代磁存储。1993年9月安徽现代集团出资57万美元,利用MPEG技术开发出世界上第一代VCD,同年12月又与美籍华人共同投资1700万元成立了万燕公司。1994年万燕公司生产了几万台VCD,但因疏于专利保护,1995年国外成立DVD论坛统一了DVD 标准,VCD被取代。1992年中国政府主管部门组织国内9家录像机企业共出资20亿元组建专门生产磁鼓的华录公司。在VCD开始上市后,1994年6月华录仍与日本松下各出资240亿日元合资成立华录松下公司生产录像机。VCD以及其后DVD上市,开创光储存替代磁存储时代,录像机一下子成了过时的产品,华录生产出来的录像机机芯大量积压,企业亏损额迅速达到几亿元,华录成为大连市的首批下岗企业。痛定思痛,华录开始了从数字音视频提供商到新型文化产业集团的战略转型,投资国内影视领域取得成功。

CRT电视与平板电视。2004年LCD彩屏已经出现,但安彩集团判断其成本不足以撼动CRT显像管,认为CRT还有10年以上的市场空间,安彩以4000万美元收购开价上亿美元的美国康宁两条CRT 彩屏生产线,但没等开工,CRT显像管的市场受到LCD/PDP的冲击,已经开始萎缩。2004年TCL收购汤姆森公司CRT电视机生产线,本想借机进入欧洲市场,但可惜CRT电视机市场已经很不景气,TCL 背上连续两年亏损包袱。LCD彩屏技术基本被日、韩国企业垄断,中国电视机企业遭遇电视显像技术换代的打击,利润进一步下降,一些电视机企业转投房地产。平板电视的技术路线之争仍在继续,LCD、PDP、OLED和LD电视,共性的是以IC技术生产彩屏,不同的是工艺成熟度与成本,IC技术的突破将对未来平板电视的走向有关键影响,需要尽早关注。

这是一个新的时代,去年中国电视市场卖的电视机80%都是液晶电视,CRT只占20%。液晶电视之后,下一个是谁,有人认为会是OLED(即有机发光二极管)。液晶电视要靠背光源,现在市面卖LED 电视只是以LED作为背光源的液晶电视,真正的OLED电视,OLED 本身就是受控发光的像素单元。

智能终端对功能终端的颠覆。iPod上市卖了360天就达到百万台,黑莓上市300天销售达百万台,iPhone上市74天销售达百万台,iPad上市卖了28天就销售达到百万台。按照市场研究公司Canalys 发布的数据,2011年全球智能手机出货量首次超过PC。

计算机越做越小,平板电脑越做越薄,手机屏幕越做越大,现在两者的差别是什么,一只手能拿得起的是智能手机,两只手能拿得起的是平板电脑。原来手机是作为通信终端,现在作为消费终端的属性超过通信终端的属性,产业也相应发生了变化,传统做手机是西门子、NEC、诺基亚、摩托罗拉、爱立信,现在它们都不做手机了,取而代之的是三星、苹果、谷歌。以前做手机的是把手机作为通信终端,而现在互联网企业取代了它们成为智能终端的供应商。

智能终端内置更多家用信息产品功能,数码相机取代了胶卷,现在数码相机又怕手机取代它,为什么?智能手机内嵌像素1000万照相

机功能已经比较普通,甚至有8000万像素的配置,一方面扩展了数码相机的应用和普及,另一方面对于单独的数码相机销售形成了冲击。更多的用户将拍完的照片通过内置的图像处理软件,或下载的应用软件去修改、拼图、制作成GIF动画或者日记、大头贴等发到微博上或者社交网站上与友人分享,人们开始需要能上网的相机,能处理照片的相机。研究数字表明,目前仅有8%的用户使用传统胶片相机,40%用户使用数码相机,而超过45%的用户使用智能手机用于主要的拍摄。

DVD代替了录音机,但是现在PC出来了,由于PC很多都有内置DVD播放器,因此大大减少了对单独的DVD播放机的需求,另外大量的U盘和超大容量移动硬盘的价格迅速下降,同时网络视频下载服务的兴起也减少了对DVD光盘的需求,单独销售DVD播放器的市场日渐萎缩,现在有些计算机甚至连DVD的光驱动都没有,因为很多节目在网上就可下载。

未来有什么颠覆性技术?

石墨烯。它是单层二维晶体,其碳原子呈蜂巢晶格排列,它是目前最薄且最硬的纳米材料,几乎完全透明,导电率高于铜。石墨烯可应用在高频电路、光子传感器、光电化学电池的领域,它的前景非常好。目前在中国市场上价格超过2000元/克,中国石墨储量占世界70%,但是石墨烯不容易造出来。

超材料。通过结构有序设计,获得天然材料所不具备的超常物理性质,它的介电常数、磁导率可为正、零、负、无穷小或者无穷大的人工材料,具有许多奇异的电磁特性,例如负折射、完美透镜、逆多普勒效应等,在通信、雷达和隐身材料等方面有重要的应用。我认为超材料也是一种颠覆性的技术。

一百年前奥地利人熊彼德曾经说过“创新就是生产函数的变动”,创新包括以下五种情况:引入一种新的产品或者是提供产品的新质量,例如苹果的智能手机;采用一种新的生产方式,例如QUALCOMM 公司,它生产专利,就是生产知识;开辟了一个新的市场,例如谷歌,搜索引擎不收费,但靠广告收费,形成了搜索大市场;获得一种原料

或者半成品的新的供给来源,例如Twitter,利用短信平台搞微博,构建这么大的一个微博世界,当然它也很快成为美国市值很高的企业;形成一种新的企业组织形式,例如DELL,依靠直销,成为计算机的老大之一。一般把创新看成是开发技术,但上述这些公司都不是完全以技术来发展,更多是找出一种新的创新模式,苹果以其智能手机颠覆了原有手机市场的格局,与其说是技术,不如说是一种商业模式的创新。

大数据时代的机遇

大数据是指没有办法在容许的时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。常规的办法要想把它分析出来是很难的。大数据本身规模标准是变化的,目前指单一的数据集的大小在几十个TB(1TB=1024G)和数PB(1PB=1024TB)之间。未来随着时间的推移,标准还会升级,以前叫做海量数据,现在大数据比海量数据还大量。

大数据有什么特征,第一量大,第二变得快,第三品种多,第四有价值。它有四个V,超量、高速、变异、价值。大数据的价值不在于大,对大数据如果不挖掘,它跟垃圾也没有区别,关键对它进行挖掘,把价值真正挖掘出来。

互联网的流量。1998年人均流量是1M/月,2000年人均流量10M/月,2003年人均100M/月,2008年人均流量是1G/月,2014年人均流量将是10G/月。

全世界IP流达到1EB(1EB=1024PB)所需要的时间:2001年全球网民下载的流量合起来才1EB,2004年一个月就到这个数字,2007年一周就到这个数,2013年将一天就到这个量。(详见图2、图3、图4)

我们说现在是大数据时代,去年4月份美国国会图书馆收集了235TB数据,全球新产生的数据年增40%,全球信息总量每两年就可以翻番。现在一天产生多少数据,Twitter,2亿条,7TB;Facebook,2.5亿张照片,10TB;YouTube,7万小时视频,美国家安全局电话监控30TB。2011年前的人类信息总量为1.2ZB(1ZB=1024EB),

要知道中国人均一本500页的书总量才是1EB,谷歌每小时处理的数据为1PB,美国会图书馆印刷品为15TB。

大数据有什么用,华尔街“德温特资本市场”公司分析全球3.4亿微博账户留言,判断民众情绪,人们高兴的时候会买股票,而焦虑的时候会抛售股票,依此决定公司股票的买入或者卖出,该公司今年第一季度获得7%的收益率。华尔街对冲基金根据购物网站顾客评论是好评还是差评来分析企业的产品销售状况。华尔街银行根据求职网站岗位数量推断就业率。Informatica帮助美国一家零售公司把交易型的数据与社交媒体产生的数据能够关联分析,找到最佳客户并分析他们的购买行为。亚马逊公司从销售数据分析适合搭配在一起买的商品。硅谷有个气候公司,从美国气象局等数据库中获得几十年的天气数据,各地的降雨、气温和土壤状况及历年农作物产量做成精密图表,从而预测任一农场的明年产量,向农户出售个性化保险,如果出现未能预测的恶劣天气损坏庄稼,气候公司将及时赔付。美国纽约的警察分析交通拥堵与犯罪发生地点的关系,有效改进治安。美国纽约的交通部门从交通违规和事故的统计数据中发现规律,改进了道路设计。

大数据分析服务于医疗保健。微软的“健康存储库”和“谷歌健康”为广大病患者提供医疗卫生档案管理在线服务。谷歌和美国疾病控制和预防中心等机构合作,发生流感,网民会在搜索引擎上搜索什么地方有医院,什么地方可以买药,谷歌根据搜索引擎用户访问的关键词来找出流感的规律。社交网络为许多慢性病患者提供临床症状交流和诊治经验分享平台,医院借此可获得足够多的临床效果统计,这是病友之间的交流最真实不过的数据。

电信运营商拥有大量的手机数据,通过手机数据的挖掘,不是针对个人,而是群体,可从中分析很多社情民意。移动数据的挖掘,我们可以根据手机位置信息实时动态地了解流动人口的来源及分布情况,可以实时动态知道突发性事件的人员的聚集情况。

大数据的应用与社会价值。大数据的应用领域很广,例如反恐与维稳、多媒体可视分析、状态监视与感知、对灾害蔓延预测的灾害可视分析、财务分析、网络安全分析、文本分析等。企事业单位利用大

规模累计的运营数据,可及时了解交易、库存、生产、供应、客户关系管理、付款和财务状况等。

美国认为什么是可以从大数据中获得更多利益的行业?第一是政府,第二是制造业。政府拥有最多的数据,政府也是大数据最大的获益者,老百姓想什么,政府希望第一时间知道。从企业来讲从大数据中获益的第一位是制造业。

在疾病治疗里面大数据非常有用,现在医院判断你是什么病开什么药,如果都是某一种癌症,75%病人用同一种药是无效的,即便是肺癌,都用肺癌的药75%是无效的。老年痴呆70%是无效的。关节炎50%无效,糖尿病43%无效,哮喘病40%无效,抑郁症38%无效。因为人对药品的代谢与基因有关,未来我们要根据患者的基因,分析DNA、RNA,再看什么药有效,通过分析真正因人而异对症下药。

美国人说,如果把大数据用于医疗保健,一年产生的价值是3000亿美元。欧洲说,如果把大数据用在管理,一年能产生2500亿欧元的价值。服务提供商利用个人位置数据可以获得潜在的消费者年度盈余6000亿美元。零售商利用大数据可获得的运营利润增加60%,制造业设备装配成本会减少50%。世界经济论坛去年发布报告,认定大数据为新财富,价值堪比石油。

大数据的挑战

首先是数据管理的挑战,来自不同地方、不同标准,数据量大小不一、结构形式多样、实时性等要求不同,增加数据采集、编索与整合的困难,需要对传统的数据传输工具ETL流程进行重新设计。其次是数据挖掘,大量的仿真和计算任务必须协调数百个参数,大多数数据挖掘算法有很高的计算复杂度,需要实时操控超量和耗时的计算任务。第三是数据呈现,需要可视化最终甚至是中间的计算结果,可能需要脑机工程技术,以便组合自动计算和高级智能获得更自觉的洞察力。还有数据安全,这些都是挑战。

云计算是大数据处理的重要支撑,早年谈数据库,后来谈IDC,现在谈云计算,未来还有云服务,在中国云很热,但是在很多地方都只是数据库,还不是真正的云计算。通常再小的企业都有财务,可以

使用金蝶或用友软件做工商报表,买不起财务软件的企业可以租软件,租了软件还要有电脑,没有电脑也可以租,租了电脑还要人来使用,最后干脆把财务工作包出去,这就是服务外包的概念,即依靠第三方的服务。云计算具有支付弹性、可计量。云计算可以节省企业的信息化开支,有利于节能减排。

在大数据时代,数据存储在大量几何分布的各类服务器中,用户的一个搜索或者查询涉及到多个服务器,服务器间的信息交换远多于客户与服务器间的信息交换,网络体系需要从客户/服务器的垂直架构向服务器之间的水平架构优化。在最近5年中,我国接入网带宽流量增长6倍,而城域网流量增长22倍,表明服务器间流量状况。

原来路由器有操作系统和存储转发硬件,现在要把操作系统提出来做成网络操作系统,把应用提出来,路由器剩下一个简单的转发功能,通过网络操作系统控制,可以灵活地调动路由器的资源,因为我们的大数据产生的位置可能不固定,哪怕有一个地方从来没有什么事,突然有事情数据就会大量涌到那里,所以我们要把网络做成弹性化。数据光收集是不够的,还必须集成,跟历史数据相比,再通过模型分析,最后才能得出决策,必须要有这个过程。

收集不能只靠传感器,还要收集政府、市民数据。例如北京堵车,通过摄像头、传感器能够知道,但是为什么堵车?只有从政府发布的新闻或市民的微博才能知道城市发生了什么,什么才是堵车的原因。

另外收集的数据不等于所有数据都是真实的,也可能有假数据,数据是不是有信誉,必须要过滤。分析数据需要有数学模型,分析的结果希望以可视化方式呈现。一些数据分析结果需要向公众发布,但在发布之前,需要预测社会的反应,必须对可能的后果有预见。

为了数据的完整性,希望有异构多源的数据,例如太湖蓝藻的监控,单纯靠传感器收集信息并不见得可靠,要把人工采集的数据和卫星遥感数据结合分析,还要与历史数据对比,通过推算才好得出是否会发生蓝藻的结论。数据之大,不能把它存到数据库再来分析,可能需要实时处理,要一边进来一边挖掘,才能适应源源不断产生的数据,决策才能及时。

多媒体数据是非结构化的,需要结合上下文,解释它的语意,否则很多时候会误判。

新一轮产业变革

现在可以发现,移动互联网,下一代互联网,云计算、物联网、社交网络结合带来的新浪潮,影响了产业,影响了社会和人们的生活。2006年5月4日统计,那个时候诺基亚的市值比苹果的市值高得多,而2011年5月4日,苹果比诺基亚的高得多。上世纪90年代诺基亚是最成功的欧洲企业,本世纪头十年令人失望。现在诺基亚的市值是2007年的十分之一。上世纪90年代苹果是最令人失望的公司,21世纪是最成功的公司,2007年超Intel、IBM,2008年超谷歌,2010年超微软等等。(详见图5)

美国政府是1776年成立,苹果比它晚200年。美国有1.545亿人,苹果的工作人员数是4.94万人。苹果公司的资产和现金流比美国政府

还高,美国政府还有很大的债务,苹果没有债务。苹果靠什么,苹果将硬件和软件捆绑,将产品和服务结合,实现了整个产业链的垂直整合和磨合优化。iPhone和iPad的出现改变了游戏规则,始终掌控了产业链的发展,实现了开放与垄断的结合。苹果的创新不仅源自于市场,而且创造市场,不仅是技术创新还是商业模式的创新。其文化不是工程师文化,也不是营销师文化,而是设计师的文化。

5年前诺基亚为手机霸主,现市值相对2000年下跌94%。诺基亚满足在功能手机上的业绩,向智能手机的转型上反应迟钝,手机操作系统固守在塞班,后投微软。早在2006年就提出向移动互联网转型的口号,并在2007年推出了MP3的Ovi音乐商店,但在2011年停止了该服务。

早年通信企业爱立信与索尼合资成立索爱品牌,专门研发和生产手机,利用爱立信在运营商的声誉和索尼在消费者中的品牌,手机卖得不错,这个事情刺激了诺基亚,诺基亚把通信系统分离出来,与西门子合资成立诺西,诺基亚则聚焦在移动终端,诺西与诺基亚两者经营都不错。但是苹果iPhone出来了,苹果不是简单做手机,而是把手机变成消费终端,重视用户的体验,而且将手机与电脑以及视听终端做到多屏互动,还建立了开放应用平台,引发了千万开发者参与,因此索爱跟诺西都难以竞争了,后来爱立信把索爱的股份全部卖给了索尼,即便这样改组,索尼也是严重亏损。诺西也是一样,现在要裁员。诺基亚也过得不好。爱立信作为移动通信的大佬退出手机市场。苹果的出现起到了搅局的作用。

爱立信在放弃终端的同时,在三大领域重点增长,即移动宽带、管理服务及网络外包服务BSS和OSS。2011年6月爱立信斥资11.5亿美元收购OSS/BSS供应商Telcordia,声称面对全球500亿连网的设备,利用网络使能云(编注:爱立信网络使能云基于并结合目前的电信网络与设备,为运营商提供显著改善的用户体验、新的商业机会、更快的上市步伐和更低的成本;并正以这种方式创造一个有助于实现网络社会的创新平台。),实现监控、服务和整合,将数据业务开放给社会和行业,成为全球第五大软件公司。

英特尔(Intel)的转型。从CPU到手机芯片,进军平板电脑和安全领域。与英特尔的CISC相比,ARM的RISC指令集操作简单,英特尔的CPU面临竞争。主推超极本战略,着眼使用便捷和响应快。进入移动通信领域,2010年8月30日英特尔以14亿美元收购全球顶级手机制造平台提供商Infineon的无线业务部门,组建移动通信公司,提供手机芯片,与高通公司竞争。扩展到信息安全领域,2010年8月19日以78亿美元收购信息安全公司Macfee及旗下的手机安全软件公司tenCube和Trust Digital,将安全性嵌入其CPU,让安全软件与硬件做更紧密的合作,帮助Intel推出手机安全操作系统,助力Intel 进军移动通信领域。

日本电子业跟不上互联网发展的变革,逐渐失去竞争力。索尼计划年内裁员约1万人,占员工总数的6%,NEC公司计划年内在全球裁员1万人。日本公司面临转型的压力。但日本在零部件和元器件方面仍然有很强的实力。

惠普做PC,10年前以250亿美元收购康柏电脑公司,战略上从创新转到拼成本,难敌戴尔和联想。惠普错过了计算机的重要转型期,包括平板电脑和云计算的兴起及移动设备市常2011年8月一度要分拆PC业务并放弃Palm WebOS,两年来市值暴跌60%,2012年5月宣布在2014年10月前裁员8%。近两年动用数百亿美元收购一些管理软件的企业,有向大数据和移动互联网转型的趋势。

IBM从以PC为主的制造业成功实现到IT服务业转型。2006年出售PC业务给联想。2010-2011年60亿美元收购一些企业管理软件和大数据分析的公司。

微软拿85亿美元收购Skype,进军社交、网络电话和视频会议。2011年12月发布同时支持英特尔和ARM的Win8。2012年4月以10.56亿美元收购AOL拥有的900多项专利,布局移动搜索。2012年6月以12亿美元收购企业社交网络软件公司Yammer。2012年6月发布10英寸499美元平板电脑Surface,进入硬件领域。微软最近在推平板电脑,表现出进入移动互联网和社交网络的强烈动向,也在瞄准大数据的市场。

相关文档
最新文档