大数据现况分析和前景展望
大数据现况分析和前景展望摘要：随着网络化时代的日益普遍，移动互联、社交网络、电子商务大大拓展了互联网的疆界和应用领域，我们正处在一个数据爆炸性增长的大数据时代，大数据在社会经济、政治、文化、人们生活等方面产生深远的影响，大数据时代对人类的数据驾驭能力提出了新的挑战和机遇。本文将会介绍大数据的概念，分析大数据在现实世界中的应用和特点，以及进行对大数据前景的展望。
关键词：大数据现实生活互联网
1 大数据的概念
大数据（Big Data）是指那些超过传统数据库系统处理能力的数据。它的数据规模和转输速度要求很高，或者其结构不适合原本的数据库系统。为了获取大数据中的价值，我们必须选择另一种方式来处理它。数据中隐藏着有价值的模式和信息，在以往需要相当的时间和成本才能提取这些信息。如沃尔玛或谷歌这类领先企业都要付高昂的代价才能从大数据中挖掘信息。而当今的各种资源，如硬件、云架构和开源软件使得大数据的处理更为方便和廉价。即使是在车库中创业的公司也可以用较低的价格租用云服务时间了。对于企业组织来讲，大数据的价值体现在两个方面：分析使用和二次开发。对大数据进行分析能揭示隐藏其中的信息。例如零售业中对门店销售、地理和社会信息的分析能提升对客户的理解。对大数据的二次开发则是那些成功的网络公司的长项。例如Facebook通过结合大量用户信息，定制出高度个性化的用户体验，并创造出一种新的广告模式。这种通过大数据创造出新产品和服务的商业行为并非巧合，谷歌、雅虎、亚马逊和Facebook它们都是大数据时代的创新者。
2 大数据的现实应用
前面第一部分介绍了一些概念上的东西，这里就谈谈大数据在生活上的应用，确实，大数据已经涉足于我们生活的方方面面，我现在就从各方面来介绍它们。首先，对于政府，大数据的应用能
够推动政府财政和监管的透明化，还有就是基于实时交通状况来实现交通的调度并且通过多种数据分析来更好地对城市进行建设。另外，还有一个政府运用大数据的有趣例子早在2006年，Facebook联合创始人，克里斯·休斯就建议扎克伯格在网站上推出相关服务，帮助总统候选人在Facebook上建立个人主页，以便他们进行形象推广。2006年9月，Facebook全面开放，用户数量爆炸式增长，在年底达到1200万。这一过程恰好有利地推升了奥巴马的知名度。此后，在克里斯的辅佐下，奥巴马掀起了一系列的网络活动，在Facebook、MySpace等社交网站上发表公开演讲、推广施政理念，赢得大量网民支持，募集到5亿多美元的竞选经费。最终，"黑人平民"战胜了实力雄厚的对手，成为美国历史上第一位黑人总统，之后，在第二次的选举中更获得连任。此次选举被认为是美国民主的巨大进步，而互联网则提供了前所未有的实施手段，其中尤以Facebook代表的社交网站最为突出，以至于有人戏称之为"Facebook之选"。对于商业领域，应用大数据更好的了解客户以及他们的爱好和行为。企业非常喜欢搜集社交方面的数据、浏览器的日志、分析出文本和传感器的数据，为了更加全面的了解客户。在一般情况下，建立出数据模型进行预测。比如美国的著名零售商Target就是通过大数据的分析，得到有价值的信息，精准得预测到客户在什么时候想要小孩。另外，通过大数据的应用，电信公司可以更好预测出流失的客户，沃尔玛则更加精准的预测哪个产品会大卖，汽车保险行业
会了解客户的需求和驾驶水平。在日常生活中，我们可以说也是生活在大数据之中。我们可以利用穿戴的装备(如智能手表或者智能手环)生成最新的数据，这让我们可以根据我们热量的消耗以及睡眠模式来进行追踪。而且还利用利用大数据分析来寻找属于我们的爱情，大多数时候交友网站就是大数据应用工具来帮助需要的人匹配合适的对象。另外在诸如淘宝天猫京东这些购物的网站，都会有为你推荐的栏目还有各种智能的排序，这些都是这些网站根据你平时所浏览的内容以及平时其他用户的评价进行数据分析以更好地提高用户的体验。而音乐应用方面例如百度云音乐通过歌单，个性化的电台功能，基于大数据的更加精准的算法推出的每日推荐功能，网易云音乐不止让用户听到好听的歌，还降低了用户发现好音乐的成本。更有强大的私人fm，猜用户喜欢的歌曲，这些都是很受听众喜爱的功能。还有就是在医疗领域中，大数据分析应用的计算能力可以让我们能够在几分钟内就可以解码整个DNA。并且让我们可以制定出最新的治疗方案。同时可以更好的去理解和预测疾病。就好像人们戴上智能手表等可以产生的数据一样，大数据同样可以帮助病人对于病情进行更好的治疗。大数据技术目前已经在医院应用监视早产婴儿和患病婴儿的情况，通过记录和分析婴儿的心跳，医生针对婴儿的身体可能会出现不适症状做出预测。这样可以帮助医生更好的救助婴儿。另外还有竞技体育方面，可能你会问，这些足球篮球之类的项目不是靠个人技术身体素质球队技战术团队氛围这些因素说
话吗，说到底还是跟人有关，那还和数据有什么关系，但事实上，大数据确实在竞技体育同样扮演着一个重要的角色，例如在nba 上个时代，中投是一种主要得分手段，而在现在的联盟中，三分已成为许多球队安身立命的手段，这是因为专家们利用多种数据分析出三分球是一种比中投更有效率的得分手段，另外，多种数据分析也显示底角三分往往有更高的效率，所以现在许多球队都会在底角部署一名三分手。还有就是现在联盟中最火热球员史蒂芬库里，他的三分不但准，而且在这个赛季成千次出手中只被盖过一次，据悉他的这种出手姿势是专家经过对联盟中成几百名球员上万个防守动作来研究出来的。所以可以这么说，大数据确实在现实中扮演着一个举足轻重的角色。
3 大数据存在的问题
确实，大数据在我们生活中无处不在，但其同样存在诸多问题：首先，尽管大数据能够非常好地检测相关性，特别是那些用小数据集可能无法测出的微妙相关性，但是它并不会告诉我们哪一种相关性是有意义的。比如，大数据分析可能会揭示从2006年到2011你那美国谋杀案比例与IE浏览器的市场份额是极度相关的，都呈急速下降趋势。但是很难相信这两者之间有什么因果关系。又比如，从1998到2007被诊断出的自闭症患者与有机食物的销售具有相关性(都呈急速上升趋势)，但是这种相关性本身不会告诉我们饮食和自闭症的关系。
第二，大数据可以辅助科学调查，但不可能成功地完全代替。比如，分子生物学家很想从潜在的DNA序列中推断出蛋白质的三维结构，有一些科学家已经在用大数据来解决这个难题。但是没有任何科学家认为你可以完全依靠处理数据来解决这个难题，不论这个数据分析是多么的强有力，你依旧需要基于对物理和生物化学的理解上来处理这些数据。
第三，基于大数据的很多工具很容易造假。
第四，即便大数据的结果没有人为地造假，但是它看上去也不那么有效。比如谷歌预测流感的案例曾经是大数据的典范。2009年，谷歌通过相当大的宣传称它可以通过分析与流感相关的搜索预测流感爆发的趋势，这种准确性和快速甚至超过了疾病控制和预防中心等官方机构。但是几年后，谷歌宣称的流感预测并没有得到好的结果，最近两年，它做的更多地是不准的预测。
第五个需要注意的就是“恶性循环”,这也是因为大量的数据都来自于网络。不论何时，大数据分析的信息源本身就是一种大数据产品，这很可能会导致恶性循环。
最后，大数据在分析那些普通事件很在行，但是在分析罕见事件常失败。比如，用大数据处理文本的程序如搜索引擎和翻译程序，常常依赖于所谓的“三字”：连续三个词的序列(比如“in a row”)。可靠的数据信息可以编制常规的三字模型，正是因为他们常出
现，但是现有的数据并没有多到足够包括人们可能使用的所有“三字”，因为人们在不断创造新语言。
毫无疑问大数据确实是一个有价值的工具，并在某些领域产生了至关重要的影响。比如，几乎近二十年人工智能计算机程序的成功，从谷歌的搜索引擎到IBM的沃森电脑问答系统，都包括了大量数据的处理。但是正是因为它最近如此受欢迎并得到广泛应用，我们需要清晰的看待大数据究竟能做什么和不能做什么。
4 大数据未来的发展趋势与前景展望
虽然大数据目前在国内仍然处于初级阶段，但是商业价值已经显示出来。
未来，数据可能成为最大的交易商品。但数据量大并不能算大数据，大数据的特征是数据量大、数据种类多、非标准化数据的价值最大化。阴齿，数据的价值是通过数据分享、交叉复用后获取最大的数据价值。在我看来，未来大数据将会如基础设施一般，有数据方、管理者、监管者，数据的交叉复用将大数据编程一大产业。
大数据的整体态势和发展趋势，主要体现在几个方面：大数据与学术、大数据与人类大活动，大数据的安全隐私、关键应用、系统处理和整个产业的影响。大数据整体态势上，数据的规模将会
变得更大、数据资源化、数据的价值凸显、数据私有化出现和联盟共享。
大数据的发展也催生了许多新兴的职业，诸如数据分析师、数据科学家、数据工程师，有非常丰富的数据经验的人才会成为稀缺人才。随着大数据的发展，数据共享联盟将逐渐壮大成为产业的核心一环。随着大数据的共享越来越大，隐私问题也随之而来，比如手机每天产生的通话、位置等等。但这给带来了便利的同时也给带来了个人隐私的问题。数据资源化，大数据在国家和企业和社会层面成为了重要的战略资源，成为新的战略制高点和抢购的新焦点。
随着社会的不断发展，大数据对IT技术构架的挑战，大数据的生态环境问题，大数据的应用及产业链将日益突出。
参考文献：
[1] 李建义. 数据库原理及开发. 北京：中国水利水电出版
社，2005
[2] 维克托·迈尔·舍恩伯格. 大数据时代. 浙江：浙江人民出版社2012
[3] 艾伯特-拉斯洛·巴拉巴西.爆发. 北京：中国人民大学出版社2012
[4] 大数据时代降临．半月谈网．2012-09-22
[5] IT部门如何应对大数据时代？．CIO时代网．2012-02-27
[6]“大数据”时代来临决策不能只凭经验．东方早报网．2012-04-11
[7]“大数据时代”来临．北京晚报网．2012-06-15
[8] 大数据时代来临：国内IT企业布局已然落后．新浪网．2012-06-01
大数据分析研究现状、问题与对策
大数据分析研究现状、问题与对策 随着大数据不断的持续发展，全世界越来越注重大数据的发展，大数据领域当中最为重视的问题在于如何进行对大数据科学有效的分析。经过研究发现，目前在进行大数据的研究当中还有一些问题没有得到解决，这些问题的存在会影响到大数据今后的发展。由此，下文主要对大数据的现状进行了阐述，针对其中存在的问题进行了深入的分析，并且提出了相应的解决对策，希望能够给予同行业工作人员相应的参考价值。 标签：大数据；分析；现状；问题；对策 前言：随着IT技术迅速的发展，各个领域的数据量都在持续的增加，只用人工的智能無法将大量的数据进行处理和分析。在2012年，美国的奥巴马政府在白宫网上将《大数据研究和发展倡议》公开发布，其目的是为了加强从大量复杂数据集合而获取的知识和见解的能力。这个倡议的发布，使得对大数据的研究在全球范围内产生了热议。由此，在大数据背景之下，我们要将大数据的采集、存储以及分析的问题进行探究。 1、大数据分析研究的现状 1.1研究大数据的方法 在进行大数据的分析时，要选择有效的分析方式进行大数据的分析，这也是其中最为重要的研究内容。大数据的分析方法会影响到大数据最终的分析结果，并且针对不同的分析方法要对不同类型的大数据进行分析。复杂数据的识别技术和传统文本识别技术以及关系数据识别技术都是不同的，这就导致在进行分析大数据时有很大的难度。通常复杂数据所使用的技术是大都是XML数据、图数据以及网络上的复杂实体识别技术等。从大数据系统的构架来看，在进行大数据的分析时，主要是应用了九层构架的方式来进行的分析，但还要对其应用进行深入的探究。 1.2大数据分析驱动科学萌芽 大数据技术会严重的影响到信息科学技术，大数据技术能够转变很多产业的发展方式，例如，在社会媒体中，大数据能够将传统媒体的受众分析和传播的方式进行更改。此外，在大数据的背景之下，也将客户的生命周期的理论进行了改变。并且大数据在进行实际的发展阶段，也给其他行业的发展带来了影响，由此，在这样的状态下，大数据在发展的同时要和各个行业共同发展，要将技术进行不断地更新，促使双方发展的更好。 2大数据面临的问题 2.1存储问题
年大数据行业现状及发展趋势分析24
中国大数据市场现状调研与发展趋势分析报告 （2015-2020年） 报告编号：1579399
行业市场研究属于企业战略研究范畴，作为当前应用最为广泛的咨询服务，其研究成果以报告形式呈现，通常包含以下内容： 一份专业的行业研究报告，注重指导企业或投资者了解该行业整体发展态势及经济运行状况，旨在为企业或投资者提供方向性的思路和参考。 一份有价值的行业研究报告，可以完成对行业系统、完整的调研分析工作，使决策者在阅读完行业研究报告后，能够清楚地了解该行业市场现状和发展前景趋势，确保了决策方向的正确性和科学性。 中国产业调研网https://www.360docs.net/doc/ea14811139.html,基于多年来对客户需求的深入了解，全面系统地研究了该行业市场现状及发展前景，注重信息的时效性，从而更好地把握市场变化和行业发展趋势。
一、基本信息 报告名称：中国大数据市场现状调研与发展趋势分析报告（2015-2020年） 报告编号：1579399 ←咨询时，请说明此编号。 优惠价：￥6750 元可开具增值税专用发票 网上阅读：https://www.360docs.net/doc/ea14811139.html,/R_QiTaHangYe/99/DaShuJuDeXianZhuangHeFaZhanQuShi.html 温馨提示：如需英文、日文等其他语言版本，请与我们联系。 二、内容介绍 产业现状 大数据是继云计算、物联网之后IT产业又一次颠覆性的技术变革。云计算主要为数据资产提供了保管、访问的场所和渠道，而数据才是真正有价值的资产。企业内部的经营交易信息、物联网世界中的商品物流信息，互联网世界中的人与人交互信息、位置信息等，其数量将远远超越现有企业IT架构和基础设施的承载能力，实时性要求也将大大超越现有的计算能力。如何盘活这些数据资产，使其为国家治理、企业决策乃至个人生活服务，是大数据的核心议题，也是云计算内在的灵魂和必然的升级方向。大数据时代网民和消费者的界限正在消弭，企业的疆界变得模糊，数据成为核心的资产，并将深刻影响企业的业务模式，甚至重构其文化和组织。因此，大数据对国家治理模式、对企业的决策、组织和业务流程、对个人生活方式都将产生巨大的影响。如果不能利用大数据更加贴近消费者、深刻理解需求、高效分析信息并作出预判，所有传统的产品公司都只能沦为新型用户平台级公司的附庸，其衰落不是管理能扭转的。如今的数据已经成为一种重要的战略资产，它就像新时代的石油一样，极富开采价值。如果能够看清大数据的价值并且迅速行动起来，那么在未来的商业竞争中占据会占得先机。 市场容量 继物联网、移动互联网、云计算之后，大数据再次挑动整个IT产业的神经。这场发端于互联网企业的草根企业技术让我们可以以全新的视角重新审视数据资产，更让潜藏在这些数据中的商业价值得到前所未有的发挥，大数据让“智能之门”从来没有像现在这样距离我们之近。现阶段企业要积极引入大数据技术，还要关注已经部署到位的商业智能如何能与大数据进行结合，在新的时代我们该如何利用它来为企业创造最大的价值，最终帮助企业推开智慧之门。众所周知，依托价格相对较低的硬件和开源软件构成的组合，大数据大幅降低了普通企业获得“智慧”的门槛。而在过去，商业智能才是企业获得“智慧”的主要技术手段，一个典型的商业智能需要基于传统数据仓库实现，需要专用硬件和专业ETL工具，项目投资不菲而且建设周期长，这就让大量中小企业对商业智能望而却步。正是基于此，当同样能给企业带来“智慧”的大数据一出现，就受到企业的普遍欢迎。全
国内外大数据产业发展现状与趋势研究
龙源期刊网 https://www.360docs.net/doc/ea14811139.html, 国内外大数据产业发展现状与趋势研究 作者：方申国谢楠 来源：《信息化建设》2017年第06期 大数据作为新财富，价值堪比石油。 进入21世纪以来，随着物联网、电子商务、社会化网络的快速发展，数据体量迎来了爆炸式的增长，大数据正在成为世界上最重要的土壤和基础。根据IDC（互联网数据中心）预测，2020年的数据增长量将是2010年的44倍，达到35ZB。世界经济论坛报告称，“大数据为新财富，价值堪比石油”。随着计算机及其存储设备、互联网、云计算等技术的发展，大数据应用领域随之不断丰富。大数据产业将依赖快速聚集的社会资源，在数据和应用驱动的创新下，不断丰富商业模式，构建出多层多样的市场格局，成为引领信息技术产业发展的核心引擎、推动社会进步的重要力量。 大数据产业发展现状 全球大数据产业发展概况 目前，大数据以爆炸式的发展速度迅速蔓延至各行各业。随着各国抢抓战略布局，不断加大扶持力度，全球大数据市场规模保持了高速增长态势。据IDC预测，全球大数据市场规模 年增长率达40%，在2017年将达到530亿美元。美国奥巴马政府于2012年3月宣布投资2亿美元启动“大数据研究和发展计划”，将“大数据研究”上升为国家意志；2015年发布“大数据研究和发展计划”，深入推动大数据技术研发，同时还鼓励产业、大学和研究机构、非盈利机构与政府一起努力，共享大数据提供的机遇。目前，美国大数据产业增长率已超过71%，大数据在美国健康医疗、公共管理、零售业、制造业等领域产生了巨大的经济效益。英国政府自2013年开始就注重对大数据技术的研发投入，2015年投入7300万英镑用于55个政府的大数据应用项目，投资兴办大数据研究中心，通过大数据技术在公开平台上发布了各层级数据资源，直接或间接为英国增加了近490亿至660亿英镑的收入，并预测到2017年，大数据技术可以为英国提供5.8万个新的工作岗位，或将带来2160亿英镑的经济增长。法国2011年推出了公开的数据平台 date.gouv.fr，以便于公民自由查询和下载公共数据；2013年相继发布《数字化路线图》、《法国政府大数据五项支持计划》等，通过为大数据设立原始扶持资金，推动交通、医疗卫生等纵向行业设立大数据旗舰项目，为大数据应用建立良好的生态环境，并积极建设大数据初创企业孵化器。日本在《日本再兴战略》中提出开放数据，将实施数据开放、大数据技术开发与运用作为2013-2020年的重要国家战略之一，积极推动日本政务大数据开放及产业大数据的发展，零售业、道路交通基建、互联网及电信业等行业的大数据应用取得显著效果。韩国政府高度重视大数据发展，科学、通信和未来规划部与国家信息社会局（NIA）共建大数据中心，大力推动全国大数据产业发展。根据《2015韩国数据行业白皮书》统计显示， 数据服务市场规模占韩国总行业市场规模的47%，位列第一；数据库构建服务以41.8%的占有
大数据行业应用现状和未来分析
当前，大数据”的浪潮汹涌而来，为IT产业带来了新的机遇、新的变革和新的发展。欢迎走进大数据时代!为准确把握产业发展契机，分享大数据建设经验及热点应用，本次研讨会吸引了相关主管部门领导、国内著名专家学者、产业界高层齐聚一堂，共同探讨有关大数据的热点话题。研讨会上来自北京时代计世咨讯有限公司首席分析师丁震就大数据行业应用现状和未来应用热点为主题作了精 彩的分享。 大数据市场现状 第一、中国大数据市场分析 从去年开始对11个行业，1000用户做了大数据相关使用调研，通过调研结果发现，大数据在中国整个市场中，市场发展前景是非常广阔的。特别从2013年到2016年中，每一年大数据市场发展增长率都会在百分之百以上，这是综合考虑了各种各样的影响因素，考虑了中国整体经济发展趋紧的局势包括欧债危机对中国经济的影响逐渐显现的趋势，从信息化角度、政府、金融、电信主要传统行业对信息化投资趋紧的趋势，综合这些趋势，我们认为大数据市场未来发展是高速增长的市场，特别在2013年的时候，随着行业解决方案的数量的增多，以及在行业用户对于大数据的需求的明确。 我们认为2013年将会是发展的顶点，越来越多的行业对大数据应用持比较乐观的态度，大数据或者相关数据分析解决方案的使用在互联网行业更多一些比如百度、淘宝等。 现在看到的更多一些，特别在近两年以来，像电信或者金融、能源这些传统行业，开始越来越多的用户在初步尝试或者在考虑怎么样使用类似大数据解决方案，来提升自己的业务水平。比如电信行业，了解到像中国电信在全国上海、四川、广东建了三个大的资源池，支撑了中国电信大的业务系统。同时他们采取了大数据分析方案分析他们的数据。 像能源行业，电力的用户，我们也注意到有一些电力方面的用户，他们也在考虑尝试能不能使用基于大数据解决方案去分析一些比如说像用电企业，用电行为，他们的使用行为，而提升他们自身对客户的服务能力。 总之，在大数据背景之下，看到越来越多行业用户，用来使用和尝试行业的解决方案。 第二、企业大数据应用需求分析 目前企业数据的现状，非结构化数据已经成为主流，结构化数据放在最上面。企业IT架构当中，结构化数据和非结构化数据占据了越来越重要的位置。 在大数据背景之下，企业对于大数据技术特点和用户需求和之前那些用户对数据处理得需求，到底有什么不同。在他们看来，从表面来看，企业对于数据分析需求始终都存在的，跟之前和现在没有太大的区别，大数据它不是理念上的革命或者是技术上的革命，它是一种革新。这种革新标志着企业对于数据应用的需求上升到一个新的发展阶段。在这个阶段中，企业不仅仅要求处理数据越来越快，这不是用户最需求的，企业不仅仅需要用户处理数据的类型会越来越多，以前只数据结构化数据就好了，现在既要数据结构化数据，也要处理非结构化和半结构数据，这样的解决方案，用户也需要，但是也不是最重要的。最重要，企业如何把这些数据上升为战略资源，或者企业如何利用这些的数据提升他们的竞争力，成为市场竞争最有力的武器。 建筑行业管理软件CEO认为，他们目前有两样数据，一是各省市建筑原材料的架构，可以做到每天更新，二是他们手里掌握着从业者大概几十万从业者的信息，他们的问题不单单把这些建筑行业原材料的信息打包卖给用户，他们还在想，我们怎么样去能够运用不同的建筑原材料的数据，这种价格的数据，去为不同需求的，不同地区，不同层级的需求用户，提供有针对性，比如说施工预算的解决方案。另外，他们还需要如何从几十万个行业用户的用户信息里面，怎么来发掘出新的业务模式，创造一些新的商业发展机会，以及怎么样发掘新的潜在用户。 目前来讲，对他们困扰最大的，我现在缺少一种全方位的方法或者是一种数据分析的手段来去支撑我的需求，这个例子说明，目前来讲中国对于数据分析的方法还是非常缺乏，目前来讲，我们觉得
大数据研究现状综述概要
大数据研究综述 网络大数据是指“人、机、物”三元世界在网络空间(Cyberspace中交互、融合所产生并在互联网上可获得的大数据.网络大数据的规模和复杂度的增长超出了硬件能力增长的摩尔定律,给现有的IT架构以及机器处理和计算能力带来了极大挑战.同时,也为人们深度挖掘和充分利用网络大数据的大价值带来了巨大机遇.因此,迫切需要探讨大数据的科学问题,发现网络大数据的共性规律,研究网络大数据定性、定量分析的基础理论与基本方法. 文中分析了网络大数据的复杂性、不确定性和涌现性,总结了网络空间感知与数据表示、网络大数据存储与管理体系、网络大数据挖掘和社会计算以及网络数据平台系统与应用等方面的主要问题与研究现状,并对大数据科学、数据计算需要的新模式与新范式、新型的IT基础架构和数据的安全与隐私等方面的发展趋势进行了展望. 网络大数据的深挖掘、大规模利用是新兴产业界的立足点.即便针对大数据的研究目前还没有建立一套完整的理论体系,也缺少高效快速的处理、分析与挖掘的算法与范式,但大数据的应用前景毋庸置疑,因为大数据从根本上来说就是来源于应用的问题。网络大数据可为世界经济创造巨大价值,提高企业和公共部门的生产率和竞争力,并为消费者创造巨大的经济利益。 大数据近期发展: 1.网络空间感知与数据表示 2.网络大数据存储与管理体系 3.网络数据挖掘 4.社会计算以及网络数据平台系统与应用 以上四点见:网络大数据:现状与展望第3,4,5,6节作者:王元卓2013年
5.在大数据处理中,应用云计算技术,促进大数据处理系统的功能多样化。见: 讨论云计算技术下的大数据处理系统任量2014年
新职业——大数据工程技术人员就业景气现状分析报告
新职业——大数据工程技术人员就业景气现状分析报告 一、产生背景 大数据产业指以数据生产、采集、存储、加工、分析、服务为主的相关经济活动，包括数据资源建设，大数据软硬件产品的开发、销售和租赁活动，以及相关信息技术服务。当前，智慧医疗、智慧城市、精准扶贫以及其他相关高新技术产业都离不开大数据的支撑，大数据技术在我国得到了较为广泛的应用。 （一）国家实施大数据战略，构建数字中国 大数据被认为是“未来的新石油”，也被比喻为21世纪的“钻石矿”，在社会生产、流通、分配、消费活动以及经济运行机制等方面发挥着重要的作用。2014年大数据首次写入政府工作报告；2015年8月国务院颁布《促进大数据发展行动纲要》，大数据正式上升为国家发展战略。随后国家出台了一系列大数据政策，覆盖生态环境大数据、农业大数据、水利大数据、城市大数据、医疗大数据、交通旅游服务大数据等多层次下游应用市场，加快实施国家大数据战略。 同时，伴随大数据政策出台，各地政府相继成立了大数据管理机构，促进大数据产业发展，全国22个省区，200多个地市相继成立大数据管理部门。 图1 各省大数据管理机构设置数量（单位：个） （二）大数据行业发展迅猛，产业规模巨大 2016年，工信部印发了《大数据产业发展规划（2016-2020年）》，全国大数据产业建设掀起热潮，目前已形成八大大数据综合试验区，建成100多个大数据产业园。伴随新一代信息技术、智慧城市、数字中国等发展战略逐步推动社会经济数字化转型，大数据的产业支撑得到强化，应用范围加速拓展，产业规模实现快速增长。 通过对1572家企业的调查结果显示，企业对数据分析的重视程度进一步提高，65.2%的企业已成立数据分析部门，24.4%的企业正在计划成立相关数据部门。 近四成的企业已经应用了大数据。在接受调查的企业中，已经应用大数据的企业有623家，占比为39.6%，垂直行业中如金融等领域大数据应用增加趋势较为明显。此外，24.3%的企业表示未来一年内将应用大数据。 对数据分析方式选择情况的调查显示，40.3%的企业采取实时处理动态数据并提供分析结果，占比最高；其次是分析历史数据和通过机器学习进行辅助决策，占比分别为32.3%和25.5%。不久的将来，随着人工智能技术的发展和应用普及，选择机器学习进行辅助决策的企业占比有望进一步提升。 2019年5月6日中国信息通信研究院发布《中国大数据与实体经济融合发展白皮书（2019年）》，书中综合国内外环境、新兴技术发展等多种因素，测算2018年我国大数据产业增速约
大数据产业的发展现状及发展举措
大数据产业的发展现状及发展举措 摘要：数据是信息化时代的“石油”。随着大数据的 兴起，与大数据技术相关的产业已成为抢占全球科技发展战略的制高点。本文在分析大数据产业分类及特点的基础上，重点探讨了我国大数据产业的发展现状和发展举措，以期为我国大数据产业发展探索更明晰的思路。 关键词：大数据；大数据产业；发展现状；发展举措 随着大数据的兴起，与大数据技术相关的产业已成为抢占全球科技发展战略的制高点。大数据产业是以互联网、物联网为基础建立起来的一种信息服务业，适时发展大数据产业不仅有助于提高信息资源的利用率，促进国家治理模式和企业决策流程重塑，而且还有利于进一步加强产业创新能力，促进我国创新型国家的早日建成。 一、大数据产业分类及特点 （一）大数据产业分类 根据不同的角度，大数据产业有不同的划分方法。一是二分法。根据占有大数据情况不同，大数据产业可以分为自身生产数据或获取数据的产业和为大数据产业生产基础设 施和技术支持的大数据衍生产业；二是三分法。根据数据的营销模式不同，大数据产业可以分为数据产品销售，为用户
提供个性化服务的服务类产业、整合数据为用户提供整套服务的产业以及通过专业化分析为用户提供产品销售和广告 推介的产业；三是五分法。根据价值模式不同，大数据产业可以分为五种模式：内生型、外生型、寄生型、产品型以及云计算服务型。 （二）大数据产业特点 一是产业服务个性化。据相关调查显示，利用数据进行分析的企业不仅在销售额上比未运用数据分析的企业增长 百分之二十，而且在企业增长率上表现得更为突出，高达百分之五十。由此可见，种类广泛、数量庞大的大数据不仅能够挖掘用户需求，开展个性化定制，创造巨大的价值，而且还能满足高端客户的需求，提升企业生产率，获得更高的经济受益。换句话说，大数据产业已成为企业实现个性化发展的重要工具。二是产业决策智能化。随着大数据产业的发展，大数据产业不仅能促进劳动与资本一体化，提升企业自身的决策智能化发展水平，而且还能推动生产组织去中心化，为行业决策智能化提供平台。过去，局限于信息化技术发展水平，企业只关注数据的存储和传输，对数据的获取、分析和处理还不足企业存储和传输信息的百分之五，也就是说，大数据作为企业发展的重大战略仍未得到充分的重视，其在推动企业决策智能化和科学化发展过程中未能发挥领头羊的 作用。三是产业技术的高创新性。在大数据时代，数据已渗
浅谈大数据发展现状及未来展望
浅谈大数据发展现状及未来展望 中国特色社会主义进入新时代，实现中华民族伟大复兴的中国梦开启新征程。党中央决定实施国家大数据战略，吹响了加快发展数字经济、建设数字中国的号角。国家领导人在十九届中共中央政治局第二次集体学习时的重要讲话中指出：“大数据是信息化发展的新阶段”，并做出了“推动大数据技术产业创新发展、构建以数据为关键要素的数字经济、运用大数据提升国家治理现代化水平、运用大数据促进保障和改善民生、切实保障国家数据安全”的战略部署，为我国构筑大数据时代国家综合竞争新优势指明了方向！ 今天，我拟回顾大数据的发端、发展和现状，研判大数据的未来趋势，简述我国大数据发展的态势，并汇报我对信息化新阶段和数字经济的认识，以及对我国发展大数据的若干思考和建议。 一、大数据的发端与发展 从文明之初的“结绳记事”，到文字发明后的“文以载道”，再到近现代科学的“数据建模”，数据一直伴随着人类社会的发展变迁，承载了人类基于数据和信息认识世界的努力和取得的巨大进步。然而，直到以电子计算机为代表的现代信息技术出现后，为数据处理提供了自动的方法和手段，人类掌握数据、处理数据的能力才实现了质的跃升。信息技术及其在经济社会发展方方面面的应用（即信息化），推动数据（信息）成为继物质、能源之后的又一种重要战略资源。 “大数据”作为一种概念和思潮由计算领域发端，之后逐渐延伸到科学和商业领域。大多数学者认为，“大数据”这一概念最早公开出现于1998年，美国高性能计算公司SGI的首席科学家约翰·马西（John Mashey）在一个国际会议报告中指出：随着数据量的快速增长，必将出现数据难理解、难获取、难处理和难组织等四个难题，并用“Big Data（大数据）”来描述这一挑战，在计算领域引发思考。2007年，数据库领域的先驱人物吉姆·格
大数据的应用现状与展望
自然辩证法小论文 大数据的应用现状与展 望 指导老师：张立 组长、主讲：刘开耀21428164 PPT制作：刘玉婷21428171 论文撰写：雷颖颖陈瞳 资料收集：毕晨光黄一锋 邵炳姜灵轩 董丽华周晴 黄河羚婕JX14014 2015/4/18
大数据的应用现状与展望 摘要：大数据具有规模大、种类多、生成速度快、价值巨大但密度低的特点。大数据应用就是利用数据分析的方法，从大数据中挖掘有效信息，为用户提供辅助决策，实现大数据价值的过程。本文主要介绍了大数据的分析方法、分析模式以及常用的分析工具，将大数据应用归纳为6个关键领域：结构化数据分析、文本分析、Web分析、多媒体分析、社交网络分析和移动分析，并列举了若干大数据的典型应用。最后从基础理论、关键技术、应用实践以及数据安全等4个方面总结了大数据的研究现状，并对大数据应用未来的研究进行展望。关键词：大数据数据分析数据存储4V 在过去的20年中，各个领域都出现了大规模的数据增长，包括医疗保健和科学传感器用户生成数据、互联网和金融公司、供应链系统等。国际数据公司IDC报告[1]称，2011年全球被创建和复制的数据总量为1.8ZB（1ZB≈1021ZB），在短短5年间增长了近9倍，而且预计这一数字将每两年至少翻一番。大数据这一术语正是产生在全球数据爆炸增长的背景下用来形容庞大的数据集合。与传统的数据集合相比，大数据通常包含大量的非结构化数据，且大数据需要更多的实时分析。此外，大数据还为挖掘隐藏的价值带来了新的机遇，同时给我们带来了新的挑战，即如何有效地组织管理这些数据。 1 大数据的定义 目前，虽然大数据的重要性得到了大家的一致认同，但是关于大数据的定义却众说纷纭。大数据是一个抽象的概念，除去数据量庞大，大数据还有一些其他的特征，这些特征决定了大数据与“海量数据”和“非常大的数据”这些概念之间的不同。一般意义上，大数据是指无法在有限时间内用传统IT技术和软硬件工具对其进行感知、获取、管理、处理和服务的数据集合。科技企业、研究学者、数据分析师和技术顾问们，由于各自的关注点不同，对于大数据有着不同的定义。通过以下定义，或许可以帮助我们更好地理解大数据在社会、经济和技术等方而的深刻内涵。 2010年Apache Hadoop组织将大数据定义为，“普通的计算机软件无法在可接受的时间范围内捕捉、管理、处理的规模庞大的数据集”。在此定义的基础上，2011年5月，全球著名咨询机构麦肯锡公司发布了名为“大数据：下一个创新、竞争和生产力的前沿”的报
我国大数据产业发展现状
我国大数据产业发展现状 一、产业总体情况 （一）市场规模快速增长，供给结构初步形成 市场规模快速增长。十二五以来，我国大数据产业从无到有，全国各地发展大数据积极性较高，行业应用得到快速推广，市场规模增速明显。易观国际数据显示，2011-2014年，我国大数据市场规模分别为37.4亿元、47.3亿元、59亿元和75.7亿元，年平均复合增长约为27%。易观国际同时预测，2015、2016年我国大数据市场规模将保持约30%的增长速度，在十二五末市场规模接近100亿元。 图1 2011-2016年我国大数据市场规模 37.447.3 5975.798.9129.326.7%24.7%28.4%30.7%30.7%0%5%10%15%20%25%30%35%0 20 40 60 80 100 120 140 201120122013 201420152016规模（亿元）增速 数据来源：易观国际数据，2015.1 我国已经初步形成了由互联网企业（以百度、阿里、腾讯为代表）、传统IT 厂商（以华为、联想、浪潮、曙光、用友等为代表）、大数据企业（以亿赞普、拓尔思、海量数据、九次方等为代表）共同组成的市场供给关系，但各环节发展水平不均衡，在
大数据产业链高端环节缺少成熟的产品和服务，面向海量数据的存储和计算服务较多，而前端环节数据采集和预处理，后端环节数据挖掘分析和可视化，及大数据整体解决方案等产品和服务较为匮乏。 （二）技术创新基础初具，应用驱动创新特征明显 技术创新基础初具。十二五以来，工业和信息化部、国家发展与改革委员会、科技部等部门高度重视大数据的发展，利用“核高基”科技重大专项、电子发展基金等进行了前沿部署，针对互联网和大数据发展的迫切需求，安排了非结构化数据管理研究、大型通用数据库系统研究等课题，对非结构化数据管理、大型数据管理的核心技术进行集中攻关。我国企业已经在大数据领域开始布局，不仅加强物理存储设备与处理能力的建设，也加快技术产品的研发与人才队伍的培养。 应用驱动创新特征明显。十二五以来，大数据领域由技术创新转驱动向应用创新驱动转变的趋势开始显现，很多技术和产品是在应用需求的引导下完成的创新和突破。在Hadoop、Spark、Storm等开源技术的影响下，大数据的技术壁垒越来越低，使得开展大数据业务的企业无需担忧技术实现问题，而是将更多的精力和资源投入到对需求的挖掘、分析和满足上。面对各行业的特性需求和不同用户的个性化需求，企业不断地创新出新技术、新产品、新业态和新模式。 （三）投融资活动初步兴起，行业应用成为热点方向 投融资活动初步兴起。十二五期间，我国大数据领域融资并
2019国内外大数据行业现状
当前，许多国家的政府和国际组织都认识到了大数据的重要作用，纷纷将开发利用大数据作为夺取新一轮竞争制高点的重要抓手，实施大数据战略，对大数据产业发展有着高度的热情。 美国政府将大数据视为强化美国竞争力的关键因素之一，把大数据研究和生产计划提高到国家战略层面。在美国的先进制药行业，药物开发领域的最新前沿技术是机器学习，即算法利用数据和经验教会自己辨别哪种化合物同哪个靶点相结合，并且发现对人眼来说不可见的模式。根据前期计划，美国希望利用大数据技术实现在多个领域的突破，包括科研教学、环境保护、工程技术、国土安全、生物医药等。 其中具体的研发计划涉及了美国国家科学基金会、国家卫生研究院、国防部、能源部、国防部高级研究局、地质勘探局等6 个联邦部门和机构。 目前，欧盟在大数据方面的活动主要涉及四方面内容：研究数据价值链战略因素；资助“大数据”和“开放数据”领域的研究和创新活动；实施开放数据政策；促进公共资助科研实验成果和数据的使用及再利用。 英国在2017 年议会期满前，开放有关交通运输、天气和健康方面的核心公共数据库，并在五年内投资1000 万英镑建立世界上首个“开放数据研究所”；政府将与出版行业等共同尽早实现对得到公共资助产生的科研成果的免费访问，英国皇家学会也在考虑如何改进科研数据在研究团体及其他用户间的共享和披露；英国研究理事会将投资200 万英镑建立一个公众可通过网络检索的“科研门户”。 法国政府为促进大数据领域的发展，将以培养新兴企业、软件制造商、工程师、信息系统设计师等为目标，开展一系列的投资计划。法国政府在其发布的《数字化路线图》中表示，将大力支持“大数据”在内的战略性高新技术，法国软件编辑联盟曾号召政府部门和私人企业共同合作，投入3 亿欧元资金用于推动大数据领域的发展。法国生产振兴部部长ArnaudMontebourg、数字经济部副部长FleurPellerin 和投资委员LouisGallois 在第二届巴黎大数据大会结束后的第二天共同宣布了将投入1150 万欧元用于支持7 个未来投资项目。这足以证明法国政府对于大数据领域发展的重视。法国政府投资这些项目的目的在于“通过发展创新性解决方案，并将其用于实践，来促进法国在大数据领域的发展”。众所周知，法国在数学和统计学领域具有独一无二的优势。 日本为了提高信息通信领域的国际竞争力、培育新产业，同时应用信息通信技术应对抗灾救灾和核电站事故等社会性问题。2013 年6 月，安倍内阁正式公布了新IT 战略——“创建
大数据的国内外研究现状与发展动态分析报告
大数据的国内外研究现状及发展动态分析大数据的概念 产生的背景与意义 上世纪60年代到80年代早期，企业在大型机上部署财务、银行等关键应用系统，存储介质包括磁盘、磁带、光盘等。尽管当时人们称其为大数据，但以今日的数据量来看，这些数据无疑是非常有限的。随着PC的出现和应用增多，企业内部出现了很多以公文档为主要形式的数据，包括Word、Excel文档，以及后来出现的图片、图像、影像和音频等。此时企业内部生产数据的已不仅是企业的财务人员，还包括大量的办公人员，这极大地促进了数据量的增长。互联网的兴起则促成了数据量的第三次大规模增长，在互联网的时代，几乎全民都在制造数据。而与此同时，数据的形式也极其丰富，既有社交网络、多媒体等应用所主动产生的数据，也有搜索引擎、网页浏览等被动行为过程中被记录、搜集的数据。时至今日，随着移动互联网、物联网、云计算应用的进一步丰富，数据已呈指数级的增长，企业所处理的数据已经达到PB级，而全球每年所产生的数据量更是到了惊人的ZB级。在数据的这种爆炸式增长的背景下，“大数据”的概念逐渐在科技界、学术界、产业界引起热议。在大数据时代，我们分析的数据因为“大”，摆脱了传统对随机采样的依赖，而是面对全体数据；因为所有信息都是“数”，可以不再纠结具体数据的精确度，而是坦然面对信息的混杂；信息之“大”之“杂”，让我们分析的“据”也由传统的因果关系变为相关关系。 大数据热潮的掀起让中国期待“弯道超越”的机会，创造中国IT企业从在红海领域苦苦挣扎转向在蓝海领域奋起直追的战略机遇。传统IT行业对于底层设备、基础技术的要求非常高，企业在起点落后的情况下始终疲于追赶。每当企业在耗费大量人力、物力、财力取得技术突破时，IT革命早已将核心设备或元件推进至下一阶段。这种一步落后、处处受制于人的状态在大数据时代有望得到改变。大数据对于硬件基础设施的要求相对较低，不会受困于基础设备核心元件的相对落后。与在传统数据库操作层面的技术差距相比，大数据分析应用的中外技术差距要小得多。而且，美国等传统IT强国的大数据战略也都处于摸着石头过河的试错阶段。中国市场的规模之大也为这一产业发展提供了大空间、大平台。大数据对于中国企业不仅仅是信息技术的更新，更是企业发展战略的变革。随着对大数据的获取、处理、管理等各个角度研究的开展，企业逐渐认识数据已经逐渐演变成“数据资产”。任何硬件、软件及服务都会随着技术发展和需求变化逐渐被淘汰，只有数据才具有长期可用性，值得积累。数据是企业的核心资产，可以是也应该是独立于软硬件系统及应用需求而存在的。大数据是信息技术演化的最新产物，确立了数据这一信息技术元素的独立地位。正因为数据不再是软硬件及应用的附属产物，才有了今天爆炸式的数据增长，从而奠定了大数据的基础。
大数据的应用现状及展望
大数据的应用现状及展望 摘要：互联网时代下，大数据为管理带来的新的发展方向，对人员改革、决策 质量提升、服务效率改善等产生显著的影响。然而大数据在当前技术发展中存在 诸多问题，因此笔者在明晰大数据技术现状基础上，结合问题对其展开分析，旨 在有效提升大数据技术的应用水平。 关键词：大数据；应用现状；展望 Status and Prospect of big data applications Shan Li-lin (Information Center of Fushun Financial Bureau , Fushun 113006,China) Abstract:In the Internet era, big data has become a new development direction brought by management, which has a significant impact on personnel reform, decision-making quality improvement and service efficiency improvement. However, there are many problems in the current technology development of big data. Therefore, based on the clarity of the current situation of big data technology, the author conducts an analysis of big data technology in combination with problems, aiming to effectively improve the application level of big data technology. Keywords: big data; application status; prospect 引言 大数据战略已经成为当前我国的发展战略，对我国经济发展及科技进步将产 生深远的影响。尤其是近些年来，随着信息化高速发展及社会转型的不断提升， 大数据与企事业单位、政府行政机关的管理不断融合，将成为互联网时代下分析 的核心支撑！ 1 大数据内涵 大数据，又称为海量数据，是指在数据的数量体积达到一种特别庞大状态， 此时，一般的数据管理工具难以在规定时间内对其提取有效信息、整合类似资料、分析类比问题并且把它转化成对企业有用的信息。这些难以在规定的有效时间内 进行识别、保存和应用的大量数据的集合，需要一种全新的解决方法才可以将其 转化为企业所需要的决策领导力、发现问题和提前预知问题的能力、具有更加清 晰且有条理处理问题的能力。 大数据分为三种类型，包括结构化数据、半结构化数据和非结构化数据，其 中非结构化数据越来越成为大数据的主要组成部分。大数据需要特殊的技术，以 有效地处理海量且结构复杂的数据。与之相关的核心技术主要包括数据挖掘、云 计算平台、MPP数据库、分布式数据库、可扩展的存储系统、分布式文件系统等。 对大数据进行分析往往需要大量的计算机所提供的计算能力，数量少则数十台，多则数千台。随着云时代的来临，将大数据与云计算相结合，利用云计算技 术可以用低廉的成本获得强大的运算能力，使大数据分析的门槛降低。在大数据、云计算与数据挖掘等技术不断发展的背景下，很多过去无法收集或者收集后无法 分析的数据被充分地利用起来，帮助各行各业进行改革与创新，为人类的进步与 发展发挥着巨大的作用[1]。 大数据是一种规模大到在获取、存储、管理、分析方面均远远超过了传统类 型的数据库软件工具能力范围的数据集合，它具有海量的数据规模、快速的数据 流转、多样的数据类型以及价值密度低四大特征，而且实时性强、数据所蕴藏的
贵州省智慧城市大数据产业现状及规模分析
贵州省智慧城市大数据产业现状及规模分析 智慧城市大数据产业发展现状 贵阳发展大数据产业为建设“智慧城市”提供了极大的便利。贵阳建立免费WiFi全覆盖系统，采集大量市民行为数据、企业数据、社交平台数据和感知设备数据等；以民生数据开放为切入点，全面推动政府数据开放；围绕智慧城市公共服务的发展需求，深度挖掘数据的潜在价值，“数据铁笼”的成功实践等也充分证明并发挥了“大数据改善民生”的作用。 大数据是智慧城市的核心资源，加快大数据的应用，将会使智慧城市建设的各个领域实现快速化，从而发挥重要的技术支撑作用。贵阳要做智慧城市，不仅仅是要抓好大数据的基础设施，还要注重引进高层次的技术人才，最重要的是要抓好整个市场积累下来或者是正在产生的大量数据。 中投顾问发布的《2016-2020年贵州省大数据产业深度调研及投资前景预测报告》指出智慧城市是城镇化进程中的下一个阶段，大数据作为建设智慧城市的重要信息技术手段，是城市信息化的新高度，也是现代城市发展的愿景，将会对贵阳的发展产生强大的支撑作用。智慧城市在产生大数据的同时，大数据也支撑着智慧城市的建设和发展，贵阳地理环境优越，适合做好大数据产业，有利于将其打造成多样化的智慧绿色城市、宜居城市、幸福城市。 2015年获“中国领军智慧城市”的分别是：北京、西安、杭州、成都、银川、贵阳、上海、苏州、无锡、广州、秦皇岛、福州、深圳、武汉、宁波、万宁、大连、敦煌、南京、青岛。“中国领军智慧城市”的评选，由分析师评估和网上公众投票两部分加权组成。分析师评估体系分为三个等级指标，各级指标相互关联支撑一级指标有3个，二级指标有10个，三级指标在二级指标的基础上，进一步拓展成30个细分指标。IDC智慧城市研究部门的资深分析师，对各城市在所有指标中的表现进行评分，并根据指标权重进行加权，然后累加网上票选结果分值，得到城市的最终得分和排名。
国内外大数据发展现状和趋势(2018)
行业现状 当前，许多国家的政府和国际组织都认识到了大数据的重要作用，纷纷将开发利用大数据作为夺取新一轮竞争制高点的重要抓手，实施大数据战略，对大数据产业发展有着高度的热情。 美国政府将大数据视为强化美国竞争力的关键因素之一，把大数据研究和生产计划提高到国家战略层面。在美国的先进制药行业，药物开发领域的最新前沿技术是机器学习，即算法利用数据和经验教会自己辨别哪种化合物同哪个靶点相结合，并且发现对人眼来说不可见的模式。根据前期计划，美国希望利用大数据技术实现在多个领域的突破，包括科研教学、环境保护、工程技术、国土安全、生物医药等。其中具体的研发计划涉及了美国国家科学基金会、国家卫生研究院、国防部、能源部、国防部高级研究局、地质勘探局等6个联邦部门和机构。 目前，欧盟在大数据方面的活动主要涉及四方面内容：研究数据价值链战略因素；资助“大数据”和“开放数据”领域的研究和创新活动；实施开放数据政策；促进公共资助科研实验成果和数据的使用及再利用。 英国在2017年议会期满前，开放有关交通运输、天气和健康方面的核心公共数据库，并在五年内投资1000万英镑建立世界上首个“开放数据研究所”；政府将与出版行业等共同尽早实现对得到公共资助产生的科研成果的免费访问，英国皇家学会也在考虑如何改进科研数据在研究团体及其他用户间的共享和披露；英国研究理事会将投资200万英镑建立一个公众可通过网络检索的“科研门户”。 法国政府为促进大数据领域的发展，将以培养新兴企业、软件制造商、工程师、信息系统设计师等为目标，开展一系列的投资计划。法国政府在其发布的《数字化路线图》中表示，将大力支持“大数据”在内的战略性高新技术，法国软件编辑联盟曾号召政府部门和私人企业共同合作，投入3亿欧元资金用于推动大数据领域的发展。法国生产振兴部部长ArnaudMontebourg、数字经济部副部长FleurPellerin和投资委员LouisGallois在第二届巴黎大数据大会结束后的第二天共同宣布了将投入1150万欧元用于支持7个未来投资项目。这足以证明法国政府对于大数据领域发展的重视。法国政府投资这些项目的目的在于“通过发展创新性解决方案，并将其用于实践，来促进法国在大数据领域的发展”。众所周知，法国在数学和统计学领域具有独一无二的优势。 日本为了提高信息通信领域的国际竞争力、培育新产业，同时应用信息通信技术应对抗灾救灾和核电站事故等社会性问题。2013年6月，安倍内阁正式公布了新IT战略——“创建最尖端IT国家宣言”。“宣言”全面阐述了2013～2020年期间以发展开放公共数据和大数据为核心的日本新IT国家战略，提出要把日本建设成为一个具有“世界最高水准的广泛运用信息产业技术的社会”。日本著名的矢野经济研究所预测，2020年度日本大数据市场规模有望超过1兆日元。 在重视发展科技的印度，大数据技术也已成为信息技术行业的“下一个大事件”，目前，不仅印度的小公司纷纷涉足大数据市场淘金，一些外包行业巨头也开始进军大数据市场，试图从中分得一杯羹。2016年，印度全国软件与服务企业协会预计，印度大数据行业规模在3年内将到12亿美元，是当前规模的6倍，同时还是全球大数据行业平均增长速度的两倍。印度毫无疑问是美国亦步亦趋的好学生。在数据开放方面，印度效仿美国政府的做法，制定了一个一站式政府数据门户网站https://www.360docs.net/doc/ea14811139.html,.in，把政府收集的所有非涉密数据集中起来，包括全国的人口、经济和社会信息。 我国大数据行业仍处于快速发展期，未来市场规模将不断扩大 ?目前大数据企业所获融资数量不断上涨，二级市场表现优于大盘，我国大数据行业的市
大数据处理技术发展现状及其应用展望
. ,.. 大数据处理技术发展现状及其应用展望 一、定义 著名的管理咨询公司麦肯锡曾预测到：“数据，已经渗透到当今每一个行业和业务职能领域， 成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者 盈余浪潮的到来。”这是大数据的最早定义。业界（于2012年，高德纳修改了对大数据的定义）将大数据的特征归纳为4个“V”（量Volume，多样Variety，价值Value，速Velocity），或者说特点有四个层面：第一，海量数据量。大数据计量单位至少是PB级别；第二，数据 类型繁多。比如，网络日志、视频、图片、地理位置信息等等都是囊括进来。第三，商业价 值高。第四，处理速度快。 在大数据时代，三分技术，七分数据，得数据者得天下。在大数据时代已经到来的时候要用 大数据思维去发掘大数据的潜在价值。Google利用人们的搜索记录挖掘数据二次利用价值， 比如预测某地流感爆发的趋势；Amazon利用用户的购买和浏览历史数据进行有针对性的书 籍购买推荐，以此有效提升销售量；Farecast利用过去十年所有的航线机票价格打折数据， 来预测用户购买机票的时机是否合适。 大数据分析相比于传统的数据仓库应用，具有数据量大、查询分析复杂等特点。对于“大数据”（Big data）研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具 有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 二、大数据的技术 技术是大数据价值体现的手段和前进的基石。我将分别从云计算、分布式处理技术、存储技术和感知技术的发展来说明大数据从采集、处理、存储到形成结果的整个过程。 2.1、云技术 大数据常和云计算联系到一起，因为实时的大型数据集分析需要分布式处理框架来向数十、 数百或甚至数万的电脑分配工作。可以说，云计算充当了工业革命时期的发动机的角色，而大数据则是电。 云计算思想的起源是麦卡锡在上世纪60年代提出的：把计算能力作为一种像水和电一样的 公用事业提供给用户。如今，在Google、Amazon、Facebook等一批互联网企业引领下，一 种行之有效的模式出现了：云计算提供基础架构平台，大数据应用运行在这个平台上。 业内是这么形容两者的关系：没有大数据的信息积淀，则云计算的计算能力再强大，也难以找到用武之地；没有云计算的处理能力，则大数据的信息积淀再丰富，也终究只是镜花水月。 那么大数据到底需要哪些云计算技术呢？这里暂且列举一些，比如虚拟化技术，分布式处理技术，海量数据的存储和管理技术，NoSQL、实时流数据处理、智能分析技术（类似模式识