大数据发展现状及面临的问题_李芬
第１８卷第５期２０１３年９月
西 安 邮 电 大 学 学 报
ＪＯＵＲＮＡＬ ＯＦ ＸＩ ＡＮ ＵＮＩＶＥＲＳＩＴＹ ＯＦ ＰＯＳＴＳ ＡＮＤ
ＴＥＬＥＣＯＭＭＵＮＩＣＡＴＩＯＮＳＶｏｌ．１８Ｎｏ．５
Ｓｅｐ
．２０１３大数据发展现状及面临的问题
李 芬，朱志祥，刘盛辉
（西安邮电大学通信技术研究所，陕西西安７１００６１
）收稿日期：２０１３－０６－
０３基金项目：工业和信息化部通信软科学基金资助项目（２０１３－Ｒ－
４３）作者简介：李芬（１９８９－），女，硕士研究生，研究方向为大数据处理。Ｅ－ｍａｉｌ：ｌｉｆｅｎｆｅｎ０９０２＠１６３．ｃｏｍ
朱志祥（１９５９－），男，博士，教授，从事信息安全研究。Ｅ－ｍａｉｌ：ｚｈｕｚｈｉｘ＠ｘｕｐ
ｔ．ｅｄｕ．ｃｎ摘 要：通过对大数据特征及大数据在各领域发展近况的分析，认为大数据在发展过程中，大数据赋予预测未来的能力、带来巨大的变革和商机将成为各行业发展的新动力，以及在数据管理、数据分析、数据显示及数据安全方面大数据发展面临问题，提出大数据发展过程中可能面临的问题，同时对大数据的发展加以展望。关键词：大数据；数据量；数据分析中图分类号：ＴＮ９１９
文献标识码：Ａ
文章编号：２０９５－６５３３（２０１３）０５－０１００－０
４Ｔｈｅ ｄｅｖｅｌｏｐｍｅｎｔ ｓｔａｔｕｓ ａｎｄ ｔｈｅ ｐｒｏｂｌｅｍｓ ｏｆ ｌａｒｇ
ｅ ｄａｔａＬＩ Ｆｅｎ， ＺＨＵ Ｚｈｉｘｉａｎｇ， ＬＩＵ Ｓｈｅｎｇ
ｈｕｉ（Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｔｅｃｈｎｏｌｏｇｙ，Ｘｉ’ａｎ Ｕｎｉｖｅｒｓｉｔｙ
ｏｆ Ｐｏｓｔｓ ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ，Ｘｉ’ａｎ ７１００６１）Ａｂｓｔｒａｃｔ：Ａｆｔｅｒ ａｎａｌｙｓｉｓ ｏｆ ｔｈｅ ｄｅｖｅｌｏｐｍｅｎｔ ｓｔａｔｕｓ ｏｆ ｌａｒｇｅ ｄａｔａ ａｎｄ ｉｔｓ ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ ａｎｄ ａｐｐｌｉ－ｃａｔｉｏｎｓ，ｉｔ ｉｓ ｃｏｎｃｌｕｄｅｄ ｔｈａｔ ｌａｒｇｅ ｄａｔａ ｗｉｌｌ ｂｅｃｏｍｅ ｔｈｅ ｎｅｗ ｐｏｗｅｒ ｏｆ ｔｈｅ ｄｅｖｅｌｏｐｍｅｎｔ ｏｆ ｔｈｅ ｉｎ－ｄｕｓｔｒｙ ａｓ ｌａｒｇｅ ｄａｔａ ｈａｓ ｔｈｅ ａｂｉｌｉｔｙ ｔｏ ｐｒｅｄｉｃｔ ｔｈｅ ｆｕｔｕｒｅ，ｔｏ ｂｒｉｎｇ ｅｎｏｒｍｏｕｓ ｃｈａｎｇｅ ａｎｄ ｏｐｐｏｒｔｕｎｉ－ｔｉｅｓ ｉｎ ｔｈｅ ｐｒｏｃｅｓｓ ｏｆ ｉｔｓ ｄｅｖｅｌｏｐｍｅｎｔ．Ｔｈｅ ｐｒｏｂｌｅｍｓ ｉｎ ｄａｔａ ｍａｎａｇｅｍｅｎｔ，ｄａｔａ ａｎａｌｙｓｉｓ，ｄａｔａ ｄｉｓ－ｐｌａｙｉｎｇ ａｎｄ ｄａｔａ ｓｅｃｕｒｉｔｙ ｏｆ ｌａｒｇｅ ｄａｔａ ａｒｅ ｄｉｓｃｕｓｓｅｄ．Ｔｈｅ ｆｕｔｕｒｅ ｐｒｏｓｐｅｃｔ ｉｓ ａｌｓｏ ｐｒｏｐｏｓｅｄ．Ｋｅｙｗｏｒｄｓ：ｂｉｇ ｄａｔａ，ｄａｔａ ｖｏｌｕｍｅ，ｄａｔａ ａｎａｌｙｓｉｓ随着互联网、云计算、物联网、社交网络等技术的兴起和普及，全球数据的增长快于任何一个时期，可以称作是爆炸性增长，而数据的存储单位也由Ｂ，ＫＢ，ＭＢ，ＧＢ，ＴＢ到ＰＢ，ＥＢ，ＺＢ，ＹＢ不断扩大。有关数据表明，过去３年人类的信息数据总量比以往４万年的数据量还要多。如此大规模的数据量已经无法在允许的时间内用常规的软件工具对其内容进行管理、分析和处理，但是另一方面，数据规模越大，对其挖掘可能得到的价值更大，所以在大数据发展的过程中问题与展望是并存的，本文就大数据本身及其发展面临的问题加以分析，并对其发展做以展望。
１ 大数据
１．１ 大数据的内涵
在信息化建设过程中，数据可分为三种类型：
结构化数据，非结构化数据和半结构化数据［
１］
。其中，８０％的数据属于企业业务过程中产生的非结构化数据。对于大数据的概念，至今没有一个业界广泛采纳的明确定义。文献［２］中提出，大数据是指无法在可容忍的时间内用传统ＩＴ技术和软硬件工具对其进行感知、
获取、管理、处理和服务的数据集合；文献［３
］中定义，大数据包含那些由于迅速增长
第１８卷第５期李芬，朱志祥，刘盛辉：大数据发展现状及面临的问题
使得无法通过现有的数据库管理工具进行管理的大规模数据集；文献［４］中指出，大数据是在数据单位为ＥＢ（１０１８Ｂｙｔｅ）甚至超越ＥＢ的范围并且超越当前在线存储系统和处理系统的能力的数据量。综上所述，大数据是来源于交易数据、交互数据及传感数据的海量数据的集合，其中大部分是非结构化数据，其规模和复杂度都超越现有常用技术能够处理的能力范围。１．２ 大数据的特征
大数据具有４个关键特征，分别是：海量化（ｖｏｌｕｍｅ），多样化（ｖａｒｉｅｔｙ），快速化（ｖｅｌｏｃｉｔｙ），价值化（ｖａｌｕｅ），也称４ｖ特征。１．２．１ 海量化
根据２０１３年３月１日ＩＤＣ发布的最新数字宇宙研究报告显示，随着全球范围内个人电脑、智能手机等设备的普及，和新兴市场内不断增长的互联网访问量，以及监控摄像机或智能电表等设备产生的数据爆增，使数字宇宙的规模在最近两年翻了一番，达到惊人的２．８ＺＢ。ＩＤＣ预计，到２０２０年，数字宇宙规模将超出预期，达到４０ＺＢ
。
图１ 全球数据量预测
１．２．２ 多样化
数据多样化的形成主要有两方面原因，一是数据来源多，
有搜索引擎、社交网络、通话记录、传感器、网络日志等等［５］
；二是数据格式多，有结构数据，
半结构数据和非结构数据。１．２．３ 快速化
大数据的快速化描述的是数据分析和处理的速度。随着高性能计算应用市场的发展和深入，数据的处理速率不断提高，据相关数据统计，每秒钟人们发送２９０封电子邮件、亚马逊处理７２．９笔订单；每分钟人们在ＹｏｕＴｕｂｅ上传２０小时的视频；每月人们总共在ｆａｃｅｂｏｏｋ上浏览７０００亿分钟。
１．２．４ 价值化
大数据的价值化是指大数据的价值巨大，在本文第３部分将阐述到它在各个领域的价值实现。但是其价值密度却很低，比如视频监控，每天产生２４小时的视频数据，真正有价值的可能只有几秒钟。
２ 大数据发展面临的问题
２．１ 数据存储
大数据发展面临的问题是来自不同地方、不同标准、
数据量大、多种结构形式、实时性等多样化要求的数据信息。这些问题无疑增加了数据采集和整合的困难，故此应修改基于块和文件的存储系统的架构设计，以克服存在的问题。２．２ 数据分析
数据分析［６］
是大数据处理流程的核心，因为大
数据的价值就产生于分析的过程，
但是它同样带来了很大的挑战。首先，
数据量大带来更大价值的同时也带来了更多的数据噪音，在进行数据清洗等预处理工作时必须更加谨慎，若清洗的粒度过细，很容易将有用的信息过滤掉，而清洗的粒度过粗，又无法达到理想的清洗效果，因此在质与量之间需要进行仔细的考量和权衡，同时也对机器硬件和算法
都是严峻的考验［
７］。其次，传统的数据仓库系统［８］
对处理时间的要求并不高，而在很多大数据应用场景中，不仅要考虑算法的准确性，还要考虑实时性的要求。
２．３ 数据显示
与数据分析相比，很多用户往往更关心数据结果的显示。传统的以文本形式输出结果或者直接在电脑终端上显示结果的方法在面对小数据量或许是很好的选择，但是对于形式复杂的海量数据是不可行的。这就需要引入可视化技术来可视化最终甚至是中间的计算结果，
此外，还需要人机交互技术或者数据起源技术［９］
，使得用户在得到结果的
同时更好的理解结果的由来。２．４ 数据安全
数据的持续增长带来了数据的安全问题。首先，
大数据因为目标大而在网络上更容易被发现；其次，大数据存在更敏感更有价值的数据，对潜在
·
１０１·
西 安 邮 电 大 学 学 报２０１３年９月
攻击者的吸引力更大。近两年来，有些互联网公司用户信息泄露的数据量非常庞大，在２０１２年６月，据挪威ＩＴ网站Ｄａｇｅｎｓ ＩＴ报道，约有６５０万职业社交网站ＬｉｎｋｅｄＩｎ用户的账户的明文和加密密码被泄露；在２０１２年７月，据美国有线电视新闻网（ＣＮＮ）报道，雅虎网络遭遇黑客攻击，４５万个用户账号信息遭到泄露雅虎遭到网络攻击。此外，个人信息的曝露，也会造成个人安全的问题。
３ 大数据展望
３．１ 利用大数据洞察未来
从２００８年初，阿里巴巴通过对用户行为数据的挖掘和分析发现整个买家询盘数极具下滑，同时欧美对中国采购也在下滑。他们提前半年时间准确预测出世界外贸经济走势，从而躲避了金融危机。
文献［１０］中举了一例是如何用挖掘分析暴风雨、干旱等自然灾害数据的方法去预测安哥拉霍乱的爆发，结果证明可以提前一年预测到霍乱爆发的蔓延。
３．２ 巨大的变革和商机
随着用户对大数据价值的认可，各行业巨头都积极加大对大数据的投资，随之而来的便是巨大的变革和商机。
在硬件领域，大数据面临的管理，存储，实时分析等挑战，将对芯片、存储产业产生重要影响，还将催生一系列新的市场。
在软件与服务领域，由于对数据快速处理和分析的迫切需求，将引发数据挖掘、商业智能市场的空前繁荣。
大数据中潜藏的价值将会引发大量的新公司、新产品、新技术、新项目的诞生。
３．３ 各领域发展的新动力
大数据受到越来越多行业巨头们的关注，使得大数据渗透到更广阔的领域，无论是在政府和医疗保健，还是在制造业、零售业及个人位置服务等领域都有其巨大的社会价值和产业空间［１１］。３．３．１ 政府领域
首先政府通过对大数据的挖掘和实时分析，可有效提高政府决策的科学性和时效性，并且能帮助政府有效削减预算开支。如：日本大地震发生后仅９分钟，美国国家海洋和大气管理局（ＮＯＡＡ）就发布了详细的海啸预警。随即，ＮＯＡＡ通过对海洋传感器获得的实时数据进行计算机模拟，制定了详细的应急方案，并将制作的海啸影响模型发布在Ｙｏｕ－Ｔｕｂｅ等网站，使得人们在面对不可抗拒和预知的自然力量的时候，不仅最大程度的保护了自己，而且使国家尽量避免经济损失。
其次借助大数据可以使政府变得更加开放、透明和智慧。大数据可以使政府更清楚的了解公民的意愿和想法，可以提升公民的价值，还可以通过引导社会的舆论，为社会公众提供更好的服务，树立更好的政府形象。
３．３．２ 医疗保健领域
数据具有重要的参考价值。例如，“谷歌流感趋势”项目深受相关研究人员的欢迎，它依据网民搜索内容分析全球范围内流感等病疫传播状况，与美国疾病控制和预防中心提供的报告进行比对，事实证明两者有很大关联。
社交网络为许多患者提供临床症状交流和诊治经验分享的平台，医生借此可获得在医院通常得不到的临床效果统计数据。
在中国，据统计一个中等城市５０年所积累的医疗数据量可达到１０ＰＢ级，若能借助大数据来建设区域卫生信息平台或者居民电子病例（ＥＨＲ）系统，那么大数据将给医疗行业带来大的机遇。３．３．３ 制造业领域
从前的制造业通常以产品为导向，以降低生产成本来决定制造业的生存和发展。而如今如果继续以这种理念来维持企业的发展，必将导致制造业的暗淡。越来越多的制造业早已明白，个性化定制［１２］将是发展的趋势，所以制造业需要处理好大数据，通过对海量数据的获取，挖掘和分析，把握客户的需求，从而交付客户喜欢的产品。
３．３．４ 零售商领域
在２０１１年年底，美国某家规模比较大的零售企业发现它的一家竞争对手正在一系列业务领域中持续扩大市场份额，企业高层尽管采用一定措施进行了反击，但还是不断丢失领地。于是，他们对竞
·
２
０
１
·
第１８卷第５期李芬，朱志祥，刘盛辉：大数据发展现状及面临的问题
争对手进行深入研究，发现对手投入巨资提升从各门店收集、整合和分析数据的能力，并且应用于各个销售单元中。同时，它还将这些信息与供应商的数据库联网，实时调整价格、自动补货，以及轻松的在各门店间调配产品。通过不断实践、捆绑和汇总，以及组织中信息的无缝链接，从而迅速发展。这说明利用数据分析的企业劳动生产率和净收益率更高。
３．３．５ 个人位置服务领域
不同于其他领域，个人位置服务并不局限于一个单一的行业，而是跨越许多行业，包括电信，零售业和媒体等。例如：当你在并不熟悉的地方，可以用带有ＧＰＳ定位功能的手机或车载卫星导航装置找到你想要走的路线。你也可以向当地服务提供商发送信息告知你的需求，服务商会立即根据你所在的位置，帮你找到需要的信息。
４ 结束语
本文就何谓大数据、大数据面临的问题、大数据发展的展望做了一些相关论述和分析，从文中可以看出，大数据仍然处于一个初级阶段，还有很多问题需要解决，如挖掘大数据的价值好似沙里淘金，如何通过强大的算法迅速提取有意义的信息？面对大数据管理我们需要的是技术上的提升还是彻底的变革？等等，所以针对大数据的问题还有很长的一段路要走。
参 考 文 献
［１］ 涂兰敬．专家观点：“大数据”与“海量数据”的区别［Ｊ］．网络与信息，２０１１（１２）：３７－３８．
［２］ 李国杰，程学旗．大数据研究：未来科技及经济社会发
展的重大战略领域———大数据的研究现状与科学思考
［Ｊ］．中国科学院院刊，２０１２（６）：６４７－６５７．
［３］ 夏海元．面向Ｂｉｇ Ｄａｔａ的数据处理技术概述［Ｊ］．数字技术与应用，２０１２（３）：１７９－１８０．
［４］ Ｓｔｅｐｈｅｎ Ｋａｉｓｌｅｒ，Ｆｒａｎｋ Ａｒｍｏｕｒ，Ｊ．Ａｌｂｅｒｔｏ Ｅｓｐｉｎｏｓａ，Ｗｉｌｌｉａｍ Ｍｏｎｅｙ．Ｂｉｇ Ｄａｔａ：Ｉｓｓｕｅｓ ａｎｄ Ｃｈａｌｌｅｎｇｅｓ Ｍｏｖ－
ｉｎｇ Ｆｏｒｗａｒｄ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ４６ｔｈ Ａｎｎｕａｌ Ｈａ－
ｗａｉｉ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｓｙｓｔｅｍ Ｓｃｉｅｎｃｅｓ，ＨＩＣＳＳ ２０１３．Ｗａｓｈｉｎｇｔｏｎ：ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ，２０１３：９９５－１００４．
［５］ 于艳华，宋美娜．大数据［Ｊ］．中兴通讯技术，２０１３，１９（１）：５７－６０．
［６］ 覃雄派，王会举，杜小勇，等．大数据分析：ＲＤＢＭＳ与ＭａｐＲｅｄｕｃｅ的竞争与共生［Ｊ］．软件学报，２０１２，２３（１）：３２－４５．
［７］ 孟小峰，慈祥．大数据管理：概念、技术与挑战［Ｊ］．计算机研究与发展，２０１３，５０（１）：１４６－１６９．
［８］ 王珊，王会举，覃雄派，等．架构大数据：挑战、现状与展望［Ｊ］．计算机学报，２０１１，３４（１０）：１７４１－１７５２．
［９］ Ｃｈａｐｍａｎ Ａ，Ａｌｌｅｎ Ｍ Ｄ，Ｂｌａｕｓｔｅｉｎ Ｂ．Ｉｔ’ｓ Ａｂｏｕｔ ｔｈｅＤａｔａ：Ｐｒｏｖｅｎａｎｃｅ ａｓ ａ Ｔｏｏｌ ｆｏｒ Ａｓｓｅｓｓｉｎｇ Ｄａｔａ Ｆｉｔｎｅｓｓ
［Ｃ］／／Ｐｒｏｃ ｏｆ ｔｈｅ ４ｔｈ ＵＳＥＮＩＸ Ｗｏｒｋｓｈｏｐ ｏｎ ｔｈｅ Ｔｈｅ－
ｏｒｙ ａｎｄ Ｐｒａｃｔｉｃｅ ｏｆ Ｐｒｏｖｅｎａｎｃｅ．Ｂｅｒｋｅｌｅｙ，ＣＡ：ＵＳＥ－
ＮＩＸ Ａｓｓｏｃｉａｔｉｏｎ，２０１２：８．
［１０］Ｋｉｒａ Ｒａｄｉｎｓｋｙ，Ｅｒｉｃ Ｈｏｒｖｉｔｚ．Ｍｉｎｉｎｇ ｔｈｅ Ｗｅｂ ｔｏ Ｐｒｅ－ｄｉｃｔ Ｆｕｔｕｒｅ Ｅｖｅｎｔｓ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ６ｔｈ ＡＣＭ
Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｗｅｂ Ｓｅａｒｃｈ ａｎｄ Ｄａｔａ Ｍｉｎ－
ｉｎｇ，ＷＳＤＭ ２０１３：Ｎｅｗ Ｙｏｒｋ：Ａｓｓｏｃｉａｔｉｏｎ ｆｏｒ Ｃｏｍ－
ｐｕｔｉｎｇ Ｍａｃｈｉｎｅｒｙ，２０１３：２５５－２６４．
［１１］Ｍａｎｙｉｋａ Ｊ，Ｃｈｕｉ Ｍ，Ｂｒｏｗｎ Ｂ，ｅｔ ａｌ．Ｂｉｇ ｄａｔａ：Ｔｈｅｎｅｘｔ ｆｒｏｎｔｉｅｒ ｆｏｒ ｉｎｎｏｖａｔｉｏｎ，ｃｏｍｐｅｔｉｔｉｏｎ，ａｎｄ ｐｒｏｄｕｃ－
ｔｉｖｉｔｙ［Ｒ／ＯＬ］．［２０１３－０４－２８］．ｈｔｔｐ：／／ｗｗｗ．ｍｃｋｉｎｓｅｙ．ｃｏｍ／Ｉｎｓｉｇｈｔｓ／ＭＧＩ／Ｒｅｓｅａｒｃｈ／Ｔｅｃｈｎｏｌｏｇｙ＿ａｎｄ＿Ｉｎｎｏ－
ｖａｔｉｏｎ／Ｂｉｇ＿ｄａｔａ＿Ｔｈｅ＿ｎｅｘｔ＿ｆｒｏｎｔｉｅｒ＿ｆｏｒ＿ｉｎｎｏｖａｔｉｏｎ．［１２］满相忠，李娅．个性化定制模式的发展趋势［Ｊ］．企业改革与管理，２００７（２）：２４－２５．
［责任编辑：汪湘］
·
３
０
１
·
大数据专业发展前景如何
大数据是目前最火热的一个词了，想必所有人，只要你接触网络，那你就应该听说过这个词。然而更多的人也只是听说过而已，对大数据并没有过多的了解，前几天我好多朋友就问我，大数据这么火，那它到底是做什么呢，这么火热的大数据前景究竟怎么样?今天我们就来探讨一下。 一、大数据的前景中国拥有世界上五分之一的人口，很多行业内专业人士断定中国在未来将成为大数据最重要的市场。中国的发展正在处于快速的上升期，中国产生的数据将是巨大的，而巨大的数据对大数据的发展将起到促进的作用，而大数据在中国市场的发展也将领先。如今，大数据作为中国官方重点扶持的战略性新兴产业，已逐步从概念走向落地“大数据”和“虚拟化”两大热门领域得到了广泛关注和重视，90%企业都在实用大数据。大数据将给中国的企业带来更广泛的发展机会，是值得大家重视的一个市场。 二、大数据发展的几大方向
方向一：大数据分析领域快速发展数据蕴藏价值，但是数据的价值需要用IT技术去发现、去探索，数据的积累并不能够代表其价值的多少。方向二：分布式存储有了用武之地大数据的特点就是数量多且大，这就使得存储的管理面临着挑战，这个问题就需要新的技术来解决，分布式存储技术将作为未来解决大数据存储的重要技术。方向三：大数据与云技术的结合如果再找一个可以跟大数据并驾齐驱的IT热词，云计算无疑是跟大数据关系非常大的一个词语。方向四：大数据将成为企业IT核心随着大数据价值逐渐被发展，大数据将成为企业IT的核心，毕竟在这个以盈利为主导的行业环境中，谁能够为企业带来更多的价值就将会更重要。 三、大数据就业前景好，工资高。大数据技术人才在中国市场目前非常紧缺，因此企业也是开出了高薪聘请这类高端人才。北大青鸟佳音校区为您提供一个好的平台，让你深入接触大数据，实现你的高薪就业梦，北大青鸟佳音校区为您扬帆起航。
国内外大数据产业发展现状与趋势研究
龙源期刊网 https://www.360docs.net/doc/f54182688.html, 国内外大数据产业发展现状与趋势研究 作者：方申国谢楠 来源：《信息化建设》2017年第06期 大数据作为新财富，价值堪比石油。 进入21世纪以来，随着物联网、电子商务、社会化网络的快速发展，数据体量迎来了爆炸式的增长，大数据正在成为世界上最重要的土壤和基础。根据IDC（互联网数据中心）预测，2020年的数据增长量将是2010年的44倍，达到35ZB。世界经济论坛报告称，“大数据为新财富，价值堪比石油”。随着计算机及其存储设备、互联网、云计算等技术的发展，大数据应用领域随之不断丰富。大数据产业将依赖快速聚集的社会资源，在数据和应用驱动的创新下，不断丰富商业模式，构建出多层多样的市场格局，成为引领信息技术产业发展的核心引擎、推动社会进步的重要力量。 大数据产业发展现状 全球大数据产业发展概况 目前，大数据以爆炸式的发展速度迅速蔓延至各行各业。随着各国抢抓战略布局，不断加大扶持力度，全球大数据市场规模保持了高速增长态势。据IDC预测，全球大数据市场规模 年增长率达40%，在2017年将达到530亿美元。美国奥巴马政府于2012年3月宣布投资2亿美元启动“大数据研究和发展计划”，将“大数据研究”上升为国家意志；2015年发布“大数据研究和发展计划”，深入推动大数据技术研发，同时还鼓励产业、大学和研究机构、非盈利机构与政府一起努力，共享大数据提供的机遇。目前，美国大数据产业增长率已超过71%，大数据在美国健康医疗、公共管理、零售业、制造业等领域产生了巨大的经济效益。英国政府自2013年开始就注重对大数据技术的研发投入，2015年投入7300万英镑用于55个政府的大数据应用项目，投资兴办大数据研究中心，通过大数据技术在公开平台上发布了各层级数据资源，直接或间接为英国增加了近490亿至660亿英镑的收入，并预测到2017年，大数据技术可以为英国提供5.8万个新的工作岗位，或将带来2160亿英镑的经济增长。法国2011年推出了公开的数据平台 date.gouv.fr，以便于公民自由查询和下载公共数据；2013年相继发布《数字化路线图》、《法国政府大数据五项支持计划》等，通过为大数据设立原始扶持资金，推动交通、医疗卫生等纵向行业设立大数据旗舰项目，为大数据应用建立良好的生态环境，并积极建设大数据初创企业孵化器。日本在《日本再兴战略》中提出开放数据，将实施数据开放、大数据技术开发与运用作为2013-2020年的重要国家战略之一，积极推动日本政务大数据开放及产业大数据的发展，零售业、道路交通基建、互联网及电信业等行业的大数据应用取得显著效果。韩国政府高度重视大数据发展，科学、通信和未来规划部与国家信息社会局（NIA）共建大数据中心，大力推动全国大数据产业发展。根据《2015韩国数据行业白皮书》统计显示， 数据服务市场规模占韩国总行业市场规模的47%，位列第一；数据库构建服务以41.8%的占有
大数据发展趋势答案
大数据发展趋势势 2011年，IBM的“沃森”超级计算机在美国著名智力竞赛节目《危险边缘》上击败两名人类选手而夺冠。（3分） ? A. 是 ? B. 否 北京航空航天大学创办了国内第一个“大数据科学与应用”软件工程硕士专业。（3分） ? A. 是 ? B. 否 人工智能够和人一样进行感知、认知、决策、执行的人工程序或系统。（3分） ? A. 是 ? B. 否
大数据开发的根本目的是以数据分析为基础，帮助人们做出更明确的决策，优化企业和社会运转。（3分） ? A. 是 ? B. 否 机器学习就是通过算法，使得机器能从大量历史数据中学习规律，从而对新的样本做智能识别或对未来做预测。（3分） ? A. 是 ? B. 否 目前，我国政府、企业和行业信息化系统建设往往缺少统一规划和科学论证，系统之间缺乏统一的标准，形成了众多“信息孤岛”。（3分） ? A. 是 ? B. 否 当前，企业提供的大数据解决方案大多基因Hadoop开源项目。（3分）
A. 是 ? B. 否 由于大数据处理多样性的需求，目前出现了多种典型的计算模式，包括大数据查询分析计算、批处理计算、流式计算、图计算等。（3分） ? A. 是 ? B. 否 大数据分为“结构化数据“与”非结构化数据”。（3分） ? A. 是 ? B. 否 大数据成熟催化了人工智能的进步，深度学习带来算法上的突破则带来了人工智能浪潮。（3分）
A. 是 ? B. 否 知识图谱是一种基于图的数据结构，由节点和边组成。（3分） ? A. 是 ? B. 否 大数据的发展趋势中的智能化关键技术包括感知技术、自然语言技术、交互技术以及决策等。（3分） ? A. 是 ? B. 否 2012年7月国务院发布的《“十二五”国家战略性新兴产业发展规划》中明确提出支持海量数据存储、处理技术的研发和产业化。（3分） ?
浅谈大数据发展现状及未来展望
浅谈大数据发展现状及未来展望 中国特色社会主义进入新时代，实现中华民族伟大复兴的中国梦开启新征程。党中央决定实施国家大数据战略，吹响了加快发展数字经济、建设数字中国的号角。国家领导人在十九届中共中央政治局第二次集体学习时的重要讲话中指出：“大数据是信息化发展的新阶段”，并做出了“推动大数据技术产业创新发展、构建以数据为关键要素的数字经济、运用大数据提升国家治理现代化水平、运用大数据促进保障和改善民生、切实保障国家数据安全”的战略部署，为我国构筑大数据时代国家综合竞争新优势指明了方向！ 今天，我拟回顾大数据的发端、发展和现状，研判大数据的未来趋势，简述我国大数据发展的态势，并汇报我对信息化新阶段和数字经济的认识，以及对我国发展大数据的若干思考和建议。 一、大数据的发端与发展 从文明之初的“结绳记事”，到文字发明后的“文以载道”，再到近现代科学的“数据建模”，数据一直伴随着人类社会的发展变迁，承载了人类基于数据和信息认识世界的努力和取得的巨大进步。然而，直到以电子计算机为代表的现代信息技术出现后，为数据处理提供了自动的方法和手段，人类掌握数据、处理数据的能力才实现了质的跃升。信息技术及其在经济社会发展方方面面的应用（即信息化），推动数据（信息）成为继物质、能源之后的又一种重要战略资源。 “大数据”作为一种概念和思潮由计算领域发端，之后逐渐延伸到科学和商业领域。大多数学者认为，“大数据”这一概念最早公开出现于1998年，美国高性能计算公司SGI的首席科学家约翰·马西（John Mashey）在一个国际会议报告中指出：随着数据量的快速增长，必将出现数据难理解、难获取、难处理和难组织等四个难题，并用“Big Data（大数据）”来描述这一挑战，在计算领域引发思考。2007年，数据库领域的先驱人物吉姆·格
大数据发展趋势标准答案
大数据发展趋势答案
————————————————————————————————作者：————————————————————————————————日期：
大数据发展趋势势 2011年，IBM的“沃森”超级计算机在美国著名智力竞赛节目《危险边缘》上击败两名人类选手而夺冠。（3分） ? A. 是 ? B. 否 答题情况：正确选项：A你答对了! 北京航空航天大学创办了国内第一个“大数据科学与应用”软件工程硕士专业。（3分） ? A. 是 ? B. 否 答题情况：正确选项：A你答对了! 解析：暂无解析! 人工智能够和人一样进行感知、认知、决策、执行的人工程序或系统。（3分） ? A. 是 ?
答题情况：正确选项：A你答对了! 解析：暂无解析! 大数据开发的根本目的是以数据分析为基础，帮助人们做出更明确的决策，优化企业和社会运转。（3分） ? A. 是 ? B. 否 答题情况：正确选项：A你答对了! 机器学习就是通过算法，使得机器能从大量历史数据中学习规律，从而对新的样本做智能识别或对未来做预测。（3分） ? A. 是 ? B. 否 答题情况：正确选项：A你答对了! 解析：暂无解析! 目前，我国政府、企业和行业信息化系统建设往往缺少统一规划和科学论证，系统之间缺乏统一的标准，形成了众多“信息孤岛”。（3分） ?
? B. 否 答题情况：正确选项：A你答对了! 解析：暂无解析! 当前，企业提供的大数据解决方案大多基因Hadoop开源项目。（3分） ? A. 是 ? B. 否 答题情况：正确选项：A你答对了! 解析：暂无解析! 由于大数据处理多样性的需求，目前出现了多种典型的计算模式，包括大数据查询分析计算、批处理计算、流式计算、图计算等。（3分） ? A. 是 ? B. 否 答题情况：正确选项：A你答对了!
国内外大数据发展现状和趋势(2018)
行业现状 当前，许多国家的政府和国际组织都认识到了大数据的重要作用，纷纷将开发利用大数据作为夺取新一轮竞争制高点的重要抓手，实施大数据战略，对大数据产业发展有着高度的热情。 美国政府将大数据视为强化美国竞争力的关键因素之一，把大数据研究和生产计划提高到国家战略层面。在美国的先进制药行业，药物开发领域的最新前沿技术是机器学习，即算法利用数据和经验教会自己辨别哪种化合物同哪个靶点相结合，并且发现对人眼来说不可见的模式。根据前期计划，美国希望利用大数据技术实现在多个领域的突破，包括科研教学、环境保护、工程技术、国土安全、生物医药等。其中具体的研发计划涉及了美国国家科学基金会、国家卫生研究院、国防部、能源部、国防部高级研究局、地质勘探局等6个联邦部门和机构。 目前，欧盟在大数据方面的活动主要涉及四方面内容：研究数据价值链战略因素；资助“大数据”和“开放数据”领域的研究和创新活动；实施开放数据政策；促进公共资助科研实验成果和数据的使用及再利用。 英国在2017年议会期满前，开放有关交通运输、天气和健康方面的核心公共数据库，并在五年内投资1000万英镑建立世界上首个“开放数据研究所”；政府将与出版行业等共同尽早实现对得到公共资助产生的科研成果的免费访问，英国皇家学会也在考虑如何改进科研数据在研究团体及其他用户间的共享和披露；英国研究理事会将投资200万英镑建立一个公众可通过网络检索的“科研门户”。 法国政府为促进大数据领域的发展，将以培养新兴企业、软件制造商、工程师、信息系统设计师等为目标，开展一系列的投资计划。法国政府在其发布的《数字化路线图》中表示，将大力支持“大数据”在内的战略性高新技术，法国软件编辑联盟曾号召政府部门和私人企业共同合作，投入3亿欧元资金用于推动大数据领域的发展。法国生产振兴部部长ArnaudMontebourg、数字经济部副部长FleurPellerin和投资委员LouisGallois在第二届巴黎大数据大会结束后的第二天共同宣布了将投入1150万欧元用于支持7个未来投资项目。这足以证明法国政府对于大数据领域发展的重视。法国政府投资这些项目的目的在于“通过发展创新性解决方案，并将其用于实践，来促进法国在大数据领域的发展”。众所周知，法国在数学和统计学领域具有独一无二的优势。 日本为了提高信息通信领域的国际竞争力、培育新产业，同时应用信息通信技术应对抗灾救灾和核电站事故等社会性问题。2013年6月，安倍内阁正式公布了新IT战略——“创建最尖端IT国家宣言”。“宣言”全面阐述了2013～2020年期间以发展开放公共数据和大数据为核心的日本新IT国家战略，提出要把日本建设成为一个具有“世界最高水准的广泛运用信息产业技术的社会”。日本著名的矢野经济研究所预测，2020年度日本大数据市场规模有望超过1兆日元。 在重视发展科技的印度，大数据技术也已成为信息技术行业的“下一个大事件”，目前，不仅印度的小公司纷纷涉足大数据市场淘金，一些外包行业巨头也开始进军大数据市场，试图从中分得一杯羹。2016年，印度全国软件与服务企业协会预计，印度大数据行业规模在3年内将到12亿美元，是当前规模的6倍，同时还是全球大数据行业平均增长速度的两倍。印度毫无疑问是美国亦步亦趋的好学生。在数据开放方面，印度效仿美国政府的做法，制定了一个一站式政府数据门户网站https://www.360docs.net/doc/f54182688.html,.in，把政府收集的所有非涉密数据集中起来，包括全国的人口、经济和社会信息。 我国大数据行业仍处于快速发展期，未来市场规模将不断扩大 ?目前大数据企业所获融资数量不断上涨，二级市场表现优于大盘，我国大数据行业的市
大数据发展现状与未来发展趋势研究
大数据发展现状与未来发展趋势研究 朱孔村 （江苏省科学技术情报研究所，江苏南京210042） 【摘要】数据是信息化时代的“新石油”资源，如何利用好这种“新石油”资源需要大数据技术的支持。文章介绍了大数据技术及其发展历程，概括了当前国内外大数据的发展现状并展望了大数据技术和产业方面的未来发展趋势。 【关键词】大数据；现状；趋势 【中图分类号】TP391【文献标识码】A【文章编号】1008-1151(2019)01-0115-04 Research on the Current Situation and Future Development Trend of Big Data Abstract: Data is the “new petroleum” resource of the information age and how to make good use of this “new petroleum” resource needs the support of big data technology. This paper first introduces the big data technology and its development process and summarizes the current development of big data at home and abroad. Finally, the future development trend of big data technology and industry is prospected. Key words: big data; current situation; trend 1 大数据技术概述 1.1大数据技术 随着物联网、云计算、移动互联网等技术的成熟，以及智能移动终端的普及，全社会的数据量呈指数型增长，全球已经进入以数据为核心的大数据时代。大数据并不是一个新的概念，信息技术发展的每一个阶段都会遇到数据处理的问题，人类需要不停的面对来自数据的挑战。为满足商业结构化数据存储的需求而产生了关系型数据库，为满足互联网时代非结构化数据存储需求而产生了NoSQL技术，而大数据技术的产生是为了解决大型数据集分析的问题。 大数据技术目前还没有一个确切的定义，各行各业有着自己的见解，但总体而言，其关键在于从数量庞大、种类繁多的数据中提取出有用的信息。维基百科从数据处理的角度将大数据定义为一个超大的、难以用现有常规的数据库管理技术和工具处理的数据集。国际数据公司（IDC）给出的报告指出，大数据技术描述了一种新一代技术和构架，以很经济的方式、以高速的捕获、发现和分析技术，从各种超大规模的数据中提取价值[1]。 少量的数据看似杂乱无章，但是当数据累积到一定程度时，就会呈现出一种规律和秩序。大数据的价值就在于数据分析，利用大数据分析技术，从海量数据中总结经验、发现规律、预测趋势，最终为辅助决策服务。《大数据时代》的作者克托·迈尔-舍恩伯格认为：“大数据开启了一次重大的时代转型”，他指出大数据将带来巨大的变革，改变人们的生活、工作和思维方式，改变人们的商业模式，影响人们的经济、政治、科技和社会等各个层面。 1.2大数据发展历程 1.2.1萌芽阶段 20世纪90年代，“大数据”这个术语开始出现。1998年SGI首席科学家John Masey在USENIX大会上提出大数据的概念，他当时发表了一篇名为Big Data and the Next Wave of Infrastress的论文，使用了大数据来描述数据爆炸的现象。但是那时的大数据只表示“大量的数据或数据集”这样的字面含义，还没有涵盖到相关的采集、存储、分析挖掘、应用等技术方法与特征内涵 1.2.2发展阶段 从20世纪末到21世纪初期是大数据的发展期，在这一阶段中大数据逐渐为学术界的研究者所关注，相关的定义、内涵、特性也得到了进一步的丰富。2003至2006年，Google 发布的GFS、MapReduce和BigTable三篇论文对大数据的发展起到重要作用。2006至2009年，大数据技术形成并行运算与分布式系统。2009年，Jeff Dean在BigTable基础上开发了Spanner数据库。随着数据挖掘理论和数据库技术的逐步成熟，一批商业智能工具和知识管理技术如数据仓库、专家系统、知识管理系统等开始被应用。 1.2.3成熟阶段 2011年至今，是大数据发展的成熟阶段，越来越多的研究者对大数据的认识从技术概念丰富到了信息资产与思维变革等多个维度，一些国家、社会组织、企业开始将大数据上升为 总第21卷233期大众科技Vol.21 No.1 2019年1月Popular Science & Technology January 2019 【收稿日期】2018-11-06 【作者简介】朱孔村（1985－），男，山东临沂人，江苏省科学技术情报研究所实习研究员，从事电子政务相关工作。 - 115 -
大数据发展背景与研究现状
大数据发展背景与研究现状 （一）大数据时代的背景 随着计算机存储能力的提升和复杂算法的发展，近年来的数据量成指数型增长，这些趋势使科学技术发展也日新月异，商业模式发生了颠覆式变化。《分 MGI）发 “赢 技术使得在线购物的完成率提升了10%到15%。我国信息数据资源80%以上掌握在各级政府部门手里，但很多数据却与世隔绝“深藏闺中”，成为极大的浪费。2015年，国务院印发《促进大数据发展行动纲要》，明确要求“2018年底前建成国家政府数据统一开放平台”；今年5月，国务院办公厅又印发《政务信息系
统整合共享实施方案》，进一步推动政府数据向社会开放。1 大数据可以把人们从旧的价值观和发展观中解放出来，从全新的视角和角度理解世界的科技进步和复杂技术的涌现，变革人们关于工作、生活和思维的看法。大数据的应用十分广泛，通过对大规模数据的分析，利用数据整体性与涌现性、相关性与不确定性、多样性与非线性及并行性与实时性研究大数据在 。2012年Gartner认为，不到两年时间大数据将成为新技术发展的热点，海量和多样化的信息资产使得大数据需要新的处理模式，才能为数据信息使用者提供有效的信息，使得企业洞察危险的能力增强，流程得以优化，决策更加准确。Victor 在其最新着作《大数据时代——生活、工作与思维的大变革》中指出，大数据 1人民网 26个好用大数据的秘诀
时代要想得到有价值的信息，要从总体而不是少量的数据样本分析与实务相关的所有数据。更加注重数据之间的相关关系，乐于加收纷繁复杂的数据，而不再探求难以捉摸的因果关系和追求数据的精确性。欧盟在其公布的《数字议程》中指出公共数据的市场价值约有320亿欧元，公共数据的开放和再利用可以产生新的商业和工作机会。开放行、公共数据，增加政府的开放和透明度可以给 年9 展的进程。2017年8月30日，国家旅游局、银联商务股份有限公司和中国电信集团联合成立“旅游消费但是数据联合实验室”，并发布了首份研究成果《2017年上半年中国旅游消费大数据报告》。三方在各自的领域有深耕多年的技术、大数据能力、市场资源和经验，通过签署站多合作，可以实现资源共享，优势互 3国家十三五规划纲要
大数据发展发展趋势分析报告
大数据发展发展趋势分析报告
2012年，全球数据储存量达到1.8ZB，这是什么概念？它相当于每个中国人，每分钟发3条微博，一共要写2.6976万年才能写完。四年过去了，全球大数据储量是2012年的8倍，而用于存储数据的全球服务器总量还将增长十倍。预计到2020年，全球大数据市场规模将达到1263.21亿美元，据数据显示，目前70%的大企业和56%的中小企业已经部署或是正在计划部署与大数据有关的项目和计划。全球大数据市场结构正在从垄断竞争走向完全竞争的局面。 美国： 美国是大数据发展的领跑者，美国政府一直积极出台大数据相关政策。现今，美国的大数据产业发展广泛渗透到经济、政治、教育、安全和社会管理等领域，步入大规模商业化阶段。大数据已成企业发展的巨大引擎。“Facebook”、“Twitter”项目的成功，标志着信息技术企业加快推动大数据业务的发展，大数据的使用将成为领先企业与其他企业之间最显著的差别。大数据也成为新的盈利模式，正在推动改革企业的决策模式、运营模式和竞争模式，成为企业发展战略的重要组成部分。 政府对大数据政策的支持 在美国总统奥巴马宣誓就职后的第一个工作日就签发了“开放政府”备忘录（Memorandum on Transparency and Open
Government），指导新一届行政当局从开放政府数据源、建设开放型政府入手，以数字革命带动政府变革。“开放政府”的目的简洁明了：改进公众服务，提升公众信任，更有效管理公共资源和增进政府责任。互联网时代的开放型政府，首先必须开放政府数据。紧随其后，总统签发“开放政府数据”行政令（The Open Government Directive），要求在45天内所有政府部门无一例外必须向社会开放3个有价值的数据源。 在大数据法律方面：美国总统要求超前思考“大数据”对人类社会的影响，重点研究现有技术和未来技术会对现行法律带来哪些挑战，哪些法律和政策需要修订或制定以适应变化。为了更进一步发展大数据产业，美国政府发布了《联邦大数据研发战略计划》，以加速其2012年提出的“大数据研发行动”进程。 应用案例： 大数据在公共设施方面的应用 1.在夏威夷四处可见防海啸警报器，但这些警报器里的电池经常被偷，直接导致政府无法准确掌握各个报警器在紧急状况下能否使用，所以他们利用大数据技术，发明了一个“报警器中的报警器”，可以及时获取所有报警器的实时数据，避免了海啸发生前由于数据无法准确掌握造成的重大损失。
大数据处理技术发展现状及其应用展望
. ,.. 大数据处理技术发展现状及其应用展望 一、定义 著名的管理咨询公司麦肯锡曾预测到：“数据，已经渗透到当今每一个行业和业务职能领域， 成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者 盈余浪潮的到来。”这是大数据的最早定义。业界（于2012年，高德纳修改了对大数据的定义）将大数据的特征归纳为4个“V”（量Volume，多样Variety，价值Value，速Velocity），或者说特点有四个层面：第一，海量数据量。大数据计量单位至少是PB级别；第二，数据 类型繁多。比如，网络日志、视频、图片、地理位置信息等等都是囊括进来。第三，商业价 值高。第四，处理速度快。 在大数据时代，三分技术，七分数据，得数据者得天下。在大数据时代已经到来的时候要用 大数据思维去发掘大数据的潜在价值。Google利用人们的搜索记录挖掘数据二次利用价值， 比如预测某地流感爆发的趋势；Amazon利用用户的购买和浏览历史数据进行有针对性的书 籍购买推荐，以此有效提升销售量；Farecast利用过去十年所有的航线机票价格打折数据， 来预测用户购买机票的时机是否合适。 大数据分析相比于传统的数据仓库应用，具有数据量大、查询分析复杂等特点。对于“大数据”（Big data）研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具 有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 二、大数据的技术 技术是大数据价值体现的手段和前进的基石。我将分别从云计算、分布式处理技术、存储技术和感知技术的发展来说明大数据从采集、处理、存储到形成结果的整个过程。 2.1、云技术 大数据常和云计算联系到一起，因为实时的大型数据集分析需要分布式处理框架来向数十、 数百或甚至数万的电脑分配工作。可以说，云计算充当了工业革命时期的发动机的角色，而大数据则是电。 云计算思想的起源是麦卡锡在上世纪60年代提出的：把计算能力作为一种像水和电一样的 公用事业提供给用户。如今，在Google、Amazon、Facebook等一批互联网企业引领下，一 种行之有效的模式出现了：云计算提供基础架构平台，大数据应用运行在这个平台上。 业内是这么形容两者的关系：没有大数据的信息积淀，则云计算的计算能力再强大，也难以找到用武之地；没有云计算的处理能力，则大数据的信息积淀再丰富，也终究只是镜花水月。 那么大数据到底需要哪些云计算技术呢？这里暂且列举一些，比如虚拟化技术，分布式处理技术，海量数据的存储和管理技术，NoSQL、实时流数据处理、智能分析技术（类似模式识
浅析大数据的特点及未来发展趋势
浅析大数据的特点及未来发展趋势 摘要：随着二十一世纪的到来，人们已经进入了信息化的时代。计算机技术水平越来越先进，给人们的生活带来了极大的便利。在信息化的时代，人们每天接触的信息量成千上万。获取有用的数据，不仅可以有效缩短时间，而且可以满足具体需求。大数据技术正是适应现代社会的发展，从数据量巨大、结构复杂、类型众多的数据中，快速获取有价值的信息。因此本篇文章主要分析了大数据的特点，通过进一步探讨，并对其未来的发展趋势进行展望。 关键词：大数据；特点；发展趋势 大数据是继互联网、云计算技术后世界又一热议的信息技术，近几年来发展十分迅速。大数据技术的出现，给人们的生活带来了极大的便利。我们将生活中的东西数据化之后，就可以采用数据的格式对其进行存储、分析，从而获得更大的价值。 一、大数据技术的特点分析 1）开源软件得到广泛的应用 近几年来，大数据技术的应用范围越来越广泛。在信息化的时代，各个领域都趋向于智能化、科技化。大数据技术研发出来的分布式处理的软件框架Hadoop、用来进行挖掘和可视化的软件环境、非关系型数据库Hbase、MongoDb 和CounchDB等开源软件，在各行各业具有十分重要的意义。这些软件的研发，与大数据技术的发展是分不开的。 2）不断引进人工智能技术 大数据技术主要是从巨大的数据中获取有用的数据，进而进行数据的分析和处理。尤其是在信息化爆炸的时代，人们被无数的信息覆盖。大数据技术的发展显得十分迫切。实现对大数据的智能处理，提高数据处理水平，需要不断引进人工智能技术，大数据的管理、分析、可视化等等都是与人密切相关的。现如今，机器学习、数据挖掘、自然语言理解、模式识别等人工智能技术，已经完全渗透到了大数据的各个程序中，成为了其中的重要组成部分。 3）非结构化的数据处理技术越来越受重视 大数据技术包含多种多样的数据处理技术。非结构化的处理数据与传统的文本信息存在很大的不同，主要是指图片、文档、视频等数据形式。随着云计算技
大数据职业发展方向
大数据职业发展方向 一、大数据的概念及特点： 大数据本身就是一个很抽象的概念，提及大数据很多人也只能从数据量上去感知大数据的规模，大数据被定义为“代表着人类认知过程的进步，数据集的规模是无法在可容忍的时间内用目前的技术、方法和理论去获取、管理、处理的数据。 大数据不是一种新技术，也不是一种新产品，而是一种新现象，是近来研究的一个技术热点。大数据具有以下4个特点，即4个“V”： (1) 数据体量(Volumes) 巨大。大型数据集，从TB级别，跃升到PB级别。 (2) 数据类别(Variety) 繁多。数据来自多种数据源，数据种类和格式冲破了以前所限定的结构化数据范畴，囊括了半结构化和非结构化数据。 (3) 价值(Value) 密度低。以视频为例，连续不间断监控过程中，可能有用的数据仅仅一两秒钟。 (4) 处理速度(Velocity) 快。包含大量在线或实时数据分析处理的需求，1秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同。物联网、云计算、移动互联网、车联网、手机、平板电脑、PC以及遍布地球各个角落的各种各样的传感器，无一不是数据来源或者承载的方式。 二、大数据处理流程： 从大数据的特征和产生领域来看，大数据的来源相当广泛，由此产生的数据类型和应用处理方法千差万别。但是总的来说，大数据的基本处理流程大都是一致的。整个处理流程可以概括为四步，分别是采集、导入和预处理、统计和分析，最后是数据挖掘。 三、大数据分解结构： 第一层面是理论，理论是认知的必经途径，也是被广泛认同和传播的基线。我会从大数据的特征定义理解行业对大数据的整体描绘和定性；从对大数据价值的探讨来深入解析大数据的珍贵所在；从对大数据的现在和未来去洞悉大数据的发展趋势；从大数据隐私这个特别而重要的视角审视人和数据之间的长久博弈。 第二层面是技术，技术是大数据价值体现的手段和前进的基石。我将分别从云计算、分布式处理技术、存储技术和感知技术的发展来说明大数据从采集、处理、存储到形成结果的整个过程。 第三层面是实践，实践是大数据的最终价值体现。。
大数据发展趋势
大数据发展趋势大数据的黄金时代
回顾我国大数据产业保持高速发展态势，各级政府和企业大力推进，技术创新取得明显突破，大数据应用推进势头良好，产业体系初具雏形，支撑能力日益增强。未来大数据产业发展将迎来“黄金时代”，产业集聚将进一步特色化发展，创新驱动仍将是产业发展主基调，大数据融合应用进程加速，为做大做强数字经济、带动传统产业转型升级提供新动力。 商业智能 企业决策正在经历的转变将延续到未来。处理大数据的目标使效率越来越高，成本不断减少，从而造就了基于大数据的商业智能，对中小企业甚至初创公司来说更为重要。这一趋势将延续到未来及以后，处理大数据的成本将继续降低，但以下情况除外： o使用云端商业智能的费用将提高。 o数据分析将提供更好的数据可视化模型和自助式软件。 o向新市场和新地区扩张的决策将基于大数据。 2018年的云趋势 ?创造利基 2018年，更多的人将熟悉云应用，专业化和利基工作将得到发展，就像在所有其他行业里一样，从而带来额外的研究选择和更多的业内竞争。拥有零售、区域性增长等专长的数据科学家将逐渐成为常态。 ?混合云
虽然云提供了便利的大数据存储和处理解决方案，但愿意把“所有”数据都放到云端的企业少之又少。2018年，混合云的使用应该会大幅增长，因为混合云兼具二者的优点，本地数据管理可以与云的便利性结合起来。 ?其他部门也将使用云 通常来说，IT部门是其他部门使用云的“中间人”。然而，云技术的使用已经变得非常简单。现在，销售和营销、人力资源等其他部门也能直接使用云。随着更多的人可以访问敏感信息，安全将成为一个重要问题。 2018年的数据分析 ?数据分析将包含可视化模型 2017年，对2800名商业智能专家的一项调查预测，数据可视化和数据发现将成为一股重要趋势。数据发现的范畴已经扩大，不仅包括对数据分析和关系的理解，还包括呈现数据的方式，以挖掘更深层次的商业洞见。其结果就是，作为一种把数据变成可用洞见的方法，可视化模型越来越受欢迎。日益改善和演变的可视化模型已经成为从大数据中获取洞见的必要组成部分。 人脑能高效地处理视觉图像。在这个过程中，大脑使用了潜意识，让决策者可以通过迅速扫描图像来处理信息。可视化图表利用了大脑的图像识别能力，出色的可视化模型将成为处理庞大数据集的更好选择，也是2018年重要的大数据趋势之一。
大数据发展背景及研究现状
（一）大数据时代的背景 随着计算机存储能力的提升和复杂算法的发展，近年来的数据量成指数型增长，这些趋势使科学技术发展也日新月异，商业模式发生了颠覆式变化。《分析的时代：在大数据的世界竞争》是2016年12月麦肯锡全球研究院（MGI）发表的一份报告。五年前MGI就指出大数据分析在基于定位的服务、美国零售业、制造业、欧盟公共部门及美国健康医疗领域有很大的增长潜力。数据正在被商业化，来自网络、智能手机、传感器、相机、支付系统以及其他途径的数据形成了一项资产，产生了巨大的商业价值。苹果、亚马逊、Facebook、谷歌、通用微软以及阿里巴巴集团利用大数据分析及自己的优势改变了竞争的基础，建立了全新的商业模式。稀缺数据的所有者利用数字化网络平台在一些市场近乎垄断，只需用独特方式将数据整合分析，提供有价值的数据分析，几乎可以“赢家通吃”。2011年全球的数据储量就达到，与2011年相比2015年大数据增长了近4倍，未来十年，全球数据存储量还将增长十倍，大数据成为提升产业竞争力和创新商业模式的新途径。大数据在企业中得到了充分的应用并实现了巨大的商业价值。梅西百货的SAS系统可以根据7300种货品的需求和库存实现实时定价。零售业寡头摩尔玛通过最新的搜索引擎Polaris，利用语义数据技术使得在线购物的完成率提升了10%到15%。我国信息数据资源80%以上掌握在各级政府部门手里，
但很多数据却与世隔绝“深藏闺中”，成为极大的浪费。2015年，国务院印发《促进大数据发展行动纲要》，明确要求“2018年底前建成国家政府数据统一开放平台”；今年5月，国务院办公厅又印发《政务信息系统整合共享实施方案》，进一步推动政府数据向社会开放。1 大数据可以把人们从旧的价值观和发展观中解放出来，从全新的视角和角度理解世界的科技进步和复杂技术的涌现，变革人们关于工作、生活和思维的看法。大数据的应用十分广泛，通过对大规模数据的分析，利用数据整体性与涌现性、相关性与不确定性、多样性与非线性及并行性与实时性研究大数据在公共交通、公共安全、社会管理等领域的应用。大数据与云计算、物联网一起使得很多事情成为可能，将会是新的经济增长点。大数据随着以数据科学为核心的计算机技术的迅猛发展，推动了社会科学与自然科学等跨科学研究的发展。因此对内蒙古乃至全国的大数据研究具有深刻而广泛的意义。 （二）国内外相关研究现状 大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。2大数据充斥着人类经济社会的角角落1人民网 2 6个好用大数据的秘诀
大数据学科发展现状与趋势调研报告
大数据学科发展现状与趋势调研报 告
目录 1 大数据学科发展现状与趋势 (1) 1.1 大数据学科发展现状 (1) 1.2 大数据学科发展趋势 (2) 2大数据热点问题与技术发展趋势 (4) 2.1 大数据热点问题 (4) 2.2 大数据技术发展趋势 (5) 3中国大数据发展战略与建议 (9) 3.1 大数据基础研究的发展战略与建议 (9) 3.2 大数据产业的发展战略与建议 (13)
1大数据学科发展现状与趋势 1.1大数据学科发展现状 大数据研究还处于积累数据、分析现象为主的前科学阶段 不少学者认为，目前的“大数据”主要表现为“研究对象”，是一种需要探索的“现象”。随着采集数据成本的大幅度降低，各行各业都涌现大量非结构化的数据，正在探索存储、处理、分析大数据的新方法，尚未形成反映大数据共性规律的科学理论。观察现象，积累科学数据，从现象中发现规律，是形成物理、化学等科学理论走过的路。牛顿力学就是建立在大量天文学观察的基础上。研究人类社会活动规律的社会科学、以复杂网络为研究对象的网络科学等还处在牛顿力学诞生前的积累数据、分析现象阶段。 现有的大数据理论与模型高度依赖于其他学科，如统计分析、机器学习、分布式系统等，还没有建立起独立于其他学科的理论体系与研究方法论。但大数据基础研究可能不是传统科学的复制和延续，大数据有别于传统数据处理的本质是数据之间的相互关联，相互关联的数据跨越了物理空间、信息空间和人类社会，形成了三元空间交织融合的“数据界”（Data Nature）。数据界的存在仅仅一个现象还是在现象之下的隐藏着一套全新的“数据科学”理论与“数据哲学”理论，目前尚不清晰。 大数据研究将促使科研第四范式逐渐形成，但第四范式的建立也是一个过程，需要发展与已有的三种范式不同的科研方法。科研范式的改变和大数据共性规律的发现可能会交织在一起。估计还需要一段时间的努力大数据才能形成独立的学科。 大数据的科学研究与产业应用脱节 当前经济形势下，纯粹依靠物质资源发展经济的老路已难以为继，而数据是贯彻国家“创新驱动发展”战略的最重要资源。过去几年来，以“BAT”为代表的大型互联网企业已具有与国际大公司竞争的经济实力和技术基础，他们依托自身拥有的巨量数据和现实的应用需求，已经发展出一些初步满足各自底层次需求的大数据解决方案，但在新技术引领未来的竞争优势方面存在诸多不足。我国在
电子商务大数据的发展现状与应用
电子商务大数据的发展现状与应用 随着互联网、云计算和物联网的迅速发展，无所不在的移动设备、RFID、无线传感器每分每秒都在产生数据，数以亿计的用户的互联网服务时时刻刻都在产生巨量的交互数据信息。而基于这些，电子商务产业所产生的大量结构化和半结构化的可视化数据，通过数据挖掘和数据分析等手段，经过过程性和综合性的考量，从而帮助电商企业做全局性、系统性的决策，寻找最优化的解决方案和运营决策，这被称为电商大数据。而与电子商务相关的大数据应用均归属于此概念范畴。 电商产业一般可按照交易方式分为：商业机构对商业机构的电子商务B2B(businesstobusiness)，商业机构对消费者的电子商务B2C(businesstocustomer)，商业机构对政府管理部门的电子商务B2G(BusinesstoGovernment)，消费者对政府管理部门的电子商务C2G(customertoGovernment)，消费者对消费者的电子商务C2C(customertocustomer)。也可按照其主要细分领域分为B2B电子商务、网络购物、在线旅游、O2O。而目前为电商大数据带来庞大的数据来源主要是B2B电子商务和网络购物，如2014年年底电子商务的交易规模达万亿元,电子商务的数据量与日俱增的同时，电商大数据产业从最初的阶段逐渐进入高速发展期。 1.产业政策及发展现状 （1）产业政策 中国大数据发展的宏观政策环境不断完善。2012年以来，科技部、发改委、工信部等部委在科技和产业化专项陆续支持了一批大数据相关项目，在推进技术研发方面取得了积极效果。《电子商务“十二五”发展规划》、《工业和信息化部关于推进物流信息化工作的指导意见》等相关政策无不在鼓励电商大数据的快速发展，国务院总理李克强在十二届全国人大二次会议上作政府工作报告时，提出要促进互联网金融健康发展、扩大跨境电商试点、加快4G发展等，推进城市百兆光纤工程和宽带乡村工程，大幅提高互联网网速，在全国推行“三网融合”，鼓励电子商务创新发展。 ①国务院日前印发《关于大力发展电子商务加快培育经济新动力的意见》部署进一步促
大数据的特征与发展趋势
大数据时代的特征与发展趋势 在云计算、物联网等技术的带动下，中国已步入…大数据?时代。邬贺铨说，我们正在进行一场全新的革命，庞大的数据带来的量化转变将在各领域迅速蔓延，没有哪个领域能够逃脱它的影响。据有关机构测算，大数据已成为全球ＩＴ产业中增长最快的领域。2010年全球大数据以及相关的硬件、软件和服务市场达到30亿美元，2015年将超过170亿美元，平均年增长速度超过50%。作为全球大数据产业的重要组成，中国大数据潜在市场规模未来有望达到2万亿人民币。身处“大数据”时代，中国正多方位布局“大数据”产业，各地政府、通信公司、科研院所、ＩＴ企业等都“摩拳擦掌”，希望能分到“一杯羹”。 1．大数据的含义 大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。大数据”这个术语最早期的引用可追溯到apache org的开源项目Nutch。当时，大数据用来描述为更新网络搜索索引需要同时进行批量处理或分析的大量数据集。随着谷歌MapReduce和GoogleFile System （GFS）的发布，大数据不再仅用来描述大量的数据，还涵盖了处理数据的速度。 2．大数据的特征 关于大数据的特征，业内专业认识人士表示，可以用很多词语来表示。比较有代表性的即为2001年DougLaney最先提出“3V”模型，包括数量(V olume)、速度(Velocity)和种类(Variety)【1】。除此之外，在3V的基础上又提出了一些新的特征。关于第四个V的说法不一，IDC 认为大数据还应当具有价值性(Value)，大数据的价值往往呈现出稀疏性的特点。而IBM 认为大数据必然具有真实性(Veracity)。维基百科对大数据的定义则简单明了：大数据是指利用常用软件工具捕获、管理和处理数据所耗时间超过可容忍时间的数据集【2】。如今，业内人士已经将其扩展到了11个V，包括有效性、可见性等。 下面就目前使用最多的“4V”模型进行分析。“4V”特征主要体现在以下方面： 2.1.规模性（volume） V olume指的是数据巨大的数据量以及其规模的完整性。数据的存储TB扩大到ZB。这与数据存储和网络技术的发展密切相关。数据的加工处理技术的提高，网络宽带的成倍增加，以及社交网络技术的迅速发展，使得数据产生量和存储量成倍增长。实质上，在某种程度上来说，数据的数量级的大小并不重要，重要的是数据具有完整性。数据规模性的应用有如下的体现，比如对每天12 tb的tweets进行分析，了解人们的
大数据发展背景及研究现状
大数据发展背景与研究现状 （一)大数据时代得背景 随着计算机存储能力得提升与复杂算法得发展，近年来得数据量成指数型增长，这些趋势使科学技术发展也日新月异，商业模式发生了颠覆式变化。《分析得时代：在大数据得世界竞争》就是２016年１２月麦肯锡全球研究院（ＭGＩ)发表得一份报告.五年前MGI就指出大数据分析在基于定位得服务、美国零售业、制造业、欧盟公共部门及美国健康医疗领域有很大得增长潜力。数据正在被商业化，来自网络、智能手机、传感器、相机、支付系统以及其她途径得数据形成了一项资产,产生了巨大得商业价值。苹果、亚马逊、Ｆacebｏｏk、谷歌、通用微软以及阿里巴巴集团利用大数据分析及自己得优势改变了竞争得基础，建立了全新得商业模式.稀缺数据得所有者利用数字化网络平台在一些市场近乎垄断,只需用独特方式将数据整合分析，提供有价值得数据分析，几乎可以“赢家通吃"。2０１1年全球得数据储量就达到1、8ZB，与20１1年相比201５年大数据增长了近４倍,未来十年，全球数据存储量还将增长十倍，大数据成为提升产业竞争力与创新商业模式得新途径。大数据在企业中得到了充分得应用并实现了巨大得商业价值。梅西百货得SAS系统可以根据7３00种货品得需求与库存实现实时定价.零售业寡头摩尔玛通过最
新得搜索引擎Polaris,利用语义数据技术使得在线购物得完成率提升了1０％到1５%。我国信息数据资源80％以上掌握在各级政府部门手里，但很多数据却与世隔绝“深藏闺中",成为极大得浪费.2015年，国务院印发《促进大数据发展行动纲要》,明确要求“20１8年底前建成国家政府数据统一开放平台”；今年５月,国务院办公厅又印发《政务信息系统整合共享实施方案》，进一步推动政府数据向社会开放.1 大数据可以把人们从旧得价值观与发展观中解放出来，从全新得视角与角度理解世界得科技进步与复杂技术得涌现,变革人们关于工作、生活与思维得瞧法。大数据得应用十分广泛，通过对大规模数据得分析，利用数据整体性与涌现性、相关性与不确定性、多样性与非线性及并行性与实时性研究大数据在公共交通、公共安全、社会管理等领域得应用。大数据与云计算、物联网一起使得很多事情成为可能，将会就是新得经济增长点。大数据随着以数据科学为核心得计算机技术得迅猛发展，推动了社会科学与自然科学等跨科学研究得发展.因此对内蒙古乃至全国得大数据研究具有深刻而广泛得意义。 (二)国内外相关研究现状 大数据（ｂig data),指无法在一定时间范围内用常规软件工具进行捕捉、管理与处理得数据集合，就是需要新处理模式才 1人民网