大数据技术进展与发展计划趋势

大数据技术进展与发展趋势

在大数据时代，人们迫切希望在由普通机器组成的大规模集群上实现高性能的以机器学习算法为核心的数据分析，为实际业务提供服务和指导，进而实现数据的最终变现。与传统的在线联机分析处理OLAP不同，对大数据的深度分析主要基于大规模的机器学习技术，一般而言，机器学习模型的训练过程可以归结为最优化定义于大规模训练数据上的目标函数并且通过一个循环迭代的算法实现，如图4所示。因而与传统的OLAP相比较，基于机器学习的大数据分析具有自己独特的特点[24]。图4 基于机器学习的大数据分析算法目标函数和迭代优化过程（1）迭代性：由于用于优化问题通常没有闭式解，因而对模型参数确定并非一次能够完成，需要循环迭代多次逐步逼近最优值点。（2）容错性：机器学习的算法设计和模型评价容忍非最优值点的存在，同时多次迭代的特性也允许在循环的过程中产生一些错误，模型的最终收敛不受影响。（3）参数收敛的非均匀性：模型中一些参数经过少数几轮迭代后便不再改变，而有些参数则需要很长时间才能达到收敛。这些特点决定了理想的大数据分析系统的设计和其他计算系统的设计有很大不同，直接应用传统的分布式计算系统应用于大数据分析，很大比例的资源都浪费在通信、等待、协调等非有效的计算上。传统的分布式

计算框架MPI（message passing interface，信息传递接口）[25]虽然编程接口灵活功能强大，但由于编程接口复杂且对容错性支持不高，无法支撑在大规模数据上的复杂操作，研究人员转而开发了一系列接口简单容错性强的分布式计算框架服务于大数据分析算法，以MapReduce[7]、Spark[8]和参数服务器ParameterServer[26]等为代表。分布式计算框架MapReduce[7]将对数据的处理归结为Map和Reduce两大类操作，从而简化了编程接口并且提高了系统的容错性。但是MapReduce受制于过于简化的数据操作抽象，而且不支持循环迭代，因而对复杂的机器学习算法支持较差，基于MapReduce的分布式机器学习库Mahout需要将迭代运算分解为多个连续的Map 和Reduce 操作，通过读写HDFS文件方式将上一轮次循环的运算结果传入下一轮完成数据交换。在此过程中，大量的训练时间被用于磁盘的读写操作，训练效率非常低效。为了解决MapReduce上述问题，Spark[8] 基于RDD 定义了包括Map 和Reduce在内的更加丰富的数据操作接口。不同于MapReduce 的是Job 中间输出和结果可以保存在内存中，从而不再需要读写HDFS，这些特性使得Spark能更好地适用于数据挖掘与机器学习等需要迭代的大数据分析算法。基于Spark实现的机器学习算法库MLLIB 已经显示出了其相对于Mahout 的优势，在实际应用系统中得到了广泛的使用。近年来，随着待分析数据规模的迅速扩

张，分析模型参数也快速增长，对已有的大数据分析模式提出了挑战。例如在大规模话题模型LDA 中，人们期望训练得到百万个以上的话题，因而在训练过程中可能需要对上百亿甚至千亿的模型参数进行更新，其规模远远超出了单个节点的处理能力。为了解决上述问题，研究人员提出了参数服务器（Parameter Server）的概念[26]，如图5所示。在参数服务器系统中，大规模的模型参数被集中存储在一个分布式的服务器集群中，大规模的训练数据则分布在不同的工作节点（worker）上，这样每个工作节点只需要保存它计算时所依赖的少部分参数即可，从而有效解决了超大规模大数据分析模型的训练问题。目前参数服务器的实现主要有卡内基梅隆大学的Petuum[27]、PSLit[28]等。图5 参数服务器工作原理在大数据分析的应用过程中，可视化通过交互式视觉表现的方式来帮助人们探索和理解复杂的数据。可视化与可视分析能够迅速和有效地简化与提炼数据流，帮助用户交互筛选大量的数据，有助于使用者更快更好地从复杂数据中得到新的发现，成为用户了解复杂数据、开展深入分析不可或缺的手段。大规模数据的可视化主要是基于并行算法设计的技术，合理利用有限的计算资源，高效地处理和分析特定数据集的特性。通常情况下，大规模数据可视化的技术会结合多分辨率表示等方法，以获得足够的互动性能。在科学大规模数据的并行可视化工作中，主要涉及数据流线化、任务并行

化、管道并行化和数据并行化4 种基本技术[29]。微软公司在其云计算平台Azure 上开发了大规模机器学习可视化平

台（Azure Machine Learning），将大数据分析任务形式为有向无环图并以数据流图的方式向用户展示，取得了比较好的效果。在国内，阿里巴巴旗下的大数据分析平台御膳房也采用了类似的方式，为业务人员提供的互动式大数据分析平台。3大数据技术发展趋势随着对大数据技术的不断发展和研究，其各个环节的技术发展呈现出新的发展趋势和挑战。2015年12月，中国计算机学会（CCF）大数据专家委员会发布了中国大数据技术与产业发展报告[30]，并对中国大数据发展趋势进行了展望，主要包含以下6个方面。1）可视化推动大数据平民化近几年大数据概念迅速深入人心，大众直接看到的大数据更多是以可视化的方式体现。可视化是通过把复杂的数据转化为可以交互的图形，帮助用户更好地理解分析数据对象，发现、洞察其内在规律。可视化实际上已经极大拉近了大数据和普通民众的距离，即使对IT技术不了解的普通民众和非技术专业的常规决策者也能够更好地理

解大数据及其分析的效果和价值，从而可以从国计、民生两方面都充分发挥大数据的价值。建议在大数据相关的研究、开发和应用中，保持相应的比例用于可视化和可视分析。2）多学科融合与数据科学的兴起大数据技术是多学科多技术

领域的融合，数学和统计学、计算机类技术、管理类等都有

涉及，大数据应用更是与多领域产生交叉。这种多学科之间的交叉融合，呼唤并催生了专门的基础性学科——数据学科。基础性学科的夯实，将让学科的交叉融合更趋完美。在大数据领域，许多相关学科从表面上看，研究的方向大不相同，但是从数据的视角看，其实是相通的。随着社会的数字化程度逐步加深，越来越多的学科在数据层面趋于一致，可以采用相似的思想进行统一研究。从事大数据研究的人不仅包括计算机领域的科学家，也包括数学等方面的科学家。希望业界对于大数据的边界采取一个更宽泛、更包容的姿态，包容所谓的“小数据”，甚至将领域的边界泛化到“数据科学”所对应的整个数据领域和数据产业。建议共同支持“数据科学”的基础研究，并努力将基础研究的成果导入技术研究和应用的范畴中。3）大数据安全与隐私令人忧虑大数据带来的安全与隐私问题主要包括以下3个方面：第一，大数据所受到的威胁也就是常说的安全问题，当大数据技术、系统和应用聚集了大量价值时，必然成为被攻击的目标；第二，大数据的过度滥用所带来的问题和副作用，比较典型的就是个人隐私泄露，还包括大数据分析能力带来的商业秘密泄露和国家机密泄露；第三，心智和意识上的安全问题。对大数据的威胁、大数据的副作用、对大数据的极端心智都会阻碍和破坏大数据的发展。建议在大数据相关的研究和开发中，保持一个基础的比例用于相对应的安全研究，而让安全方面

产生实质性进步的驱动力可能是对于大数据的攻击和滥用

的负面研究。4）新热点融入大数据多样化处理模式大数据的处理模式更加多样化，Hadoop不再成为构建大数据平台的必然选择。在应用模式上，大数据处理模式持续丰富，批量处理、流式计算、交互式计算等技术面向不同的需求场景，将持续丰富和发展；在实现技术上，内存计算将继续成为提高大数据处理性能的主要手段，相对传统的硬盘处理方式，在性能上有了显著提升。特别是开源项目Spark，目前已经被大规模应用于实际业务环境中，并发展成为大数据领域最大的开源社区。Spark拥有流计算、交互查询、机器学习、图计算等多种计算框架，支持Java、Scala、Python、R等语言接口，使得数据使用效率大大提高，吸引了众多开发者和应用厂商的关注。值得说明的是，Spark系统可以基于Hadoop 平台构建，也可以不依赖Hadoop平台独立运行。很多新的技术热点持续地融入大数据的多样化模式中，形成一个更加多样、平衡的发展路径，也满足大数据的多样化需求。建议将大数据研究和开发有意识地链接和融入大数据技术生态中，或者利用技术生态的成果，或者回馈技术生态。5）深度分析推动大数据智能应用在学术技术方面，深度分析会继续成为一个代表，推动整个大数据智能的应用。这里谈到的智能，尤其强调是涉及人的相关能力延伸，比如决策预测、精准推荐等。这些涉及人的思维、影响、理解的延展，都将

成为大数据深度分析的关键应用方向。相比于传统机器学习算法，深度学习提出了一种让计算机自动学习产生特征的方法，并将特征学习融入建立模型的过程中，从而减少了人为设计特征引发的不完备。深度学习借助深层次神经网络模型，能够更加智能地提取数据不同层次的特征，对数据进行更加准确、有效的表达。而且训练样本数量越大，深度学习算法相对传统机器学习算法就越有优势。目前，深度学习已经在容易积累训练样本数据的领域，如图像分类、语音识别、问答系统等应用中获得了重大突破，并取得了成功的商业应用。预测随着越来越多的行业和领域逐步完善数据的采集和存储，深度学习的应用会更加广泛。由于大数据应用的复杂性，多种方法的融合将是一个持续的常态。建议保持对于智能技术发展的持续关注。在各自的分析领域（如在策划阶段、技术层面、实践环节等）尝试深度学习。6）开源、测评、大赛催生良性人才与技术生态大数据是应用驱动，技术发力，技术与应用一样至关重要。决定技术的是人才及其技术生产方式。开源系统将成为大数据领域的主流技术和系统选择。以Hadoop为代表的开源技术拉开了大数据技术的序幕，大数据应用的发展又促进了开源技术的进一步发展。开源技术的发展降低了数据处理的成本，引领了大数据生态系统的蓬勃发展，同时也给传统数据库厂商带来了挑战。新的替代性技术，都是新技术生态对于旧技术生态的侵蚀、拓展和进

化。对数据处理的能力、性能等进行测试、评估、标杆比对的第三方形态出现，并逐步成为热点。相对公正的技术评价有利于优秀技术占领市场，驱动优秀技术的研发生态。各类创业创新大赛纷纷举办，为人才的培养和选拔提供了新模式。大数据技术生态是一个复杂环境。2016年，“开源”会一如既往占据主流，而测评和大赛将形成突破性发展。建议不要闭门搞大数据技术和系统，要开门融入世界性的技术生态中。4结论大数据技术的兴起正完成对各传统领域的颠覆。全球范围内，运用大数据推动经济发展、完善社会治理、提升政府服务和监管能力正成为趋势。各国已相继制定实施大数据战略性文件，大力推动大数据发展和应用。从全球大数据发展的趋势来看，大数据产业推动社会生产要素的网络化共享、集约化整合、协作开发和高效利用，改变了传统的生产方式和经济运行机制，可显著提升经济运行水平和效率。中国是数据生产大国。目前，中国互联网、移动互联网用户规模居全球第一，拥有丰富的数据资源和应用市场优势。如果能在大数据管理和分析技术的研发与应用方面取得突破，可持续推动互联网创新企业和创新应用的高速成长。（编辑韩丹岫）参考文献（略）作者简介：程学旗，中国科学院计算技术研究所/中国科学院网络数据科学与技术重点实验室，研究员，研究方向为网络科学与社会计算、互联网搜索与挖掘、网络信息安全等；杨婧（通信作者)，中国科学院计算技

术研究所/中国科学院网络数据科学与技术重点实验室，博士，研究方向为最优化查询、数据挖掘等。

注：本文发表在《科技导报》2016年第14期，欢迎关注。由于字数限制，本文不得不省略摘要及参考文献部分，详细内容请见纸版期刊。本文为头条号作者发布，不代表今日头条立场。