大数据时代政府统计的发展趋势

“北京市第十七次统计

科学讨论会”应征论文

大数据时代政府统计的发展趋势

内容提要：

2013年，“大数据”一词火了，成为互联网、新闻媒体、学术机构、政府企业管理人员等多方关注的热点，它在社交网络平台、公共服务单位、数据密集型企业等方面有了许多比较成功的应用。大数据既能快捷准确地提供社会经济的整体变化用于决策，也能让普通的社会公众获得直接可靠的信息服务。一时间，大数据几乎无所不能，甚至有观点认为，大数据时代将不再需要传统的政府统计调查工作了。

作为社会经济数据的生产部门，统计机构必须正视大数据所带来的冲击。本文基于统计的发展过程，介绍分析了“大数据”的产生技术背景、特点及其发展阶段，随后结合当前政府统计的运行现状和特点，重点分析了大数据时代政府统计面临的主要冲击和未来的发展趋势。通过本文可以更好地认识和理解大数据的基本理论，能为政府统计的远期目标和发展思路提供借鉴。

一、大数据时代

（一）数据的生产

语言和文字是人类文明的起源。有了语言，人类才能够互通信息、知情达意；有了文字，人类的思想和活动才能书写记录、往世流传。人类活动的历史有几百万年，有文字信息记载的文明史只有不到一万年。史前蛮荒漫长的岁月里，许多自然界和人类社会值得记录的信号，并未形成数据，信息是一片空白，人类长久地处于无数据时代。

无论是农业社会还是工业社会，除了书写史志，为了全面掌握国家社会经济的资源，执政者都会耗费人时定期或不定期的对人口、土地、商贸数据进行统计核查。随着现代数学的发展以及博彩、生物、医药等领域的需求，描述统计、推断统计的专业使统计成为一门科学，

统计手段变得精细多样，统计数据和统计资料也不再仅限于官方行政记录。

但是拥有数据仍然是需要成本的，统计工作面临着诸多困难。一般情况下，数据需要专职另行收集、需要规范统一整理才能留存、需要经专业分析处理才能易于理解、需要费力翻阅才能查询、需要费力传递才能传输发布等。即便是在信息技术水平迅猛发展的今天，人们仍在数据采集、存储、分析、共享、传输等方面困难重重。人们处于有限数据的时代，只能掌握社会经济整体的一部分信息，数据缺失是常态。

随着信息技术特别是互联网技术应用的发展，社会管理者、企业和个人越来越离不开信息网络，几乎每个人每一时刻都在产生并向各信息终端、平台传送着各种数据，数据的量、种类和结构很快超过传统信息系统的分析处理和存储传输能力。为了获取这样直观上很庞大的数据中的价值，必须选择另一种方式来处理它。为此，人们把各种资源从客户端剥离，集中在云端以便充分发挥效率，面向客户端提供标准化服务，这种新的信息系统架构就是云计算。

（二）云计算

云计算是虚拟化技术、分布式处理、并行处理和网格计算等技术的发展，或者说是这些计算机概念的商业实现1。云计算使计算分布，而非在用户本地或远程的单独服务器中，云端维护者能自由快速地将资源切换到需要的应用上，根据用户需求调整所访问的计算机和存储系统。对用户来说，云计算可以理解为基于网络的软件、平台、基础设施按需供给、自由扩展、按使用付费的应用模式2。

服务器和存储设备的价格日益低廉、城市化和信息化基础的高速建设使云计算有了实现物力基础条件，而互联网企业、大型社交网络平台、公共服务机构、数据型密集行业等为云计算提供了绝佳的应用展示平台。数据信息很快就爆炸性地增长，人们很快从数据匮乏时代跨入了数据泛滥的时代。

（三）从云计算到大数据

云计算对服务提供方的系统架构方式进行了彻底的改变，但用户不会对各种生僻的计算机技术感兴趣，信息技术的推陈出新不能吸引大众的眼球。

公众关注的是应用，面对日益积累起来的海量数据，一方面，在过去没有数据积累的时代无法实现的应用现在终于可以实现；另一方面，如何从海量数据中高效的获取数据，有效的深加工并最终得到感兴趣的数据变的困难。在欣喜夹杂着困扰中，我们迎来了“大数据”这个新词。

大数据本身并不是一种新的技术或产品，而是人们面对一个体量和类别特别大，需要高速实时处理，而其中无价值数据较多的数据集合时的感官称呼，是一种时代现象。

“大数据”时代是信息化发展到今天所形成的一个特定阶段，这与社会进步和科技发展有着密不可分的关系。大数据涵盖的数据量大，包罗万象，变化速度快，存在的形式多种多样，它不再是狭义理解的阿拉伯数字的反映，而是包括文字、图片、视频等多种信息的集合。

毫无疑问，大数据需要云计算，云计算是大数据的IT基础，而大数据是云计算的应用扩展3。云计算把海量数据和可以自由快速扩展的信息资源集中到了云端，大数据则使从数据当中提取信息的常规方式发生了变化。由于自然语言理解、多媒体内容理解、机器学习等技术的发展，计算机可以更好地完成非结构化海量信息的智能化处理，逐步达到学习和模拟人类智能活动并攫取群体行为信息的效果。用户不再依赖传统模型进行抽样后进行统计推断，而是基于规模庞大的数据，利用既有软件快速有效地分析得出人的行为习惯方式，或总结出社会经济的总量结构信息。

大数据所使用的仍然是云计算的核心技术。以著名的大数据应用框架Google的Hadoop 为例：HDFS实现数据的分布式存储，并且实现冗余备份；Map-Reduce实现计算任务的分布化，尽量使到某个节点的计算任务主要面对存储在本地的数据，以减少跨节点的网络数据传送；海量数据管理技术：BT(BigTable)数据管理技术、开源列式数据管理模块HBase；常用数据分析工具Hive；NoSQL等等4。

（四）大数据时代

大数据时代也有其阶段性5。

企业由于自身业务需求产生大量数据，而需要利用这些数据进行深入分析以优化相关业务，这是企业用自身业务数据指导自己决策。企业经济效益，是推动大数据的最初始和直接的驱动力6。

在互联网企业异军突起的今天，企业有动力、有能力搜集与目标业务直接或间接相关的庞大数据，建立复杂的分析和预测模型输出结果。这个时候，数据就是决策。

在未来，大数据时代，对各种数据产生明确的法律规范，能够准确地进行数据量化与保障，使得数据的质量、价值、安全等得到标准化。这时候，数据获取和数据分析处理的工作将彻底剥离，数据运营商、数据市场、数据产品、数据中介等出现，学术团体、企业和政府将成为数据的最终分析用户，专注于研究各专业领域的分析工具、统计算法、业务预测等。

二、从大数据到政府统计

（一）政府统计的发展现状

统计已不是最初的简单计数活动，而已成为国家搜集资料、弄清国情、指导决策的重要手段和依据。市场经济条件下，各主体能自主决定资源如何支配，政府及经济管理部门需要了解经济的规模、结构、发展水平、效益等动态，更需要统计，政府统计调查是经济社会管理部门最主要的数据获取手段。

综合政府统计机构（统计局）通过调查处理，得到反映经济运行状况的基本数据，主要包括人口及劳动力、GDP、农业、工业、建筑业、贸易业、人民生活、价格等。再从相关部门取得财政、金融、运输、邮电、教育、文化、科技、卫生、环保等反映经济社会发展的统计数据。这些数据再通过公报、年鉴、新闻发布、进度资料等形式进行公布。

目前统计局的统计调查采用了全面定期统计、抽样调查、普查、重点调查、典型调查等方法，基本业务开展仍遵循制度设计、调查采集、数据整理上报、数据发布与开发利用的顺序流程。近年来，统计工作信息化水平有较大提高，伴随着联网直报系统等信息化项目的应用推广，政府统计逐步实现了网络采集传输、集中存储处理、多工具分析。

当前政府统计遇到的问题主要表现在数据质量不高、统计产品短缺陈旧、数据权威性受到威胁等方面，问题根源主要是政府统计的制度、机构长期简单固定，不能适应我国向市场体制转轨时期经济活动快速多变的特点。因此，关于政府统计改革的方向建议多集中于强化质量控制、丰富统计指标、改进统计方法、改善与被统对象关系等方面，加强统计的独立和中立、整合现有数据资源等基本目标缺乏手段，政府统计调查系统仍然是数据特别是宏观经济数据的主要直接生产者7。

（二）大数据时代对现有政府统计的根本冲击

大数据时代，各种信息网络平台全面覆盖，不仅使数据爆炸性增长，而且使巨量数据实时在线可用，大数据时代数据更加准确、质量更高，数据的发布更新实时快捷，分析应用多样灵活、贴近公众需求，数据对社会整体的代表性不断增强。通过攫取海量的数据资源中的蕴含信息，能够初步满足宏观分析、行业研究、微观决策的需要。

本质上，数据的生产和应用方式发生了巨大的变革。每个社会单位都是数据生产者和提供者，数据不再仅仅依赖政府统计系统才能生产出来；数据先天地存储于信息平台的所有者手中，政府统计机构不再是数据的绝对拥有者；大量用户能够方便地使用海量数据供己所需，传统政府统计机构不再是数据的唯一发布者和解释人。这才是最大的危机！

社会生活的支撑、管理、监控越来越依赖于既有的信息平台，通讯、电力、金融、电商、

搜索引擎等信息平台的拥有者也是数据的拥有者，在大数据时代占了先机。如果政府统计继续在现有静态的框架下封闭运行，就无法反映经济社会发展的变化情况，无法实现统计信息、统计咨询和实行统计监督的功能，势必被边缘化。

三、大数据时代政府统计的发展趋势

（一）政府统计的未来角色

大数据时代，政府统计应该成为社会经济发展的权威、全面数据的主要提供者，是政府掌握的有关社会管理和运行的行政记录信息标准规范制定者和数据结果发布者。政府统计应该整合多方行政记录信息，结合自身采集数据补充，构建权威的社会经济数据在线平台。作为数据整合发布维护的部门，政府统计不再是数据的主要直接生产者，不再全面专注于一线的统计采集工作。

数据是政府统计的生命源泉，分析报告是政府统计的成果之一。对分析用户来说，数据不是越多越好，越多的数据容易混淆了相关性和因果性。大数据时代的分析需要深厚地背景知识和海量灵活的统计分析工具，单一机构专职从事分析工作会使思路狭隘、结果偏颇，或者陷于数据泥沼而不能自拔。

社会生活涵盖了无数方面，政府统计不能独自去分析所有的应用方向。可以预见，未来经济分析的职能会被更为专业的经济分析部门取代，政府统计的分析应着重于宏观经济数据的必要基础分析，预测和扩展性的分析应用会组织多方力量在政府统计所掌握的数据基础上进行研究开发。

（二）改进统计工作

为了转换政府统计的角色，需要全面改进当前的政府统计获取、整理和分析客观事物总体数量方面资料的工作过程，重塑统计基础、强化技术支撑、推动应用社会化，全面提升统计能力。

1、多渠道智能获取数据

统计工作必须适应大数据时代的变化和要求，通过有效利用客观存在的海量数据，能够有效降低统计调查成本，减轻被调查者的负担，缓解被调查者配合程度降低的矛盾，能够提高统计数据的即时性，缩短统计数据生产周期，改善统计数据的质量8。

首先是应用行政记录于统计上要有所突破，这是进一步开发应用现有行政资源，涉及到政府机构内部机构间的协调，打破法律、版权等制度性限制，制定标准吸收规范9。

其次是改革现有统计方法制度，允许政府统计利用高科技手段快速直接获取企业信息系

统的原始生产经营相关数据。

经济社会的生活是多种层面的，政府综合统计部门仍然需要直接采集数据，才能全面反映社会经济的总体情况。大数据时代，政府统计直接采集数据有两个基本要求：一是压缩调查规模，数据采集有针对性和数据互补性；二是技术手段稳定多样，智能快速，大大降低人的参与因素和干扰可能。

大数据时代的自动智能数据采集将使得数据生产应主要依赖于机器客观测量，如GPS 定位测量、超市收银管理系统、ETC电子收费系统等等，而不需要调查对象长期、认真的配合10。

当前政府综合统计发展建设的全国联网直报系统等系统很大程度上规范了统计人员的工作方式，但也仅是统计信息化建设在传统统计体制下，严控直接采集数据质量的强化措施，数据生产过程中人的参与程度仍然很高，距离大数据条件下的快速智能的采集还有很大距离。

2、构建真正的大数据平台

大数据的根本意义不在于掌握庞大的静态数据，如果不以云计算架构进行组织部署，那数据就只是分割封闭、相互没有联系的一团乱麻，没有广泛分析利用的可能。

美国的政府网站https://www.360docs.net/doc/af904053.html,便是一个公开数据的大平台。目前在上面约有超过40万种原始数据文件，涵盖了农业、气象、金融、劳资、交通、能源等近五十个分类11。世界银行2010年发起“数据公开”运动，让数据能得到更广泛的应用，带来的社会与经济价值远超于数据出售业态。大数据时代，政府统计应建设容量足够大的IT基础设施，容纳所有采集到的数据信息，将历史和现有原始数据文件整理归集到系统中，构建成在线公开的官方统计数据平台。未来政府统计部门将公平公开地开放数据，所有单位个人都将能从统计机构的网站上免费获取到需要的、标准统一的、格式开放的数据。

3、体现数据的价值

数据只有被人们使用，才会变成有用的信息，统计成果需要新的展现方式和形式。

除了公布原始基础数据，政府统计数据平台应该具备权威客观、公开透明的基本经济指标算法、口径和初步结果，这些成果应该通过标准的官方经济核算应用以信息产品的形式对外提供。

政府统计应该利用专业的技术力量和成果，提高数据挖掘分析能力，对巨量原始数据进行专业化处理，将非标准化数据转换为标准化统计数据，从而打好对数据进行“增值”的基础。

由于有更好的实践、行业、专业的背景，社会经济各领域的重要应用问题是掌握在本领域的专家手中，具有共性的大数据科学问题并不多。在可预见的大数据时代，计算机专家和数据提供方只在具体应用分析过程中起到辅助作用，深层次的分析应用和复杂的研究预测仍然是该领域或行业内部的工作。大量的第三方机构和业内人士会依托政府统计数据平台，分析挖掘数据之间的内在关系，寻找更多有价值的信息，深入开发基于大数据的行业应用。