公安大数据处理平台的探索

2014年第3期广东公安科技总第117期公安大数据处理平台的探索*

吕益民1宫夏屹2聂春华1

(1.广州市公安局科技通信处，广东广州510030;

2.中国航天科工集团二院北京仿真中心，北京100854)

摘要本文通过对大数据应用的发展现状和广州公安视频数据进行分析，从广州市公安局对大数据应用的需求出发，构建了公安大数据支撑平台的体系架构，并提出建设一个用于解决视频及

图像等大数据存储、分析处理等问题的公安大数据处理平台的构想。

关键词公安大数据平台

引言

大数据是指无法在一定时间内用传统数据库软件工具对其内容进行抓取、管理和处理的数据集合。［1］业界将其归纳为4个“V”———Volum、Variety、Value、Velocity，即具有4个典型特征：第一，数据大体量巨大，从TB级别跃升到PB级别；第二，数据类型繁多，网络日志、视频、图片、位置信息等等；第三，价值密度低，以视频为例，连续不间断监控过程中，可能有用数据只有几秒；第四，速度快，俗称“秒级定律”，即速度要求很高，一般要在秒级时间给出分析结果，时间太长就失去价值［2］。目前大数据的研究和应用已成为各行业数据研究的重点。

当前，各行业数据爆发性增长，亟需转变数据处理模式。在公共安全领域，治安系统、智能交通视频数据呈井喷式增长，已显现出行业大数据的典型特征。如广州的社会治安视频监控系统，目前进入第二期建设阶段，如果我们将社会上所有的视频监控数据都接入公安系统，每天将产生PB规模的视频、图像及相关数据。如何对如此大规模的数据进行智能、高效的组织管理和分析处理，在此海量信息中提取有用信息，以辅助公安机关开展治安防控、警情研判及指挥决策已成为当前公安业务中亟需解决的难题。针对这些难题，我们就需要建立面向公安大数据的处理平台。有鉴于此，我们从广州市公安局对大数据的应用出发，研究分析出一种用于解决视频及图像等大数据存储、分析处理等问题的公安大数据处理平台。该平台通过综合运用云计算、云存储、并行数据挖掘等技术，针对图像、视频等非结构化数据开展存储、挖掘和联动分析等应用研究。

1大数据应用技术及公安业务现状分析

从2009年开始，“大数据”逐渐成为互联网信息技术行业的热门词汇。美国互联网数据中心指出，互联网上的数据每年将增长50%，每两年便将翻一番，而目前世界上90%以上的数据是最近几年才产生的。“大数据”作为一个较新的概念，目前尚未直接以专有名词被我国政府提出来给予政策支持。不过，在工信部发布的物联网“十二五”规划上，把信息处理技术作为4项关键技术创新工程之一被提出来，其中包括了海量数据存储、数据挖掘、图像视频智能分析，这都是大数据的重要组成部分。而另外3项关键技术创新工程，包括信息感知技术、信息传

*首届公安信息化建设优秀论文评选活动优秀论文

2014(3)吕益民等:公安大数据处理平台的探索

输技术、信息安全技术，也都与“大数据”密切相关。大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。

国内学者针对大数据分析平台应具备的重要特性进行研究，并对当前的主流实现平台———并行数据库、MapＲeduce及基于两者的混合架构进行了分析归纳；基于虚拟化管理技术和Hadoop平台构建基于云计算的动态可伸缩的海量数据处理平台，并应用于电网海量数据的处理、信息情报机构内部数据挖掘、电信运行数据分析处理等［3］。在数据挖掘方法上，针对云计算环境下的大数据存储，提出基于协同计算模型的分布式数据的协同管理和任务的协同调度方法［4］；基于网格划分的大数据离群点监测方法［5］；以及基于粗糙集、聚类分析等方法的大数据挖掘方法［6］；部分学者针对大数据的压缩技术进行了研究。

通过对国内在大数据方面的研究工作进行分析，可以发现目前大数据的研究还比较零散，在大数据处理平台架构上大多基于Ha-doop技术，大量的研究集中在大数据的挖掘分析方法上，还没有形成支撑大数据处理平台开发的相关技术体系。而数据挖掘技术在公安工作中的研究与应用尚处于起步阶段，许多公安业务信息系统还停留在初级处理水平，缺乏综合性的开发应用，智能化的分析研判，科学性的决策预警。

公安业务领域中治安系统、智能交通视频数据呈爆发性增长，具有非结构化等大数据典型特征，也是政府部门重要的信息资源。各类视频监控系统仍在进行补充建设及高清化处理能力，预计未来广州市公安业务领域每天将产生PB规模的视频及图像数据。

面对海量的公安业务数据，我们面临以下难题：1）如何从海量数据中获取支持公安业务的关联特征？2）如何对公安视频类大数据进行高效组织、智能分析处理？3）如何应用大数据辅助公安人员快速开展治安防控、警情研判及指挥决策？同时，如何发掘公安信息资源价值，提高公安大数据的利用率也是当前公安大数据应用关注的重点问题。

结合以上需求分析，针对公安领域视频、图像数据规模大、数据关联性强等特点，亟需公安大数据处理平台的系统性研究。

2公安大数据支撑平台体系架构

针对公安领域视频、图像等非结构化数据所具有的容量大、多样性、非结构化、冗余度大等特点，以及实际业务中快速开展大数据分析处理的应用需求，研究提出支持横向扩展，具有分布、并行、高效特点的基于云计算的大数据处理平台的体系架构。

公安大数据处理支撑平台在逻辑上表现为一种层次架构，自上而下包括应用层、数据处理层、数据存储层、中间件层和资源层。而相关的标准、规范和安全机制贯穿所有层次。

应用层：面向视频、图像等大规模数据的公安业务应用，提供智能监控、事态预测、统计分析、分析模拟、指挥决策等核心应用服务。

数据处理层：面向应用，在大数据分布式存储和管理的基础上，基于MapＲeduce技术框架，提供视频、图像大数据的索引描述、特征提取、并行数据挖掘、智能关联分析等支撑服务。

数据存储层：实现大数据的高效存储和高并发访问控制，基于Hadoop技术体系，综合应用HDFS、Hbase、Hive，提供数据检索、存储监控、负载均衡、容灾备份等支撑服务，实现结构化、非结构化数据的集中管理。

中间件层：为支撑平台提供运行所需的基础中间件，主要包括虚拟化服务化中间件、资源管理与集成中间件、分布式存储中间件。

资源层：为大数据平台的运行提供基础支撑，包括存储服务器、计算服务器等高性能硬件资源，结构化和非结构化的数据资源，以及各类感知资源。

3构建公安大数据平台要解决的关键问题

构建一个能够有效支撑广州市公安局大

吕益民等:公安大数据处理平台的探索

2014(3)

数据应用的平台，需要着重考虑应用模式、标准规范、海量存储、海量数据并行挖掘等几个关键问题：

3.1公安大数据处理平台应用模式的问题

如何全时空地对治安系统、智能交通系统产生的视频图像等大数据进行分析处理，就需要解决公安大数据处理平台应用模式的问题。

我们初步考虑将治安监控视频、图像和卡口的视频、图像等异构的数据资源接入大数据处理平台，通过分布式存储和并行数据挖掘，提供在线实时监控模式和离线统计分析模式两种应用模式，对各类公安大数据全方位地进行实时和离线分析处理。如图1所示。

3.2

大数据处理应用标准规范的问题“标准先行”已成为当前各行业数据应用

的共识，有了标准数据才能共享，才能支撑公安大数据处理平台应用的开展。

本文从技术标准体系及应用标准体系两

个方面研究大数据的相关标准规范，包含各类大数据资源的接入标准，大数据处理平台的各类接口标准，各类大数据处理服务的标准等，此外还包括大数据的应用标准，如对接相关公安行业标准，各类平台应用的安全标准等。大数据处理应用标准体系如图2所示。

图1

大数据分析处理的应用模式

图2大数据处理的标准体系

3.3

大数据海量存储问题

“大数据”来袭时，传统的数据存储方式已不能满足要求，需要开展分布式存储的研究，大数据分布式存储主要考虑以下几个问题：

3.3.1

存储资源管理方法

为了解决集群存储环境下的存储资源管理问题，采用存储资源映射方法通过在物理存储资源和虚拟存储资源请求之间建立合理的映射关系，来进行有效的存储资源管理。

本文提出合理的集群存储资源映射方法，将虚拟存储资源请求均匀地分配到节点上，然后进行节点内部设备级别的资源映射。

3.3.2支持多用户的资源使用和存储环境隔离机制

当用户数量增多，有限的存储资源已经不能满足用户对该类资源的需求时，用户与资源的矛盾就会突显出来。解决这种矛盾的最有效办法就是采取有效资源共享机制，将有限数量的资源按需动态共享给多个用户使

2014(3)吕益民等:公安大数据处理平台的探索

用。此外，在存储资源共享的同时，从用户角度看每个应用系统是独立的，不依赖于其他应用系统运行而运行，也不受其他应用系统和资源的运行结果影响，因此需要存储环境隔离技术来屏蔽各个应用系统对存储资源运行的互相影响。

我们利用存储虚拟化技术来整合不同厂商的存储系统。通过隔离主机层与物理存储资源，存储虚拟化技术可以将来自于不同存储设备（即使是不同厂商的设备）的存储容量汇集到一个共享的逻辑资源池中，这样存储的管理就更容易了。任何单体存储阵列所创建的物理卷的容量都是有限制的，而多个异构的存储系统联合在一起就可以创建出一个更大的逻辑卷。

3.3.3基于Hadoop的大数据存储机制

大数据的各类描述方式的多样性，存在着结构化数据、半结构化数据和非结构化数据需要进行处理。对于结构化数据，虽然现在出现了各种各样的数据库类型，但通常的处理方式仍是采用关系型数据知识库进行处理；对于半结构化和非结构化的数据，Ha-doop框架提供了很好的解决方案。

Hadoop分布式文件系统HDFS是建立在大型集群上可靠存储大数据的文件系统［7］，是分布式计算的存储基石。基于HFDS的Hive和HBase能够很好地支持大数据的存储。具体来说，使用Hive可以通过类SQL语句快速实现MapＲeduce统计，十分适合数据仓库的统计分析。HBase是分布式的基于列存储的非关系型数据库，它的查询效率很高，主要用于查询和展示结果；Hive是分布式的关系型数据仓库，主要用来并行处理大量数据。将Hive与HBase进行整合，共同用于大数据的处理，可以减少开发过程，提高开发效率。使用HBase存储大数据，使用Hive提供的SQL查询语言，可以十分方便地实现大数据的存储和分析。其原理如图3所示

。

3.4海量数据并行挖掘技术

数据挖掘技术已经在各行业数据分析处理方面得到成功应用，针对大数据的特征，需要对现有数据挖掘技术进一步改进和完善，下面主要考虑三个方面的技术问题。

3.4.1面向多源整合的大数据索引和描述技术

要实现大数据的并行挖掘，首先就需要建立多源数据的索引和描述，常规索引建立主要分为三个方面：公共安全数据分类索引构建，空间数据Ｒ树索引构建，层次索引树建立。大数据具有多类别的特点，针对这一特征，建立以类别为内容的分类索引，通过分类索引的综合查询到所需的专题数据。具体而言，我们将采用存储索引模型—层次索引树访问数据、Ｒ树索引和分类索引共同构成一个统一的接口，即构造了一个统一的访问接口与用户交互，用户通过该接口对大数据进行访问，这样就能针对多源大数据建立关联。

吕益民等:公安大数据处理平台的探索2014(3

)

图4

大数据索引描述示意图

3.4.2基于分布并行的特征提取、视频

摘要加速技术

当前针对视频、图像的特征提取及视频摘要技术，效率较低，非常耗费时间。要进行特征提取、视频摘要的高效快速处理，采用并行处理进行加速可以得到非常好的效果。本文中将采用CUDA 架构实现特征提取、视频摘要的高速处理。CUDA 提供了一个非常强大方便的GPU 处理平台，被广泛应用于科学计算、图形图像等众多领域，并且在很多应用中获得了最低几倍、最高上百倍的加速比。

3.4.3云计算环境下的并行数据挖掘算

法与策略

针对大规模海量数据，需研究采用云计算环境下的并行数据挖掘算法与策略。算法和策略模型为并行数据挖掘的核心环节，将对现有应用较多的聚类算法、分类算法、关联规则算法等方法基于MapＲeduce 计算模型进行改进，主要从数据集的扫描及分解和归约等方面开展并行性的改进研究，并结合具体应用比较不同方法的性能及适用的数据类型。

MapＲeduce 可将并行编程中复杂的业务逻辑中进行抽象化，将简单的计算作为接口展现在前面，而对复杂的并行化处理、容错、数据分布和负载平衡均进行了隐藏。MapＲe-duce 主要是Map 和Ｒeduce 两个操作上的概念。Map 操作主要是对一组输入记录进行处

理，处理的方式是根据典型的key /value 键值的方式。Ｒeduce 操作是针对上述键值进行简单的汇总处理。通过这种简洁的方式，将现实生活中的很多任务都能够描述出来。用这种方式编写的程序能够自动分布到一个由普通机器组成的超大机群上并发执行。系统会解决输入数据的分布细节，跨越机器集群的程序执行调度，处理机器的失效，并且管理机器之间的通信请求。这样的模式允许程序员可以不需要有什么并发处理或者分布式系统的经验，就可以处理超大的分布式系统的

资源。如图5，针对公安大数据的一个并发程序模型可以清晰地看到整个算法的执行流程

：

图5

基于MapＲeduce 的并行挖掘策略

4

公安大数据平台的应用展望

我们提出在公安大数据支撑平台的体系架构基础上构建公安大数据平台，将承载以下应用：

4.1

视频数据智能分析

围绕公安各业务领域，在平台上构建多

层次全方位的视频信息化应用，实现公安内部跨警种信息检索、信息共享及协同应用；与PGIS 平台结合，形成视频的VGIS ，提供海量视频实时快速检索、视频智能关联检索、视频时空分析研判、目标运动轨迹的动态标绘和预测等功能。

实现基于公安大数据的事前防范、事后处理为一体的综合应用体系，结合智能视频分析处理功能提高广州市公安机关的业务智能，对这一系列业务流程及业务中所产生的

2014(3)吕益民等:公安大数据处理平台的探索

相关物证、信息进行管理。

4.2智能交通应用

通过对智能交通系统中产生的海量视频数据、图像数据进行分析处理，监控分析重点车辆轨迹和现场态势，当出现异常活动时，能够及时做出异常行为判断，做到对重要场所的重点监控。此外通过对视频、图像等大数据的深度挖掘分析，能够给智能交通诱导及智能交通控制提供更为精确的数据分析支持，从而有效减少路面拥堵，使人们的出行更加便利快捷。

此外，为进一步拓展大数据平台应用宽度和广度，未来还将从以下方面拓展公安大数据处理平台应用：

（1）公安大数据平台将具有很强的开放性和包容性，能够支持各种先进处理分析方法和理念的快速融入，尤其是支持人工智能相关的方法的应用；

（2）加强大数据异构信息融合技术的研究，通过对平台管理的大数据信息资源进行补充、完善与整合，为公安业务应用提供更为全面的信息支撑。

（3）随着web数据、PGIS等数据逐步纳入大数据处理中，将进一步扩展公安大数据平台的应用范围。

参考文献：

［1］James Manyika，Michael Chui.Big data：The next frontier for innovation［J］.competition and productiv-ity，2011.

［2］维克托·迈尔－舍恩伯格，肯尼思·库克耶（著）.盛杨燕，周涛（译）.大数据时代：生活、工作与思维的大变革［M］.浙江人民出版社，2012（12）.

［3］万至臻.基于MapＲeduce模型的并行计算平台的设计与实现［D］.浙江大学，2008.

［4］戴炳荣，宋俊典.云计算环境下海量分布式数据处理协调机制的研究［J］.上海计算机软件技术开发中心，2013（01）.

［5］李存华，孙志辉.GridOF：面向大规模数据集的高效离群点检测算法［J］.计算机研究与发展，2013（11）.

［6］周亮.基于粗糙集的大数据集挖掘算法研究与实现［D］.江苏大学，2010.

［7］朱珠.基于Hadoop的海量数据处理模型研究与应用［D］.北京邮电大学，2008.