智慧城市公共数据共享交换平台建设方案

智慧城市公共数据共享交换平台建设方案

2018年3月

目录

1.项目概述 (5)

1.1.平台建设目标 (5)

1.2.总体需求分析 (6)

1.3.平台需求分析 (9)

2.平台建设思路 (9)

2.1.一套架构平台 (9)

2.2.两类构建框架 (10)

2.2.1.页面构建框架 (10)

2.2.2.安全构建框架 (10)

2.3.三种工具组件 (10)

2.3.1.日志组件 (10)

2.3.2.消息组件 (11)

2.3.3.单点登陆组件 (11)

2.4.四项基础服务 (11)

2.4.1.文件分布式存储服务 (11)

2.4.2.文档在线阅读服务 (11)

2.4.3.流媒体服务 (12)

2.4.4.任务调度服务 (12)

2.5.五个运行引擎 (12)

2.5.1.工作流引擎 (12)

2.5.2.数据接口引擎 (12)

2.5.3.报表引擎 (13)

2.5.4.全文检索引擎 (13)

2.5.5.权限分级引擎 (14)

3.平台总体设计 (14)

3.1.平台建设原则 (14)

3.2.平台架构设计 (15)

3.3.平台功能设计 (17)

3.3.1.数据采集 (19)

3.3.2.数据清洗加载 (20)

3.3.3.数据共享交换 (21)

3.3.4.资源目录管理 (23)

3.3.6.数据资源管理 (25)

3.3.7.目录管理与服务 (25)

3.3.8.资源统一调度 (27)

3.3.9.数据质量管理 (28)

3.3.10.运行监控管理 (29)

3.3.11.接口开发与服务 (29)

3.3.12.服务总线 (30)

3.3.13.云应用引擎 (30)

4.平台详细建设方案 (31)

4.1.数据采集 (31)

4.1.1.元数据管理 (33)

4.1.1.1.采集字段管理 (33)

4.1.1.2.采集目录资源库管理 (34)

4.1.1.3.数据源管理 (34)

4.1.2.数据采集管理 (34)

4.1.2.1.采集策略管理 (35)

4.1.2.2.采集任务管理 (36)

4.1.2.3.调度与监控 (37)

4.1.2.4.离线数据采集 (38)

4.1.3.日志管理 (38)

4.2.数据清洗加载 (39)

4.2.1.数据清洗 (39)

4.2.1.1.数据转换规则配置 (39)

4.2.1.2.数据转换 (40)

4.2.1.3.数据去赃 (40)

4.2.1.4.数据批量清洗 (41)

4.2.2.数据加载 (41)

4.2.3.日志管理 (41)

4.3.数据共享交换 (41)

4.3.1.交换桥接 (45)

4.3.2.前置交换 (46)

4.3.3.交换传输 (48)

4.3.4.交换管理 (48)

4.4.资源目录管理 (49)

4.4.1.专项资源目录库 (49)

4.4.3.资源目录管理 (50)

4.4.3.1.目录生产 (50)

4.4.3.2.目录管理 (50)

4.4.3.3.目录查询 (52)

4.4.4.编目管理 (53)

4.5.元数据管理 (54)

4.5.1.元数据定义 (56)

4.5.2.元数据存储 (56)

4.5.3.元数据查询 (57)

4.5.4.元数据维护 (57)

4.5.5.元数据检查 (57)

4.5.6.元数据分析 (58)

4.6.数据资源管理 (58)

4.6.1.模型管理 (59)

4.6.2.数据查询 (59)

4.6.3.同步和迁移 (59)

4.6.4.导入导出 (59)

4.6.5.计划任务 (60)

4.7.目录管理与服务 (60)

4.7.1.资源目录服务 (60)

4.7.2.目录共享统计分析 (61)

4.7.3.数据订阅 (61)

4.8.资源统一调度 (62)

4.8.1.任务调度配置 (62)

4.8.2.智能调度运行 (62)

4.8.3.资源控制 (63)

4.8.4.优先级管理评估 (63)

4.8.5.调度策略管理 (63)

4.8.6.调度全面监控 (64)

4.8.7.作业告警与错误反馈 (64)

4.8.8.调度变更 (64)

4.9.数据质量管理 (65)

4.9.1.数据质量控制 (65)

4.9.2.数据质量评估 (66)

4.9.2.1.自动化评估 (66)

4.9.3.数据稽核管理 (66)

4.10.运行监控管理 (67)

4.10.1.运行监控 (67)

4.10.2.数据采集过程监控 (68)

4.10.3.监控告警 (68)

4.10.4.日志管理 (69)

4.11.接口开发与服务 (69)

4.12.服务总线ESB (69)

4.12.1.权限校验 (70)

4.12.2.服务治理 (71)

4.12.3.协议转换 (71)

4.12.4.消息格式转换 (72)

4.12.5.服务路由 (74)

4.12.6.监控和运维 (75)

4.12.7.服务等级 (76)

4.12.8.日志管理 (76)

4.12.9.异常处理 (76)

4.13.云应用引擎 (77)

1.项目概述

1.1.平台建设目标

智慧城市是城市信息化发展的阶段演进，是相对数字城市、互联城市而言，城市信息化发展的高级阶段。“数字城市”以计算机、办公软件、虚拟现实技术等为主要特征，实现从纸面化的到数字化，将现实物理世界转化为用电脑数据代表的虚拟状态；“互联城市”以互联网、软件技术、城域网快速发展为主要特征，实现从数字化到网络化，通过对分散的、局部的虚拟信息处理，对物理世界做出反应；而进入“智慧城市”阶段，强调从网络化到云中枢化，通过充分运用信息通信技术手段，更好的感测、分析、整合城市核心系统的各项关键信息，从而对包括民生、环保、公共安全、城市服务、工商业活动在内的各种需求做出智能的响应，为人类创造更美好的城市生活。

随着新型城镇化建设逐步发展成为中国最大的内需潜力和实现现代化的重要任务，起来越多的城市开始开展智慧城市的规划、设计与建设工作，希望能够有效应对新型城镇化进程中的各类挑战，实现城市的和谐宜居、产为转型和高效运营的可持续发展。

通过智慧城市项目的建设，实现城市内的智慧应用数据互融互通，如智慧交通、教育医疗、智慧管网、智慧环卫、智慧综治、智慧城管、智慧教育、智慧审批、智慧农业等数据信息通过公共信息平台打破信息孤岛。实现数据信息应用价值的同时，并形成良好的服务运营模式。市场的生活品质得到明显提升，城市建设和管理的科学化水平明显提高。

以信息、知识和脑力资源为支撑，通过透明、充分的信息获取，广泛、安全的信息传递，有效、科学的信息处理，均衡而有效地提高城市运行和管理效率，改善城市公共服务水平，从而跨越式地提高城市发展的创新性、有序性和持续性，形成低碳城市生态圈，构建城市发展的新形态，使整个城市像一个有智慧的人那样，具有较为完善的感知、认知、学习、成长、创新、决策、调控能力和行为意识，使绝大多数市民都能享受到智慧城市的服务和应用。

1.2.总体需求分析

智慧城市（Smart City），是新一轮信息技术变革的产物，是信息资源日益成为重要生产要素和信息化向更高阶段发展的表现。它以互联网、物联网、无线宽带、云计算、大数据等新技术为基础，更加广泛深入地推进基础型与应用型信息系统开发建设和各类信息资源的开发利用，形成技术集成、高端发展、综合应用的现代化、信息化、智能化城市。为城市规划、建设、调控、预测提供了革命性的手段，具有广阔的发展前景。自2008年IBM首次提出“智慧地球”（Smart Earth）这一概念以来，国外许多城市都在进行智慧城市建设的筹划与尝试，有相当一部分城市已经开始实施示范性工程。中国已有北京、上海、无锡、宁波、广州、沈阳、南京、西安、重庆等近百个地区提出要建设智慧城市。“智慧城市建设”也已被列为中国“十三五”社会发展战略的重点之一。

当前，信息技术发展突飞猛进，信息技术创新层出不穷，以“大数据”为主导的信息化浪潮正席卷全球，成为全球范围内加速企业技术创新、推动政府职能转变、引领社会管理变革的利器。大数据既是

一种海量的数据状态及其相应的数据处理技术，也是一种新的思维方式，是一系列新理念、新方法、新要素的集中体现。它不仅是信息化的一种手段、一项设施，而是已经成为信息化社会发展演进的重要目标之一，以及实现发展目标的重要路径。在大数据时代，数据就是财富，就是资源，就是竞争力。

近年来，多市县被列为国家新型城镇化综合试点地区。各市紧紧围绕“精致、独特、典雅、生态”目标，秉承“以人为本、以史为脉、以和为魂、以绿为韵”理念，高位规划，统筹建设，精细管理，全力推进新型城镇化建设，城乡建设品位明显提升。目前，被列为智慧城市建设试点的地区，将按照《国家新型城镇化综合试点总体实施方案》中明确的各项试点任务总体要求，坚持突出地方特色，推动建设功能好、交通畅、环境优、形象美的新型、美丽城镇，努力打造成全国新型城镇化和城乡统筹发展示范区。

而智慧城市的建设和实施，是打造国家新型城镇化的重要途径。近两年，被列为试点政府工作中明确提出，深化智慧城市建设，将各委办局数据实现共享，将是智慧城市建设的第一步，也是最为重要的一步。将公安的人口数据、医院的卫生健康数据、综合治安的治安数据等进行抽取共享形成公共交换数据中心，为各委办局提供基础数据的支撑。构建精确、高效、全时段、全方位的城市治理模式。

在智慧建设建设过程中，将整合汇集各部门的信息资源，采用云计算、大数据等技术建成公共数据共享交换平台及各委办局业务应用平台，以实现强政、利企、惠民的建设目标。

按照总体建设要求，把握全域城市化、新型工业化和高新技术产业化的内在需求，全面促进城市运行管理创新机制的形成、构建功能

完善的信息通信基础设施和城市信息资源高效融合的公共信息服务支撑平台，催生一批成熟助力经济产业发展、城市管理、政务建设和民生保障服务的重点应用，培育一批具有竞争力的智慧产业集群。建成信息通信技术基础设施环境区域领先、城市管理运营与民生服务质量明显提高、产业结构与创新能力优化发展的智慧型现代化城市，实现以生态、高端、活力、宜居为重要特征的现代城市。

1.融合科学发展理念，创建生态城市

通过“智慧城市”的建设，从创新城市发展理念、创新城市发展形态、创新城市组合功能、创新城市产业形态、创新城市要素集成方式、创新城市管理模式等方面创新城市发展方式。着眼城市功能，进一步提高生态建设标准，打造生态文明示范区，完善高端商务、休闲、居住及公共服务等功能，丰富城市文化内涵。

2.促进经济发展，实现活力城市

通过“智慧城市”的建设，着眼产业功能，着力破解制约服务业发展的关键环节和体制机制性障碍，探索以现代服务业引领区域经济发展的新模式，稳步发展现代服务业重点领域，把城市打造成为全国深化服务业综合改革的先行区和样板区。

3.提升民生服务水平，构建宜居城市

通过“智慧城市”的建设，提高公共服务、公共治安、城市管理等诸多方面，为政府管理和决策提供支撑。完善管理和服务体制、优化资源配置、加强部门间协作，提高政府的管理效率。充分利用现代信息技术，促进政府工作透明度、丰富公共服务手段、优化公共服务内容、提高公共服务质量，满足群众在生活、工作等方面的需求，真正做到“权为民所用、利为民所谋”。

1.3.平台需求分析

建设公共数据共享交换平台，采用虚拟化等新技术，通过整合、扩展、完善，建设公共数据共享交换平台，广泛推行基础设施共享服务、平台共享服务、应用共享服务，实现技术资源整合共享。

公共数据共享交换平台目标是实现全县的共性问题的统一处理，解决某一个应用单位或机构难以独立完成的公共能力，为政府、企业和公众的各类应用及其协同提供平台支撑。

公共数据共享交换平台是智慧城市系统的基础设施，是系统流转的核心。公共数据共享交换平台是城市公共数据进出的通道，实现城市公共数据的交换、清洗、整合和加工；实现城市公共数据的组织、编目、管理以及城市公共数据应用绩效评估；实现城市公共数据的共享服务，为城市政府专网和公共网络上的各类智慧应用提供基于城市公共数据库的服务、时空信息承载服务、基于数据挖掘的决策知识服务等。

2.平台建设思路

智慧城市的逻辑层次要通过提供基础服务与工具组件，为业务管理系统提供统一的基础功能支持，各服务之间通过平台服务总线进行交互通信。

2.1.一套架构平台

基于SOA架构应用开发平台，为各种复杂应用系统提供标准、安

全、集成、高效的开发平台。

2.2.两类构建框架

2.2.1.页面构建框架

符合W3C标准是Web页面设计的发展趋势，更代表了高端网页构建技术。平台基于B/S架构设计的，浏览器的种类繁多，如IE、Firefox、Safari、Opera、Chrome等，因此终端用户的使用体验很大程度上取决其所使用的浏览器。如果单纯针对某一种浏览器，如IE，进行Web 页面设计和优化，那么当用户使用其他浏览器时，可能会出现显示效果不佳甚至某些组件功能不可用的情况，这与平台的灵活适应特性背道而驰。

2.2.2.安全构建框架

作为业务基础平台，平台需要可靠支撑企业的业务运行环境，保证企业的商业机密资源等信息的安全。因此平台需要构建安全保密的网络运行环境，提供准确可靠的身份鉴别机制，具备粒度适中授权访问控制机制和完善的日志管理和审计功能。

2.3.三种工具组件

2.3.1.日志组件

日志组件是平台提供的日志管理服务组件，作为一个独立的服务组件，它能够完成模块注册、日志表管理、日志字段维护、日志的查

询和审计等功能。

2.3.2.消息组件

消息组件是平台之间各个模块进行互相通信的一种外部体验。同样作为一个独立的服务组件，模块之间可以设置消息通信，通过页面消息给予用户明确的提示信息，以便用户即时处理待办信息。

2.3.3.单点登陆组件

单点登陆组件完成各个子系统之间的单点登陆，用户无需在各个系统中重复登陆。

2.4.四项基础服务

2.4.1.文件分布式存储服务

平台支持件存储时采用分布式存储的方式，将文件存储在不同的文件服务器上，再通过分布式管理服务进行文件调用和查阅。这样既处理了海量数据的存储问题，同时在数据查阅和处理时又提升了计算速度，提高了系统数据访问性能。

2.4.2.文档在线阅读服务

文档在线阅读服务打破了以往在线阅读需要安装插件的技术限制，用户只需要安装好在线阅读服务，无论进行哪种格式的文档的查看都不需要在安装任何第三方插件，使用简单、操作方便。

2.4.

3.流媒体服务

流媒体服务也和以往不同，主要采用MP4技术，这一特点使得在手机、平板电脑等移动终端上也一样能够很好地兼容使用。

2.4.4.任务调度服务

任务调度服务的运行能够实时的监控正在运行的各项任务，包括后台运行的程序、正在进行中的工作流等等，系统管理员可以通过任务调度服务将这些正在运行中的任务取消或暂停，并进行更加合理的资源调配。

2.5.五个运行引擎

2.5.1.工作流引擎

工作流是工作流程的计算模型，其将工作流程中的工作以一定的逻辑和规则组织起来，并使用恰当的计算模型进行表示以实施计算。在计算机中，工作流系统解决的主要问题是：为实现某个业务目标，在多个参与者之间，按照预定规则自动传递文档、信息或者任务。

通过使用工作流引擎的这些支撑工具，一方面降低了平台业务流程的开发和维护成本，另一方面加快了平台的业务流程开发速度。

2.5.2.数据接口引擎

智慧城市的业务平台一定会需要和各种各样现有的信息系统进行数据交换，平台设计研发数据接口引擎，用以处理各种复杂的数据

交互。

数据引擎主要提供三种类型的数据接口，分别是：基础数据整合接口、业务数据交互接口和外部平台接口。

2.5.

3.报表引擎

平台作为业务基础平台，需要能够支撑运行多种业务流程，为方便用户查询和统计各业务流程产生的数据，平台构建报表引擎。

报表引擎以企业熟悉并经常使用的表格为建模和设计工具，为平台提供一种精确管理和深入分析业务数据的途径。报表引擎融合Excel电子表格和数据库软件的优势，既具备电子表格展示形式的灵活多样性和操作简洁高效性，又具备数据库软件的大规模存储和便于实施统计分析的能力。

2.5.4.全文检索引擎

在平台中，各组件模块均为用户提供基于数据库的本模块内容信息的查询和检索服务，方便用户查询相关业务信息并分析生成统计数据。

然而，这种针对组件模块业务信息的查询和检索服务是有局限的：首先，查询和检索服务需要针对不同的组件模块分别设计开发，缺乏统一的接口和机制，从而造成各组件模块的检索功能参差不齐，用户友好性差；其次，这种查询检索服务只能针对结构化信息进行，如数据库中各数据表的关键字段，而对文本附件等非结构化信息无法检索，因此无法全面地展示信息资源特征；再次，这种信息查询和检索机制对数据库系统依赖较高，使用简单的字符串匹配算法，效率低下。

为此，平台要有全文检索技术，用于对平台上的各种资源实施统一的全文检索，与针对组件模块的简单查询和检索服务相比，技术具备结构清晰、简单易用、用户体验好的优势。

2.5.5.权限分级引擎

权限分级引擎是提出的业务系统权限管理功能，它通过详细的权限级别定义，使系统安全员在给用户或者角色赋权时能够通过级别来设置。权限分级引擎的提出给系统带来的优势包括：灵活的权限划分机制；便捷的权限分配方式。

3.平台总体设计

3.1.平台建设原则

1、平台独立性

平台采用基础型平台的视角进行规划和建设，采用统一、松耦合的技术集成方式与接口，面向业务提供标准化的接口和服务，实现平台独立、标准、统一、共享等特性。

2、统一性

系统的建设坚持统一规划、统一标准、统一实施为原则，既要注重平台本身的建设要求，也要兼顾业务不断集成的需求，还要考虑日后基于精细化使用和管理的需要。

3、实用性

以满足业务需要为首要原则，在满足功能实现的前提下，尽可能

降低技术实现难度，提供方便的系统管理与维护、节约建设投资，提高运行效率。

在硬件规划上，利用通用性更强的基于X86平台的PC Server或云平台，对于数据存储，可以选用扩展性和并行计算性能更强的Hadoop分布式文件系统架构。这些硬件和软件的选择，兼顾了经济、扩展和维护便利及成本。

4、先进性

平台利用Hadoop分布式大数据架构构建，存储结构化和非结构化数据。通过HDFS、Hbase等组件实现非结构化数据的安全存储和备份，其灵活的横向扩展能力支持海量数据的持久化管理；其次利用ES等组件实现数据的快速索引、全文检索等。

5、可扩展性

平台基于当前，放眼未来，在架构设计、功能设计、性能设计、客户体验等方面充分考虑可扩展性，满足不断发展变化的业务和技术需求，拥有灵活、平滑的升级方式和广阔、长远的扩展空间，可适应未来3至5年业务的不断发展及业务规模的扩张。

6、高可靠性

平台通过集群设计、负载均衡设备等应用实现系统运行无单点故障，具备连续、稳定运行的高可靠性。

3.2.平台架构设计

公共信息平台是基于微服务的技术架构设计理念来做的总体架构设计。

具体的架构设计如下图所示：

基础设施层

基础层是公共信息平台的运行网络及软硬件环境。网络依托智慧城市项目所搭建的数据中心、运维中心和指挥中心等基础设施。

平台支撑层

平台支撑层是基于基础设施层构建的为数据管理和数据共享提供支撑的中间件和应用引擎。

平台支撑层包括大数据采集、清洗和加载的ETL；ESB企业服务总线、统一的搜索引擎、统一的接口服务和云应用引擎。

数据管理层

公共信息平台数据管理层由元数据管理、资源目录管理、数据资源管理、目录服务管理、资源调度管理、运行监控管理、数据质量管理组成。

数据交换层

数据交换层是为内外部业务应用系统提供数据交换的系统。数据交换系统由交换桥接、前置交换、交换传输、交换管理等子系统组成，作用在于实现信息资源的统一交换，通过交换桥接子系统将政府部门需要交换的信息送到前置交换信息库，在交换管理子系统的流程控制下，通过交换传输子系统、前置交换子系统，把需要交换的信息定向传输到接收部门，同时把共享信息实时交换到共享信息库。

3.3.平台功能设计

公共信息平台目标是实现全县的共性问题的统一处理，解决某一个应用单位或机构难以独立完成的公共能力，为政府、企业和公众的各类应用及其协同提供平台支撑。

公共信息平台是智慧城市系统的基础设施，是系统流转的核心。公共信息平台是城市公共数据进出的通道，实现城市公共数据的交换、清洗、整合和加工；实现城市公共数据的组织、编目、管理以及城市公共数据应用绩效评估；实现城市公共数据的共享服务，为城市政府专网和公共网络上的各类智慧应用提供基于城市公共数据库的服务、时空信息承载服务、基于数据挖掘的决策知识服务等。

智慧城市项目的建设对公共信息平台提出了如下的要求：

公共信息平台的功能设计如下图所示：

3.3.1.数据采集

采集模块支撑大数据平台数据源的采集工具，支持各类结构化和非结构化数据的采集；

平台实现可视化的数据采集，采用元数据管理的办法，由用户或专业技术人员在界面上操作实现数据采集；

于专网或其他原因的用户，通过客户端应用实现数据采集功能实现；并提供线上或线下的导入功能；

对政府各机构业务，以及数据进行标准化定义，建立数据字典，并建立目录资源库；实现数据和业务的唯一解释；

支持离线采集及实时数据采集模式；手段包括但不限于“推”模式、“拉”模式、web上传模式、直连模式；数据更新方式包括但不限于快照模式、触发器模式、日志模式、API模式、影子表法模式、时间戳模式；

提供采集节点监控和异常处理机制，包括：采集任务中断、采集数据失败等相关异常现象时，实现相关的补采机制，并通过告警的方