mapGIS数据中心技术白皮书_v1.0

数据中心技术白皮书

1、数据中心技术概述

经过几十年的发展,GIS应用的领域越来越广泛。GIS应用系统需要访问分布在多个数据源的异构数据,也需要整合诸如文档、数据库属性表等非空间数据。如何在分布式异构环境下对空间数据及非空间数据进行有效的集成管理,成为一个亟待解决的问题。与此同时,GIS应用系统本身的构架也变得越来越复杂,从处理来自多种数据库的异构数据,到使来自多种GIS平台的功能能够协同工作;从GIS空间分析,到复杂的领域业务逻辑的实施;从单机单应用程序到分布多服务器集群的运用等等;除此之外,用户的需求不断变动,系统地设计不断调整,使系统的开发与维护成为巨大的挑战,用户也未真正参与到系统的开发过程中,不能自发的对新的需求做出响应,需要通过需求变更、系统软件版本升级等软件过程才能解决那怕看似简单的功能调整。另一方面,组件技术的日趋成熟、插件式开发的逐渐普遍、Web Service技术的日益盛行,使开发具备高可伸缩性,且满足分布式环境下的数据集成及应用程序集成的软件开发模式成为可能。在这种形势下,数据中心技术应运而生。

数据中心是各种数据的集成与交换中心。数据中心平台是集基础与应用为一体的综合应用平台。

数据中心技术的目标是。。。

建立数据中心的基本原则是。。。

数据中心是多种概念及思想的综合体,从不同的方面可以入手可以得到不同语义的数据中心实例。

数据中心是一种可扩展的程序设计思想,它定义了一系列的规范,可以使功能模块达到搭建级别的可复用,搭建级别的可复用是运行时级别的可复用,通常需要一种脚步语言对功能进行重组,这里主要通过工作流技术实现功能的重组。

数据中心是一种强兼容性的数据仓库,可以在同一个框架下,把来自不同生产厂商,不同格式,不同标准,分布在不同位置的数据统一在一个系统之下;既对分布式多源异构空间数据的管理能力。

数据中心是一个定义完备的功能仓库,支持以多种方式(组件、插件、流程、动态库、程序片断、脚本)提供的功能,并能对这些功能以一种一致的方式进行调用及执行。

数据中心是一种应用系统,它根据行业的标准建立起功能与界面相分离的具有高度可定制性的应用系统解决方案,以更容易地适应需求的变动、使用户参与到设计开发过程中、当开发类似系统时最大程度的复用以前的工作。

数据中心是一种搭建平台,提供对流程、表单、应用程序界面、数据等的完整的搭建方案,因而也是关于应用系统的集成设计器。

数据中心是一种工具箱,提供一系列的完整语义的地理处理功能。

数据中心是一套解决方案,该方案由一系列的程序模块及数据组成。

数据中心是一个资源管理器,提供对资源的windows资源管理器式的管理,且能根据关心主题的不同,按主题层次重新生成资源管理器目录结构。

2、概念体系

2.1、系统架构

新一代MapGIS7总体架构按照分布式多层体系结构的思想建立,分为:表示层、Web 服务层、应用逻辑层和数据服务层,如图1所示。

多层结构提供了灵活的系统伸缩性,在数据服务层、Web服务层、应用逻辑层、以及表示层之间建立符合国际标准的访问接口,在实际应用部署时,可根据需求扩展系统的某个层面。Web服务器可以调用多个应用服务器提供的接口。应用服务器可以是针对某个专题的专用服务器,也可以是针对主题或领域的集成服务器。应用服务器与不同的专题数据库服务器连接,根据应用逻辑获取、更新专题数据库中的数据,并完成相应的功能。

支持分布式数据存储,提供集成化数据管理;

提供统一数据管理平台,支持子系统相对独立运行;

开发的应用系统适用稳定,能够充分满足业务需求;

采用多级安全措施,保障数据的安全;

提供最新的、三种方式二次开发技术

以网络为支撑,实现B/S、C/S系统的混合

大型的信息化解决方案通常包括多个业务领域的应用,产品功能和结构都非常复杂。数据中心基础平台同时支持C/S架构和B/S架构,能够极大地增加软件系统部署和运行的灵活性,因此通过数据中心设计的解决方案在运行后得到的应用程序,能够实现一次设计同时拥有C/S架构和B/S架构软件的能力,极大地降低了软件系统的开发和维护成本。

2.2、资源

在大型的应用系统,尤其是GIS应用系统中,

数据中心的数据是由多种不同专题的业务数据按照一定的规则建立起来的。基于数据中心开发的系统具备访问空间基础对象的能力,即能处理图元级粒度的数据。在实际的数据中心建设应用系统中将选择合适的方式及其对应合适的粒度进行管理。管理粒度太细,会造成管理成本迅速增加,而效率急剧下降;管理粒度过粗,则根本不能满足业务管理的需要。由于不同业务的复杂多样性,会涉及到多种粒度数据的处理,数据中心根本的解决方案是结合业务需求利用粗粒度与细粒度其内部的联系有机统一起来进行管理。

图元粒度:是数据中心中最细一级的粒度数据组织,主要包括空间对象的空间特征和属性特征,提供各上级粒度组织的调用。

数据中心平台提供了数据实体定义工具、界面设计工具、工作流定义工具、系统发布工具和运行时框架组件,能够极大地增加开发和部署软件系统的灵活性。

通过Web服务,可以组建分布式、异构的空间信息服务。空间地理数据可以分布在不同的地方,比如,一部分数据在北京的服务器中,一部分在武汉的服务器中,另一部分在长沙的服务器中。通过资源转换器,引入GuID的标识,直接存放在任何位置的任何类型的异构数据。

2.3、资源的发现与定位

资源注册与发现系统是对资源的注册系统,纳入数据中心统一管理的资源需要先进行录入,才能被安全的使用;不被录入的资源虽然也可以直接使用,但是不受控制的。资源的发现包括资源的查询与获取,资源的查询通过统一的目录过滤语言实现。

2.3.1元数据仓库

元数据仓库采用抽象元数据表模型来描述资源的各种属性。

元数据仓库实现对数据描述的集中存储,在每个分布节点上只能有一个,在此唯一元数据仓库中实现对资源的唯一编码;整个分布式网络中,资源标识由服务标识+唯一标识组成,在节点内部的元数据引用只需要唯一标识。元数据仓库中每条元数据项包括标题、主题、摘要、全文描述、对资源的引用URI/URL、资源类型、资源范围、资源参照、修改日期、生产厂家以及键值属性部分。

目录系统是对元数据仓库的管理系统,对元数据仓库实施按规则的目录组织,也可以包括非元数据自由节点,这样的节点没有对应的在元数据仓库中的GUID,不引用资源或通过URL/URI直接引用自由资源。目录系统的核心是目录规则,目录规则包括过滤规则、分类规则、权限规则。

元数据模式管理,元数据采集、编辑和录入,元数据存储、建库和管理,元数据读取、查询和共享发布,面向Web的客户端操作界面,支持SRW协议(新一代Z3950协议),分布式检索能力强,基于XML、J2EE和Web Service 技术构建。

按照国际标准化组织(ISO)地理信息元数据标准设计方案,元数据可以分为2个层次,即核心元数据和全集元数据。核心元数据是描述数据集或数据集系列所需的基本的最少元数据元素的集合,主要用于信息编目,帮助用户快速查询到所需的信息。全集元数据是对数据集或数据集系列的详细描述,帮助数据生产者有效地组织和管理数据集,帮助用户更详细地了解查询到的数据集是否满足其要求。

(1)元数据库设计原则

①一致性

②可扩充性

③完整性和准确性

2.3.2目录系统及目录服务

2.3.3资源的标识及路径

2.3.4资源的检索与查询

数据中心通过运行时框架根据元数据描述的模型来访问数据。

元数据:业务流程元数据和业务流程元数据;

数据中心设计器中,预置了大量的基本操作和用于搭建的标准组件

服务元数据(Service Metadata):是一个XML词汇表,由从不同侧面描述服务的几个部分组成,主要包括服务接口的描述信息,服务的数据内容或服务所操作的数据的相关信息,以及服务类型和服务实例的相关信息等;

元数据库是服务的元数据库,他描述了数据和服务的各种信息。用户通过查询服务的元数据来确定服务的位置和获取服务的接口。

对数据描述的集中存储以元数据库为基础,充分考虑资源的安全性,根据每个分布节点只能有一个,在此唯一元数据库中实现对资源的唯一编码;同时在整个分布式网络中,资源标识由服务标识+唯一标识组成,实现在节点内部的元数据引用只需要唯一标识。由于元数据仓库中每条元数据项内容包括标题、主题、摘要、全文描述、对资源的引用URI/URL、资源类型、资源范围、资源参照、修改日期、生产厂家以及键值属性部分,从而更好的实现了对资源安全性的控制。

元数据查询分类功能模块通过查询用户标准参照表为PHP扩展库提供查询分类功能,数据中心产生器通过读取树设计器生成的配置树脚本文件,调用PHP扩展库中的查询分类函数,最后生成数据中心的存储文件。

输入:配置树脚本文件

输出:数据中心XML存储文件

2.4、资源的集成

数据资源与功能资源是各种形式及类型的数据及功能资源。对数据资源的访问需要某种形式的对象,该对象是远程或本地资源的代理;对功能资源的访问需要某种系统的执行器;如果并不关心如何访问及调用资源,那么只需要通过URL/GUID代理它们,通过GUID的代理提供了对数据的元数据描述及权限控制机制。

2.4.1数据的集成

2.4.2功能的集成

利用数据中心的开发平台开发具体业务的应用系统时,整个应用系统是符合“分散采集、集中入库、异地存储、网络化运行”原则,建立多尺度、多时相、多数据源的海量空间地理数据库;并在“集中入库”的时候提供资源转化的功能,使其通过GUID的标识方式,进入到安全的数据仓库中成为其中具备安全性的资源;“异地存储”的方式,可以对已经存在的异构的海量数据和空间地理数据库进行集成的统一的管理,并提供数据服务;这些已经存在的异构的数据和地理空间数据库可以是相互独立的、不同版本的、存储在不同服务器上的空间地理数据库。

因此数据中心平台能够在统一的技术框架下,针对布局架构合理的异质异构数据库,实现海量数据的安全管理;在统一视图下,完成分布式集成管理,实现“中心”局域网络下的业务化运行;最终实现统一各数据库平台,规范各数据库的数据组织方式和管理模式的目标。

通过数据库编码可以有效的区分不同的图形数据、属性数据,同时也可以根据数据库编码读取数据的入库信息。在尽量保证各类数据信息完整性的基础上,灵活定义数据操作所需的配置信息,实现数据库编码的可配置性;在此基础上将已建成基础数据资源纳入数据库实现应用。

同样,数据服务需要进行数据挖掘时,需要将文件名中含有的特征值分析出来,而且解析的功能也是由数据库编码配置来实现的。数据库编码配置通常应具备下列功能:

①文件名的解析,将文件名中含有的特征值分析出来。

②检验文件名是否符合命名规范,数据集成服务将数据入库时需要根据提供的特征值交由数据库编码配置来生成文件名,对于已指定文件名的,需要进行文件名验证。

③在根据命名规范来进行文件组合时,要支持顺序调整。对于配置的改变,文件名的顺序是随时调整的。

2.5、资源组织规则

1.存储、管理、检索和维护

2.提供基于SOAP/XML协议的分布式空间信息服务机制

3.空间数据的存取、交换、分析、查询等空间应用服务

4.视图展现给用户的是对应类中的部分空间数据,部分属性数据,或者两者之一。MAPGIS7.0视图具有以下特点:

(1)MAPGIS提供要素类、对象类、注记类、动态类的视图;

(2)视图本身仅存储创建这个视图的空间条件和属性条件。空间条件包括矩形范围、

类和子类型,属性条件包括纵向条件和横向条件,纵向条件限制视图所包含的字

段,横向条件通过条件表达式(如:“面积<500”)限制视图的记录范围;

(3)MAPGIS7.0将视图分为只读视图和可读写视图。

数据中心的维护和不同系统的互连互通和数据交换的模式紧密相关。数据中心处于整个业务信息系统的底层,目的是向上层的应用与服务系统提供一个能满足各种格式的数据需求的、而与具体的系统无关的独立的数据平台。利用GIS的空间数据库引擎(SDE),可将多源国土资源空间数据放在不同的商业关系数据库中进行管理;数据既可存放在网络服务器上,也可存放在本地。访问数据时可以不必关心数据的存放位置,用户可以像操作本地数据一样去操作网络数据,从而实现了不同类型商业数据库中空间数据的分布式存储和调用。

3、MapGis7平台与数据中心

随着人们对空间信息认识的逐步深入,以及相关需求的迅速增长, GIS 的应用不论在深度还是广度上都以迅猛的势头发展。与此同时,GIS 技术的研究和开发也有了长足的进步。但是,当前的GIS 软件与日益提高的社会需求相比,还存在着明显的差距。在数据组织与处理模式方面,仍然沿袭地图处理的模式,而不是面向真实的地理实体;不同尺度不同来源的空间对象之间缺乏互动关系;对三维空间数据和时序数据还缺乏有效的处理手段;在网络和分布式系统组成方面,还没有实现真正意义下的RPC 和“对等”的工作模式;GIS 功能共享和互操作问题尚未解决,以系统为中心的问题没有得到根本的克服。随着计算机网络技术的发展,J2EE 和.net 技术的日趋成熟,以单一系统或网络为核心向全球信息网格(GIG)体系发展,GIS 的横向也相应向空间信息网格(SIG)体系发展。随着计算机组件技术的发展,特别是分布式服务组件技术日趋成熟,在纵向上,GIS 朝着三层、多层结构体系发展。“多层结构、空间信息网格(SIG)”的核心是:“面向服务”。“面向服务”的提出,使以往的“共享”、“异构数据互操作”渐渐得以解决。同时解决了“海量空间数据在互联网上调用速度问题”、“不同系统之间数据不通问题”,因为从用户角度来说,它不考虑数据只要服务。因此,管理数据的软件必须提供数据服务,“谁管数据谁提供服务”;“应用端请求服务而不是直

接操作数据”;“服务端提供服务而不是提供数据内部结构”。各个站点管理数据的软件、提供应用服务功能的软件都可以由不同的厂商提供。

图7-1 GIS 体系演变示意图

3.1、历史

在国家“十五”863 项目的支持下,历经5 年的科技攻关,由中地数码开发的具有完全自主版权的第一套“分布式超大型GIS 平台软件MAPGIS7.x”已经研制成功。MAPGIS7.x 是属于最新的“第四代GIS”软件产品,具备“纵向多层,横向网格”的分布式体系结构,采用“面向服务”的最新设计思想,支持局域和广域网络环境下空间信息网格(SIG)的分布式计算,实现了面向空间实体及其关系的数据组织、高效海量空间数据的存储与索引、大尺度多维动态空间信息数据库、三维实体建模和分析,具有TB 级空间数据处理能力、支持分布式空间信息分发与共享、网络化空间信息服务,支持Unix/Linux 大型服务器,支持海量、分布式的国家空间基础设施建设。

“面向网络海量空间大型GIS-MAPGIS7.x”的研制成功,表明中地数码在最新的“第四代GIS 技术”应用方面已经达到国际先进水平,标志着我国在大型、超大型GIS 工程应用上长期依赖国外软件的历史一去不复返。中地数码在技术研究、产品开发和市场化、产业化道路上,走出了一条独特的发展道路,成为亚洲著名的GIS 软件企业。以MAPGIS 平台为基础开发的系列软件已在中国国民经济建设、社会发展和国防建设领域得到广泛应用,发挥了重大作用。中地数码以创建“数字化生存新环境”为宗旨,以“振兴民族软件,打造国际品牌”为使命,以“面向网络海量空间大型GIS-MAPGIS7.x”推出为契机,积极引领数字城市、数字中国、数字地球的建设浪潮,为人类营造一个全新的数字化地球不懈努力,必将对人类社会信息化建设作出杰出的贡献。

MAPGIS 7.0是武汉中地数码科技有限公司开发的新一代面向网络超大型分布式地理信息系统基础软件平台。系统采用面向服务的设计思想、多层体系结构,实现了面向空间实体

及其关系的数据组织、高效海量空间数据的存储与索引、大尺度多维动态空间信息数据库、三维实体建模和分析,具有TB级空间数据处理能力、可以支持局域和广域网络环境下空间数据的分布式计算、支持分布式空间信息分发与共享、网络化空间信息服务,能够支持海量、分布式的国家空间基础设施建设。

系统具有以下特点:

(3)采用分布式跨平台的多层多级体系结构,采用面向“服务”的设计思想;

(4)具有面向地理实体的空间数据模型,可描述任意几何复杂度的空间特征和非空间

特征,完全表达空间、非空间、实体的空间共生性、多重性等关系;

具备海量空间数据存储与管理能力,矢量、栅格、影像、三维四位一体的海量数据存储,高效的空间索引;

采用版本与增量相结合的时空数据管理模型,“元组级基态+增量修正法”的实施方

案,可实现单个实体的时态演变;

具有版本管理和冲突检测机制的长事务处理机制;

基于网络拓扑数据模型的工作流管理与控制引擎,实现业务的灵活调整和定制,

解决GIS和OA的无缝集成;

(3)标准自适应的空间元数据管理系统,实现元数据的采集、存储、建库、查询和共

享发布,支持SRW协议,具有分布检索能力;

支持真三维建模与可视化,能进行三维海量数据的有效存储和管理,三维专业模

型的快速建立,三维数据的综合可视化和融合分析;

提供基于SOAP和XML的空间信息应用服务,遵循Opengis规范,支持WMS、WFS、WCS、GML3。支持互联网和无线互联网,支持各种智能

移动终端。

3.2、MapGIS的发展

经过几十年的发展,今天的GIS 系统已经具备了较强的数据存贮、管理和输入输出功能,但目前大多数的GIS 仍然是以数据为中心的,在完整表达客观地理世界、进行高层次的空间分析和直接提出决策方案的能力方面还远远不够,导致这种情况的根本原因在于现有GIS 的数据模型不能准确地表达客观地理世界。

MAPGIS7.x 的空间数据模型将现实世界中的各种现象抽象为对象、关系和规则,各种行为(操作)基于对象、关系和规则,模型更接近人类面向实体的思维方式。该模型还综合了面向图形的空间数据模型的特点,使得模型表达能力强,广泛适应GIS 的各种应用。

MAPGIS6.x 系列版本曾被誉为中国第一流的地理信息系统(GIS)平台,而MAPGIS7.x 把MAPGIS6.x的全部功能都沿袭到了新版本平台中了。

MAPGIS7.0是采用“面向服务”的设计思想设计的新一代大型GIS平台,系统的海量空间信息管理、多层体系结构、完备的空间分析组件、全面的空间信息Web服务等特征能能很好的支撑SIG的建立,作为SIG节点建设的重要支撑平台。

在MAPGIS的Web服务支撑下,可以实现空间数据的地域分布,空间信息应用的行业应用分布。每个地方的每个行业应用服务都可以是网格上的一个节点。用户通过网格提出他的空间信息应用要求,在网格调度和网格管理系统的调度下,网格中的众多共同节点完成运算任务。

从而实现系统的集成。

3.3、搭建平台

i.工作流

基于网络拓扑数据模型的工作流控制引擎,实现了业务的灵活调整和定制,解决了GIS和OA的无缝集成,符合国际工作流联盟制定的《规范》,不同业务流程之间的交叉,融合,历史案件的办理过程不受模板变化的影响,通过拓扑关系能够自动实现条件判断、循环、会签等功能,工作流“可扩充”性与动态表单可“自定义”性,支持多级子表和数据字典。

ii.方法流程

MapGIS7搭建平台是新一代基于WEB的面向分布式服务组件的开发平台,系统采用基于网络控制的工作流模型,实现了业务的灵活调整和定制,解决了GIS和办公自动化的无缝集成。通过拓扑关系能够自动实现条件判断、?环、会签等功能。拥有可视化的工作流开发环境,只需“托拽”相应事件元素即可设计出相应的业务流程,实时显示后台工作流的执行情况,符合工作流程人性化的特点。与多层安全体系挂钩,不同用户可以对应不同表单,支持多级子表和数据字典。平台完全按照国际工作流联盟规范搭建,全面支持XML,系统以组件方式构建,提供基于ASP和.NET的开发环境以及丰富的开发实例,方便用户快速搭建应用系统。

工作流提供了一种手段实现应用逻辑和过程逻辑的分离,这使得可以在不修改具体功能模块实现方式的情况下,通过修改过程模型来改进系统性能,实现对生产?营过程部分或全部地集成管理,提高软件的重用率,发挥系统的最大效能。工作流管理系统为企业的业务系统运行提供一个软件支撑环境,通过工作流可视化建模工具,用户可以灵活的定义出企业的业务流程。工作流引擎提供强大的流程控制能力,可以严格按照业务流程的定义驱动业务流程实例的运行,包括静态工作流:支持串行,并发,选择分支,汇聚等普通工作流模式,支持基于条件规则的路由。动态工作流:支持任意节点回退,撤销,子流程,窗口补证等多种复杂工作流模式。还提供批办,D办,督办,沉淀,超期提示等多种流程实例控制管理功能。为了适应业务流程的变化,工作流引擎还提供强大流程模板版本管理,状态管理功能,实现了流程模板XPDL格式的导入导出。如图16所示。

图16 工作流管理系统

GIS功能库管理:MapGIS功能库对GIS功能进行了统一管理,对外公布统一的接口,对功能可以本地或远程部署。每个功能点类似一个小积木块,用户不需要知道程序的开发,只需要了解“小积木块”的作用。在搭建系统时,将这些“小积木块”用工作流通过拖放的方式“拼装”起来即可,拼装后的“大积木块”可单独执行,也可放入应用程序中执行,或者再次注入功能库供作为一个功能点供以后使用。功能库结合工作流实现功能的可视化搭建,使用户的工作中心由程序开发转移到业务分析和业务建模上来。MapGIS功能库为用户功能的积累、功能的复用、功能的部署、用户的可视化编程提供了有力的工具。通过与工作流的结合,实现了GIS功能的可视化拖放式开发。

MapGis搭建平台是新一代基于WEB的面向分布式服务组件的开发平台,系统采用基于网络控制的工作流模型,实现了业务的灵活调整和定制,解决了GIS和公办自动化的无缝集成。系统通过各个基础模块(功能模块,页面模块,流程模块),组成最基本的服务模块,作为最底层的支持,进而完成各子功能的封装,由子功能的叠加复用,形成各个业务线,最终形成功能完整的业务系统。

企业级应用技术,采用基于组件的面向服务的架构体系,注重体系架构的兼容性和集成性,采用门户技术提供个性化和适应性接口;采用工作流技术实现业务处理和协同办公;采用跨平台数据、信息交换技术实现信息共享;采用多媒体文档存储及管理技术实现文档数据库管理

搭建平台中的业务工作流,体现的是分配式的二次开发模式。搭建平台中的业务工作流定义、创建和管理工作流执行的系统。它可以通过一个或多个工作流引擎来运行 ,并能解释过程定义、与工作流参与者交互 ,在需要时还要引用IT 工具和应用。在工作流中,文档、信息或者任务按照一定的过程规则流转,实现组织成员间的协调工作以期达到业务的整体目标。

在数据中心中体现的是系统工作流,关系到具体的操作实现,特别是Gis操作的功能搭建。作为数据中心搭建中的有机组成部分,其系统工作流的规范符合数据中心系统搭建的标准规

范,支持拖拽式配置的二次开发。

搭建平台系统屏蔽了与应用业务不相干的技术细节,让软件开发更多的专注于业务本身。同时也降低了你的开发难度和成本。

搭建框架具体包括了统一登录认证管理、工作流相关(业务箱,案件移交、模拟、查询,案件查询,统计)、数据字典、权限管理、功能编码库、菜单项管理、规则库、页面工具集、动态审批语、定时服务、收件材料、Excel统计报表、Word公文、短消息等功能。提供丰富的二次开发接口,完善的扩展机制以及提供功能强大的辅助开发配置工具。方便你快速搭建你所需要的业务系统。

图搭建平台的总体结构

可搭建类别:业务系统的搭建、GIS系统的搭建、适应C/S或B/S模式

搭建开发技术的关建部件:面向服务的体系架构(SOA技术)、功能完备的构件仓库(松耦合)、方便灵活的可视化搭建平台、安全可靠的运行管理平台

搭建平台包括3个子系统:工作流子系统负责完成业务流程编辑;自定义表单系统负责完成页面编辑;搭建框架完成业务系统的搭建。

3.4、数据中心

数据中心技术是依托于MapGIS7平台提供的空间数据管理能力构建数据仓库系统,依

托于MapGIS7平台的空间处理能力构建功能仓库系统,依托MapGIS7搭建平台对数据与功能实现可视化的搭建,利用MapGIS7二次开发组件体系做为基础开发手段,探索并实现MapGIS7平台与具体应用相结合的一般模式、软件规范、通用模块及技术,以提供完整的GIS应用系统搭建解决方案,最终达到配置式、搭建式的开发。

采用的技术:多源、多尺度数据集成管理技术;海量空间数据快速访问技术;多级数据交换更新技术;版本增量结合的历史管理技术;多源数据动态叠加分析技术;多源数据调阅技术;海量空间数据管理技术;多专题数据维护及动态插件技术;面向服务的的企业级应用解决方案;多源异构数据的WEB发布技术。

数据中心首先应是一个数据仓库,按照一定的主题域进行数据组织,可以存放和管理各种类型的数据(信息)资源和系统自身的信息;数据中心其次是一个服务中心,可以向外提供各种服务。

随着数字化进入人们的大众生活,目前业务系统的管理框架体系趋向于多级循环结构,并且在越来越多的领域中反映出强烈的空间特征,这就从根本上决定了管理信息化必须走多级分布式的空间信息管理系统这条路,也决定了基于此业务领域开发的系统也必须是多级分布式的。

例如,开发的国土资源数据库是一种大型树状基础空间数据库,通过多级分类编码体系构建多粒度的空间数据集,在海量的国土资源信息数据库中使用MapGIS的空间数据库引擎和其独特的格网索引来访问数据,利用省、市、县粒度数据集之间分类编码形成的行政区划索引快速检索出相应数据。通过这种机制系统最终实现在物理上分离的多源、多比例尺、多投影方式的一体化管理,实现图形数据浏览查询统计的动态交互、自动切换,达到逻辑上所有数据完全一体,既方便了更新又便了使用。

数据中心通过××××××××××等问题,实现分布式跨平台的空间数据集成和共享、处理功能和计算资源共享以及对网格计算的支持,为用户提供分布式的协同信息处理和按需服务。

考虑到不同领域的数据中心应用在数据类型、业务功能及系统界面方面存在着较大的差异,数据中心的设计充分体现出体系结构的开放性、功能仓库的高度扩展性、界面设计的灵活可定制。

很长一段时间内,由于国土、电信、管线、地图集等各种应用研发系统在数据表现、数据管理等方面的不同,所做的开发都是面向事务处理的。各个业务系统之间各自分离,可重用性不高,同时功能重复性大,造成了资源的浪费严重等问题。

在这种情况下,国土事业部提出的数据中心的思想应运而生。数据中心中的数据按照一定的主题域进行组织。主题是一个抽象的概念,一个主题通常与多个操作型信息系统相关。

数据中心是一个资源管理器,可以存放和管理各种类型的数据(信息)资源和系统自身的信息,包括文件资源(如doc,excel,word,…)、数据库资源(table)、地理数据库资源(gdb,fcls,ocls,acls,…)、网络资源、插件资源等;数据中心采用可定制的目录树结构

来实现这些资源的层次管理。

数据中心以引入驱动增加插件的机制,使数据中心成为一个强大的操作仓库,有着丰富的表现和高度的可扩展性。

MAPGIS7.x平台上搭建的数据中心框架提供符合数据访问标准的访问方式,以及灵活的数据管理框架,将数据表现与操作联系起来。

提供了数据中心插件和数据中心驱动的机制。

数据中心功能插件:一种为实现特定功能遵循数据中心接口规范和注册规范编写出来的应用程序。

数据中心驱动:数据中心为扩展插件资源而进入的一种机制,是数据中心节点加载子节点系统而提供服务的一种动态链接库。数据中心驱动包括预定义驱动和用户自定义驱动。数据中心预定义驱动包括文件驱动、地理数据库驱动和地理数据库域名解析服务驱动。用户自定义驱动是用户根据自己具体应用的需要编写的驱动.

基于MapGis7X平台上的数据中心采用框架+可聚合的插件+功能库的实现机制,针对不同的应用需求加载不同的功能插件。框架负责装载/卸载功能插件; 功能插件针对不同业务系统的特性而言,负责特定业务需求的处理。功能插件需遵循框架的接口协议,多个功能插件可通过已定义好的统一接口聚合为一个功能插件。功能库负责为插件提供相应的功能, 插件可通过功能库配置多种功能。

这种结构的特点是:

(1)灵活性: 菜单、工具条、视图、目录树等都可以很容易地实现按用户的需求定制;

(2)可扩展性: 可以自定义功能插件插入系统中,成为数据中心系统的有机组成部分。

基于MAPGIS7X平台上的数据中心是管理和组织各种GIS数据(如MAPGIS6X,7X,arcGIS 数据等)和各种文档数据(如Word,PDF,excel,access图像等)的集成框架,只要遵循数据中心的接口规范,其他应用系统如国土资源应用系统。管网资源应用系统、电信资源应用系统等可直接挂接在数据中心的框架上来实现具体的应用。

数据中心是采用可定制的目录树结构管理数据,实现层次化的管理。图2是该树的示意图。在实际应用中,可根据系统的实际应用主题域进行配置。图3是国土应用系统中的一个实例。

数据中心主题树标准以xml文档的形式存储;即试图按用户的要求直观地构建出树的“骨架”,借助该文档可以生成满足用户需求的主题树, 实现对数据中心系统中多源数据的归类显示;如按区域(行政区),按专题,按尺度(多比例尺),按历史(时间维度:年份)归类;每个非叶子节点的归类标准可以不一样,这样,树的构建将变得非常灵活。

这些节点可以分为三种,这三种节点的类型可以组合实现用户的需求:

可展节点:

在视觉上起分类的作用;根据其包含的归类标准,可以增加其子节点。

定型节点:

该节点的子节点或者没有,或者在设计时就被确定了。

伪节点(示范节点):

代表一类数据对象的节点,在树的层次结构上起到占位的作用,即在设计时所指定的标签在运行时并不真实地出现,而是根据其包含的类型,搜索出该类的标签添加到树上,通过这样的方式在树上增加兄弟节点;再在这些新增的对等节点上,衍生树的分支。

基于MapGis70的数据中心是针对国土资源的数据管理、市政管线数据管理和电信数据服务管理等各领域的业务特点,进行基于国土业务应用、市政管线业务应用和电信业务应用的领域分析,从中提取共性需求与功能,采用面向服务的架构思想,设计开发出相应的抽象

功能模块,而每个功能模块又由若干基本功能单元构成,如异构数据的视图、GIS功能;而对特定业务领域提供标准的功能模块扩展接口,支持特定业务逻辑的集成。

尤其是对于各种易变环节脱离固定的程序代码,在数据库中组织存储,由管理过程解释实现,从而使固定的界面、流程、报表等软化,达到可以随业务应用进行定制和灵活调整,以快速适应业务应用的变化。

由于采用面向“服务”设计思想和面向“地理实体”的数据模型相结合,克服了传统分布式数据库面向“记录”的增量式订阅和发布只能用于“同构数据库”的缺点,使网格节点之间、父节点与子节点之间,因不同操作系统、不同数据库平台、不同数据大小而产生的“异构数据库”可实现增量更新与同步。空间数据的增量更新与同步解决了“海量空间数据在互联网上调用速度问题”。

数据中心提供的工作流平台完全按照国际工作流联盟规范搭建全面支持XML,系统以组件方式构建,提供基于ASP和https://www.360docs.net/doc/6f7803934.html,的开发环境以及丰富的开发实例,方便用户快速搭建管理异构数据的各种信息系统。

数据中心功能模块与功能模块之间的连接是采用一种“松耦合”方式。“松耦合”方式是互连网的最佳耦合方式,(结构灵活、可扩展性强)它受网络环境影响最小。××操作采取面向“服务”方式进行,就是把“进行数据存取操作”变为“请求数据存取服务”,“数据存取服务”是所有“服务”的特例,充分体现“面向服务”的最新设计思想。

MAPGIS7.0分布式数据管理是跨平台的,按照“面向服务”的思想,每个节点上的数据“管理者”必须提供“服务”,在“谁管数据谁提供服务”的原则基础下,可解决网格节点之间、父节点与子节点之间、不同平台不同系统之间数据不通问题,因为从用户角度来说,它不考虑数据只要服务。因此,管理数据的软件必须提供数据服务,“应用端请求服务而不是直接操作数据”;“服务端提供服务而不是提供数据内部结构”。各个站点管理数据的软件、提供应用服务功能的软件都可以由不同的厂商提供。

MAPGIS7.0通过一个称为版本化的数据管理框架,真正实现长事务处理机制,满足了这些应用需求。

4、数据仓库技术

数据仓库是可以描述各种数据的集中式目录系统,它本身并不存储实际的数据,也不提供对数据的操作方法,它只维护到数据位置的描述,根据此描述可以得到该数据的位置及类型,以便能够通过合适的程序模块去访问此位置的数据。

数据仓库只在逻辑上把分布的多源的异构的数据统一到一起,但并不能实现数据混合分

析处理,数据混合分析处理是由MapGIS7平台提供的中间件规范及技术来实现的。即数据仓库分为两类数据,一类为可同化数据,一类为非可同化数据;可同化数据是指能够描述同一现象的不同格式或不同数据组织模型数据,非可同化数据是指不是描述同一现象的数据。可同化数据通过中间件技术,屏蔽不同格式及不同数据组织间的差异,以统一的方式进行直接操作访问;非可同化数据通过全局地址技术,有专门的模块实现操作。可同化及非可同化的区别是相对的。

数据仓库是在目录系统上实现的对数据的仓库式管理,各种数据通过多个目录规则被分门别类的组织起来;提供对各种异构数据的访问机制;提供专门的元数据部分影响目录系统在界面上的表现及定义数据的界面事件;提供查询与检索机制,在数据仓库中的节点,不管是直接定位的还是间接搜索出的,都是可以用来直接支持应用的。

数据中心由三个主要的功能集群组成:仓库系统、工作空间系统、设计管理与部署系统;仓库系统包括:元数据仓库、目录系统、功能仓库、数据仓库、资源注册与发现系统、权限系统、数据资源与功能资源、驱动体系;设计管理与部署系统包括:设计器、工作流、框架界面、帮助系统、查询检索系统、插件体系。

在数据中心开发平台上开发的特定业务逻辑的系统以面向数据管理的应用为主,遵循数据的独立性原则、数据的开放性原则、数据检索和管理的高效性原则,并使开发的系统具有实用化、集成化、网络化、标准化和可视化等几方面的特点。

在数据中心把文件系统、数据库系统、地理数据库系统、组件系统、DC插件系统、网络系统等资源统一的看作数据的源。

数据中心提供三种数据录入模式,直接驱动式(把来自源的位置直接挂接过来)、定态式(每一条挂接过来)、扩展式(通过业务规则描述,需要变换不能简单挂接);提供源驱动,通过直接驱动式对源数据进行组织的驱动,定义对源数据的源属性及维护源权限。

数据服务提供了对存放在仓库和数据库中的数据集合的访问功能。能够通过数据服务访问的资源通常都能够通过一个名称来引用。通过该名称,数据服务就能够找到该资源。数据服务通常都通过维护一个相关的索引来加快利用名称或者其他属性查找资源的过程。

数据服务提供了对存放在仓库和数据库中的数据集合的访问功能。能够通过数据服务访问的资源通常都能够通过一个名称来引用。通过该名称,数据服务就能够找到该资源。

4.1、空间数据的集成与共享

较传统开发模式,NPD方式更加方便、快捷,能零代码的构建互联网地理信息系统的应用。它提供了丰富多样的地图显示、强大的空间属性查询统计、空间分析、网络分析、逼真的真三维可视化及操作、简单实用的位置服务以及搜索引擎等功能,该开发体系遵?OGC 的国际标准体系,提供了对GML、WMS、WFS、WCS、WCTS等标准的支持,能支撑SOA和SIG体系架构的软件开发搭建。

“数据导入”模块能够将其他用户开发的工具条、菜单、数据管理目录树等资源导入到设计时的系统中,并且支持在运行时实行无缝的与原系统设计方案结合运行,增强了系统的协同工作能力。

对其他系统的无限制调用和全面的扩展性;

不同开发单位根据国土部门的不同需求开发了大量的同类系统,自然形成了上下级、同级之间的系统异构,甚至国土部门的要求与各个开发单位的特点不同,所选用的商用数据库和空间数据库引擎也有着很大不同。目前系统数据库之间的互联互通总体上有两种模式:“紧耦合”和“松耦合”方式;所谓“紧耦合”就是利用商用数据库的“出版”和“订阅”机制,实现空间数据的分布式管理,这种模式要求上下级必须同构(即:系统相同),这种方式在带宽高的情况下速度是相当不错的,可以做到相对实时,但是要保证上下级同构是很难做到的;所谓“松耦合”方式就是利用目前国际上的GML标准,在上下级数据交换时全部采用符合GML标准的方式描述数据,这样就实现了异构系统间的数据交换,保证了异构系统之间的更新,它的速度与网络带宽相关,也支持离线模式的交换,目前国内外的主流GIS厂家对GML都有了很好地支持。

在互联互通的基础上数据的交换通常有三种模式,即:实时更新:该方式要求网络性能优良,适用于数据量少、随机发生的数据更新;政务管理的事务数据库更新一般宜采用此方式。数据库周期更新:该方式要求网络性能一般,适用于要求数据按指定周期进行增量更新;一般用此方式更新国土资源空间和属性数据。文件传输:该方式不要求网络总是在线,适用于网络基础差的地区向上级数据库系统提供数据。

多源空间数据格式集成有一个很重要的方面就是如何处理不同数据库对空

间实体采用的编码方式不同的问题,提供一个统一的空间实体编码是多源空间数据格式集成的必要条件。通过数据集成技术研究和应用,能够将多源、多尺度土地利用数据有机地集成起来,形成一体化的数据库,为集成应用奠定数据基础。

4.2、矢量数据中间件技术

中间件注册规范、数据源(DS)、地理数据源名(GDSN)、

中间件服务考虑跨平台性

MapGIS 7中间件扩展管理器的设计目标:实现“即实现即用”中间件的配置管理。

1)用户通过地理数据源管理器添加符合MapGIS7中间件规范的中间件数据源;

2)用户在MapGIS7企业管理器中通过地理数据源配置工具配置一个所注册的中间件数据源(通过中间件扩展管理器调用中间件的数据配置部分的界面回调配置接口进

行特征配置);

3)用户在配置的中间件数据源下新建、附加、注销和删除地理数据库等要通过中间件管理器调用中间件Xxx_Config模块的库创建、库附加、库注销和删除的界面回调

配置接口进行;

一、中间件扩展管理器包括:1)地理数据源管理器(可执行文件);2)

中间件管理器(动态库)。

?地理数据源管理器:类似于ODBC数据源管理器,实现对MapGIS 7地理数据源的

注册管理,包括内置数据源和用户自定义数据源(中间件数据源类型)两种。

?中间件管理器:负责中间件数据源类型各种地理实体的功能接口调用管理工作。

中间件包括:1)配置管理部分和2)功能管理部分。

?配置管理部分主要实现界面特征回调和中间件配置管理接口等;

?功能管理部分主要实现功能接口和地理数据源相关实体的抽象类方法等。

图4-3 中间件接口设计图

基于中间件的真多源空间数据的管理,用户无需再进行数据转换的操作,并且克服了 无法对数据进行混合分析的问题;

完善了中间件抽象层并提供相应标准,从而实现可以插入其它格式数据的中间件插件, 通过中间件实现了对AutoCAD ,mapgis6x ,MapInfo 模型、SuperMap 模型等数据 模型的支持

ACI 开发的中间件,包括资源管理系统、任务管理系统、用户管理系统及安全服务与监控系统,并开发了多个应用系统,构成了跨地区、跨学科的“虚拟实验室”研究环境。

? MapGIS 中间件:MapGIS 解决GIS 互操作的一种技术。该技术基于统一的空间要素

实体模型,设计统一的功能操作接口;运行操作时,根据数据类型在语义上最终分派给某类格式插件进行处理;从而可以通过同一访问接口,实现对异构数据直接编辑。

? ArcGis 中间件:基于中间件的一个应用实例。把ArcGis 做为MapGis 的数据源,实

现在MapGis 的环境下操作ArcGis 的数据。ArcGIS 中间件可访问的数据包括:Shape 、Coverage 、Personal GDB 和SDE GDB 。

? SDO 中间件:基于中间件的一个应用实例。把Oracle Spatial 做为MapGis 的数据源,

实现在MapGis 的环境下操作Oracle Spatial 的数据。

MapGIS 平台支持一种AO 预定义模型组织规范,即自定义模型组织规范,该规范为抽象的可扩展的一套接口及函数实现,或者可以看成是多个自定义模型的扩展管理器,各个自定义模型以插件的形式由扩展管理器加载。该模块称为中间件扩展管理器。

数据源:数据源由GDSN (地理数据源名)来描述,该字符描述由中间件扩展管理器进行解析,选择合适的中间件插件进行后续的处理。

GDSN 格式规范遵循通用的URL 规范,也兼容ODBC 的DSN 描述规范。

表现层通过中间件插件管理器调用中间件的数据配置部分的接口进行特征配置。

中间件服务隐藏在AO 之下,因而是服务器端模块,需要考虑跨平台性。该层并不关心客户端服务器的交互。

中间件扩展管理器提供日志功能。

服务可以通过数据源定义中的服务名称访问,也可以通过制定GDSN 字符串访问,而无需事先定义。

中间件通过一套界面构架来实现异构数据的特殊处理,这些界面构架分散在系统的不同位置,通过回调中间件插件中的对应函数弹出不同的界面。

相关文档
最新文档