TRSWCM6.0元数据管理选件用户手册

TRSWCM6.0元数据管理选件用户手册
TRSWCM6.0元数据管理选件用户手册

内容协作平台 TRS WCM V6

元数据管理选件

用户手册

北京拓尔思信息技术股份有限公司Beijing TRS Information Technology Co. Ltd

版权说明

本手册由北京拓尔思信息技术股份有限公司(以下简称TRS公司)出版,版权属TRS公司所有。未经出版者正式书面许可,不得以任何方式复制本文档的部分或全部内容。

?北京拓尔思信息技术股份有限公司版权所有。保留所有权利。

是北京拓尔思信息技术股份有限公司的注册商标。

关于本手册

TRS WCM V6元数据管理选件是TRS公司发布的网络内容管理软件TRS WCM V6的一套扩展功能软件,是方便用户自定义数据存储结构以及对不同数据进行分类管理的实用工具之一。本手册详细地介绍了有关TRS WCM V6元数据管理选件的使用方法,是用户熟悉掌握TRS WCM V6元数据管理选件不可或缺的参考资料。

读者对象

本手册是元数据管理选件的使用手册,包含了常见的操作方法,描述了如何创建元数据、视图、将视图绑定到栏目、采集栏目数据、以及最后将数据发布到外网的整个流程。要求读者必须具备以下知识:

z熟悉TRSWCM(V6.0)产品的使用;

z熟悉基础的HTML置标;

z了解基本的TRS置标的撰写方式、TRS模板的工作方式。

手册组织

第1章 概述

介绍元数据管理选件中有关的术语的,元数据管理选件的功能。

第2章 快速入门

简单介绍元数据管理选件的使用。

第3章 权限管理

介绍元数据管理选件的权限设置,以便进行元数据、视图等相关操作。

第4章 元数据及字段管理

介绍元数据、以及元数据下字段的维护操作。

第5章 视图及字段管理

介绍视图、以及视图下字段的维护操作。

第6章 分类法管理

介绍分类法的用途、相关操作、以及分类法检索。

第7章 栏目数据的采集

介绍如何将视图绑定到栏目、如何为栏目新建数据、如何导入数据、如何设置文档的同步规则、如何进行高级检索、以及如何定制采集页面的表现。

第8章 模版撰写及数据发布

介绍元数据管理选件下支持的TRS置标、以及利用模板发布采集的数据。

第9章 在外部创建数据文件

第10章 常见问题解答

用户反馈

TRS公司感谢您使用TRS产品。如果您发现本手册中有错误,或者产品运行不正确,或者您有任何意见和建议,请及时与TRS公司联系。您的意见将是我们做版本修订时的重要依据。

目录

第1章概述 (1)

1.1术语说明 (1)

1.2功能简介 (1)

第2章快速入门 (2)

2.1设置权限 (2)

2.2新建视图及字段 (2)

2.3生成采集页面和录入数据 (3)

2.4预览录入的数据 (4)

第3章权限管理 (5)

3.1资源库系统 (5)

3.2资源库站点 (5)

3.3资源库栏目 (6)

第4章元数据及字段管理 (7)

4.1元数据管理 (7)

4.1.1 页面元素 (7)

4.1.2 新建元数据 (8)

4.1.3 修改元数据 (8)

4.1.4 生成视图 (9)

4.1.5 删除元数据 (9)

4.2字段管理 (10)

4.2.1 新建元数据字段 (10)

4.2.2 修改元数据字段 (12)

4.2.3 删除元数据字段 (13)

第5章视图及字段管理 (14)

5.1视图管理 (14)

5.1.1 页面元素 (14)

5.1.2 新建视图 (15)

5.1.3 修改视图 (18)

5.1.4 删除视图 (18)

5.2字段管理 (18)

5.2.1 维护字段 (18)

5.2.2 维护物理字段 (19)

5.2.3 修改视图字段 (20)

5.2.4 删除视图字段 (21)

第6章分类法管理 (22)

6.1页面元素 (22)

6.2新建分类法 (23)

6.3导入分类法 (24)

6.4维护分类法 (25)

6.5删除分类法 (26)

第7章采集栏目数据 (27)

7.1绑定视图到栏目 (27)

7.2文档列表页面 (28)

7.3新建栏目数据 (29)

7.4导出栏目数据 (31)

7.5导入外部数据 (32)

7.6设置文档的同步规则 (33)

7.7高级检索 (34)

7.8定制采集页面的表现 (35)

第8章模板撰写及数据发布 (37)

第9章在外部创建数据文件 (38)

9.1从E XCEL快速创建数据 (38)

9.2从E XCEL文件或其它数据源导入数据 (39)

第10章常见问题解答 (44)

TRS WCM V6 元数据管理选件

用户手册

1

第1章 概述

1.1 1.2 术语说明

元数据:描述一个对象的属性的集合,类似数据库中表的概念。例如:书籍可以是一个元数据,它可以是由书籍名称、作者、出版社、简介等属性组成。

视图:建立在元数据之上、由元数据生成的属性的集合,类似数据库中视图的概念。 单表视图:由单个元数据创建而成的视图。 多表视图:由多个元数据创建而成的视图。

主表:在创建多表视图的过程中,被选择为主要存储信息的元数据。 元数据字段:元数据的属性,类似数据库中表中字段的概念。 视图字段:视图的属性,类似数据库中视图中字段的概念。 分类法:用于标识数据的一棵分类树。

功能简介

z 可定义不同的元数据结构;

z 可在一个元数据结构下定义不同结构的视图,同类信息集中存储;

z 支持多表模式,即多个表组合成一个视图,主要数据存储在主表中,另外一些字段

引用其它表的信息,这种模式是建立其网状数据链的基础之一; z 采用站点、栏目将数据分类管理,将栏目和视图绑定,使栏目不仅仅是新闻的一个

汇总,也可以是不同结构的数据集合; z 通过分类法标识数据,数据可以属于多个分类,通过分类法可以多维度展现数据和

梳理数据、为网状数据链的建立提供可能; z 支持不同类型的字段:普通文本、多行文本、单选、多选、是否、下拉列表、图文

混排、分类法、数字、附件等; z 简单易用,创建栏目视图,可以全键盘操作; z 通过元数据管理选件产生的数据可以发布到网站上;

z 在元数据管理选件定义的结构可以发布到网站上,网关收集了网站访问者的数据

后,可以参与内部流转;内部人员填写某些信息,发布到网站上,在线申请者也可以查询处理情况;按照以上的流程产生简单的交互性应用,和自定义表单形成互补; z 通过定义的“结构+系统”的默认模板产生各个视图的交互页面,解析引擎是利用WCM 静态发布引擎,模板内容是采用静态置标定义,实施人员或者用户可以定制不同视图的模板,而产生不同的表现。

第2章

2

快速入门

第2章 快速入门

本章以一个简单的实例——书籍信息的管理,介绍元数据管理选件的使用。

2.1 2.2 设置权限

选择资源库下的一个栏目“书籍”,确保操作用户在这个栏目上有修改栏目的权限和新建文档的权限。如果没有权限,请找管理员分配相应的权限。

新建视图及字段

在导航树中点击栏目名称,进入该栏目,点击“视图”标签页,如下图所示:

单击“新建视图(V)”,弹出新建视图的页面,输入必要的视图信息,包括视图名称和主表名称。

单击下一步,继续输入书籍的字段信息。

TRS WCM V6 元数据管理选件

3

用户手册

单击按钮,完成视图字段的创建,视图标签页面将作相应修改。

点击列表某一行前面的编辑图标,可以修改这个字段的信息,例如将某个字段

的概览显示修改为“是”,最后单击行前面的图标来保存修改。通过这种方式设置字

段书名、出版社、作者为概览显示。再单击“书名”那行前面的复选框,选中“书名”字段,单击列表上方的操作,把“书名”字段设为标题字段。

2.3 生成采集页面和录入数据

单击列表上方的操作来生成书籍信息的采集页面。然后单击栏目的“资源”标签切换到记录列表。通过单击第一块操作面板中的

操作,为这个栏目添加书籍信息。

依次添加其他数据,完成对书籍信息的录入。

第2章

4

快速入门

2.4 预览录入的数据

首先为本栏目配置概览模板。新建概览模板如下,并将模板分配给栏目:Array

预览“书籍”栏目,效果如下:

至此,已经完成了一个资源库使用的简单例子。

TRS WCM V6 元数据管理选件

5

用户手册

第3章 权限管理

为了方便进行后续的各种操作,先了解资源库的权限分配与设置。

3.1 资源库系统

导航树选中资源库节点时,列表页面中各标签的权限分配为:

站点标签:任何用户可见,但进入后根据当前用户权限的不同显示不同的操作。

元数据标签:普通用户不可见,只有管理员可以进入此标签并执行相应操作。

视图标签:同元数据标签。

分类法标签:同元数据标签。

3.2 资源库站点

导航树选中资源库下的站点时,列表页面中各标签的权限分配为:

所有标签:请参见TRSWCM用户手册。

第3章

6

权限管理

3.3 资源库栏目

导航树选中资源库节下的栏目时,列表页面中各标签的权限分配为:

视图标签:用户具有该栏目的修改权限时可见,进入后可以执行相应的操作。

其它标签:请参见TRSWCM用户手册。

TRS WCM V6 元数据管理选件

7

用户手册

第4章 元数据及字段管理

4.1 元数据管理

4.1.1 页面元素

元数据列表

所有元数据图标平铺排列在工作区内,图标下方是元数据的别名。如下图所示。

操作面板

页面右侧第一块操作任务面板显示的是针对当前元数据页面下可执行的操作,如:新建一个元数据。

页面右侧第二块操作面板显示的是针对工作区中当前选中的对象可执行的操作,如:删除这个元数据、删除这些元数据。

【提示】元数据视图页面及相关操作只有管理员可见。

属性面板

选中一个元数据后,属性面板显示“单个元数据详细信息”。我们通过面板可以查

看元数据的基本信息,也可以对其属性进行快速编辑和修改,如下图所示。

第4章

8

元数据及字段管理

如果在元数据列表中选择了多个的元数据,则详细信息面板中只会显示所选中元数据的数目。

4.1.2 新建元数据

在工作区内按下“N”键或者单击右边第一块操作面板的“新建一个元数据”操作,将弹出新建元数据的页面,如下图所示。

元数据名称:名称是必填项,最大长度不超过16个字符,且由字母、数字、下划线组成,且不能重名。

元数据别名:别名是必填项,且最大长度不超过60个字符,别名可以与其它元数据的别名相同,为了便于区分不建议使用相同的别名。

元数据描述:元数据的描述信息,最大长度不超过120个字符。

元数据创建完成之后,将在数据库中同步创建一个表,表名WCMMetaTable + 元数据名,如上面示例中元数据对应的表名为WCMMetaTablebook_info。

4.1.3 修改元数据

在工作区中选中一个元数据,按下“E”键或者单击右边第二块操作面板的“修改这个元数据”操作。

TRS WCM V6 元数据管理选件

9

用户手册

在弹出修改元数据的页面,修改相应的信息,单击“确定”按钮,保存修改。各个

输入项的校验信息参见“4.1.2新建元数据”。

4.1.4 生成视图

在工作区中选中一个或多个元数据图标,单击右边第二块操作面板的“生成视图”操作,将弹出生成视图的页面。详情请参见5.1.2新建视图。

4.1.5 删除元数据

在工作区中选中一个或多个元数据图标,按下“D”键或者“Delete”键或者单击

右边第二块操作面板的“删除这个/些元数据”操作,将弹出删除确认提示框。

提示框中,列出了引用当前元数据的所有视图。确认无误后,单击“确定”按钮完

成删除操作。元数据删除后将同步删除当前选择的元数据及元数据中的字段、引用元数

据的视图及视图中的字段,并取消栏目与相关视图的绑定。如果单击“取消”按钮,则

可以取消当前的删除操作。

【提示】此删除操作将彻底删除元数据,并没有类似站点、栏目的回收站功能,删

除元数据后无法恢复。

第4章

10

元数据及字段管理

4.2 字段管理

进入元数据标签,在元数据列表工作区中,双击一个元数据图标,将进入这个元数据的字段列表管理页面。如下图所示:

4.2.1 新建元数据字段

有两种新建元数据字段的方式,“快速新建”和“新建”。

?快速新建字段

按下“Q”键或单击列表上方的“快速新建(Q)”操作,将在列表中追加一个新行。

快速新建字段只需输入字段必要信息:中文名称(物理字段描述)、英文名称(物理字段名称)、字段类型即可,其它信息(如:字段长度等)将取默认值。单击此行前面的保存按钮,将保存这个字段的信息;单击此行后面的撤销按钮,将删除当前追加的行,撤销新建操作。在快速新建模式下,在追加行上直接按“Enter”键将保存本行,并产生一个新的空行。

中文名称:中文名称是必填项,最大长度不超过100个字符。

英文名称:英文名称是必填项,最大长度不超过30个字符,且由字母开始的字母,数字,下划线组成,名称不能重名。

TRS WCM V6 元数据管理选件

11

用户手册

类型:字段的类型,即系统支持的类型,详见下表。

库中类型:字段在数据库中的真实字段类型,详见下表。

类型关键字库中类型默认长度普通文本normalText V ARCHAR 200 密码文本password V ARCHAR 50 多行文本multiText V ARCHAR 1000 是非框trueOrFalse INTEGER --

单选钮radio V ARCHAR 50 多选checkbox V ARCHAR 50 下拉列表select V ARCHAR 50 可输入下拉列表1inputselect V ARCHAR 50 可输入下拉列表2suggestion V ARCHAR 50 时间timeStamp TIMESTAMP -- 分类树classInfo V ARCHAR 200 简易编辑器editorChar V ARCHAR 1000 复杂编辑器editor CLOB -- 附件appendix V ARCHAR 50 相关文档relation V ARCHAR 200

V ARCHAR/INTEGER/CLOB/

-- 自定义类型 selfDefine

TIMESTAMP/FLOAT/DOUBLE

【说明1】“可输入下拉列表1”提供输入的同时,也可以进行选择;而“可输入下拉列

表2”在输入的同时,将进行suggestion提示。

【说明2】只有自定义类型的库中类型是可选的,包括:整数、小数、双精度、字符串、时间和大文本。

?新建字段

按下“N”键或单击列表上方的“新建(N)”操作时,将弹出新建元数据字段的页面。这种新建方式比快速新建具有更多的可控制信息,从而更详细的定制字段的特性。

第4章

12

元数据及字段管理

库中长度:最小值为1。

枚举值:枚举值的构造规则为item~item…~item,其中item表示一个枚举项;item 可能的形式为label`value或者label,如果没有指定枚举项的值value,则label将作为枚举项的值。如:一个可能的枚举值为:北京~上海`1~天津`5~广州~南昌`6。

字段默认值:缺省为空。录入数据时,控件中生成的默认值。

【说明3】“是非框”字段类型,默认值0表示“非”,1表示“是”.

【说明4】枚举值类型,默认值应该输入枚举项的值,如:输入的枚举值为:北京~上海`1~天津`5,则可以输入“北京”、1、5中的任何一个作为默认值。

【说明5】“多选”字段类型,默认有多个时,多值应用单脚逗号[,]来分隔。

不能为空:控制录入数据时,是否为必填项。缺省为不勾选。

新建完一个元数据字段之后,将在元数据对象的物理表中同步新建一个数据库物理字段。

4.2.2 修改元数据字段

修改元数据字段有两种操作方式,快速修改和详细修改。

TRS WCM V6 元数据管理选件

13

用户手册

单击某行前面的图标,将进入快速修改模式,按“Enter”键将保存本行修改,

单击行后面的按钮,将撤销当前修改操作,返回查看模式。

单击某行的“中文名称”,将弹出修改字段的详细信息页面。点击“保存”完成修改。

4.2.3 删除元数据字段

直接单击某行后面的图标,删除某一个元数据字段;选中某一行或多行前的复

选框,单击列表上方的“删除(D)”,按下“D”键或者“Delete”键进行批量删除。

第5章

14

视图及字段管理

第5章 视图及字段管理

5.1 视图管理

5.1.1 页面元素

视图列表

列表中所有视图图标平铺排列在工作区内,图标下方是视图的名称。如下图所示。

当把鼠标放在某一个视图上时,会显示出该视图的title,如下图所示。

【提示】对title提示中“英文名称”的解释如下:如果视图为单表视图,英文名称为其对应的数据库中元数据表名称;如果视图为多表视图,英文名称为该视图在数据库中的视图名称。该信息方便于实施人员查阅其数据库表。

操作面板

页面右侧第一块操作任务面板显示的是针对当前视图页面下可执行的操作,如:新建一个视图。

页面右侧第二块操作面板显示的是针对工作区中当前选中的对象可执行的操作,如:删除这个视图、删除这些视图。

实验空间数据库管理及属性编辑实验报告

实验报告 一、实验名称 二、实验目的 三、实验准备 四、实验内容及步骤 五、实验后思考题 班级:资工(基)10901 姓名:魏文风 序号:28 实验二、空间数据库管理及属性编辑 一、实验目的 1.利用ArcCatalog管理地理空间数据库,理解Personal Geodatabse空间数据库模型的有关概念。 2.掌握在ArcMap中编辑属性数据的基本操作。 3.掌握根据GPS数据文件生成矢量图层的方法和过程。 4.理解图层属性表间的连接(Join)或关联(Link)关系。 二、实验准备 预备知识: ArcCatalog 用于组织和管理所有GIS 数据。它包含一组工具用于浏览和查找地理数据、记录和浏览元数据、快速显示数据集及为地理数据定义数据结构。 ArcCatalog 应用模块帮助你组织和管理你所有的GIS 信息,比如地图,数据集,模型,元数据,服务等。它包括了下面的工具: ●浏览和查找地理信息。 ●记录、查看和管理元数据。 ●创建、编辑图层和数据库 ●导入和导出geodatabase 结构和设计。 ●在局域网和广域网上搜索和查找的GIS 数据。

管理ArcGIS Server。 ArcGIS 具有表达要素、栅格等空间信息的高级地理数据模型,ArcGIS支持基于文件和DBMS(数据库管理系统)的两种数据模型。基于文件的数据模型包括Coverage、Shape文件、Grids、影像、不规则三角网(TIN)等GIS数据集。 Geodatabase 数据模型实现矢量数据和栅格数据的一体化存储,有两种格式,一种是基于Access文件的格式-称为Personal Geodatabase,另一种是基于Oracle或SQL Server等RDBMS关系数据库管理系统的数据模型。 GeoDatabase是geographic database 的简写,Geodatabase 是一种采用标准关系数据库技术来表现地理信息的数据模型。Geodatabase是ArcGIS软件中最主要的数据库模型。 Geodatabase 支持在标准的数据库管理系统(DBMS)表中存储和管理地理信息。 在Geodatabase数据库模型中,可以将图形数据和属性数据同时存储在一个数据表中,每一个图层对应这样一个数据表。 Geodatabase可以表达复杂的地理要素(如,河流网络、电线杆等)。比如:水系可以同时表示线状和面状的水系。 基本概念:要素数据集、要素类 数据准备: 数据文件:National.mdb ,GPS.txt (GPS野外采集数据)。 软件准备: ArcGIS Desktop 9.x ---ArcCatalog 三、实验内容及步骤 第1步启动ArcCatalog打开一个地理数据库 当ArcCatalog打开后,点击, 按钮(连接到文件夹). 建立到包含练习数据的连接(比如 “E:\ARCGIS\EXEC2”), 在ArcCatalog窗口左边的目录树中, 点击上面创建的文件夹的连接图标旁的(+)号,双击个人空间数据库-National.mdb。打开它。. 在National.mdb中包含有2个要素数据集、1个关系类和1个属性表第2步预览地理数据库中的要素类 在ArcCatalog窗口右边的数据显示区内,点击“预览”选项页切换到“预览”视图界面。在目录树中,双击数据集要素集-“WorldContainer”,点击要素类-“Countries94”激活它。 在此窗口的下方,“预览”下拉列表中,选择“表格”。现在,你可以看到Countries94的属性表。查看它的属性字段信息。 花几分钟,以同样的方法查看一下National.mdb地理数据库中的其它数据。

石竹元数据管理软件 MetaOne Catalog_1.5

MetaOne产品简介

MetaOne 功能简介 MetaOne 基本功能 元模型/元数据管理 元数据关系维护 自动获取/批量导入 元数据版本管理 基本分析功能 元数据全文检索 系统管理 MetaOne 高级功能 元数据发布流程管理 高级分析功能 元数据分析 基本分析:血统分析、影响分析、映射分析等 高级分析:差异分析、表重要程度分析、表无关程度分析等 血统分析 元数据是企业数据资源管理、使用的基础。MetaOne 作为企业实施元数据管理的软件支撑平台,其先进的理念、成熟的技术让业界耳目一新。 元模型/元数据管理 元模型支持CWM 规范,可完全扩展;元数据展现树型化,体系结构清晰直观;支持常规数据类型,及针对企业应用的特殊类型,如大文本、枚举、公式编辑器、URL 等。 自动获取/批量导入元数据 自动获取:PowerCenter 、DataStage 、Oracle 、DB2、DB2 OLAP SERVER 、 Essbase 、TeraData 等 批量导入:Excel 格式、XMI 格式、Erwin 、PowerDesigner 等 元数据全文检索 多种组合条件的模糊查询,可在整个元数据环境随时检索所需信息 系统管理 基于角色的用户权限管理;用户可定制系统参数; 元数据发布流程管理 提供元数据发布流程管理,规范企业元数据的管理流程。可以让企业更好地管理和跟踪元数据的整个生命周期, 在元数据的流程管理中, 可以安全地创建、获取、扩展的元数据信息。 元数据关系维护 图形化的元数据关系维护,拖拉鼠标轻松实现,效果直观易于维护; 图形化维护ETL 程序内部的字段级映射关系,清晰追溯数据来源及加工过程。 元数据版本管理 元数据版本变更记录、版本变更查询、版本浏览、版本恢复

大大数据管理系统之大大数据可视化设计

数据管理系统企业级数据可视化项目Html5 应用实践 项目经理:李雪莉 组员:申欣邹丽丹陈广宇陈思 班级:大数据&数字新媒体 一、项目背景 随着大数据、云计算和移动互联网技术的不断发展,企业用户对数据可视化的需求日益迫切。用户希望能够随时随地简单直观的了解企业生产经营、绩效考核、关键业务、分支机构的运行情况,即时掌握突发性事件的详细信息,快速反应并作出决策。随着企业信息化的不断推进,企业不断的积累基础信息、生产运行、经营管理、绩效考核、经营分析等以不同形式分布在多个系统或个人电脑文档内的业务数据。如何将大量的数据进行分析整理,以简单、直观、高效的形式提供给管理者作为经营决策的依据是当前企业数据应用的迫切需求。传统的企业数据可视化方案多基于Java Applet、Flash、Silverlight 等浏览器插件技术进行开发,在当前互联网和移动互联网技术高速发展的背景下,Web技术标准也随之高速发展,用户对互联网技术安全性和使用体验的要求越来越高。Java Applet、Flash、Silverlight 等浏览器插件技术因为落后和封闭的技术架构,以及高功耗、高系统

资源占用,已经被微软、谷歌、苹果、火狐等主流操作系统和浏览器厂商逐步放弃,转而不断支持和完善基于HTML5的新一代Web技术标准 对数据进行直观的拖拉操作以及数据筛选等,无需技术背景,人人都能实现数据可视化无论是电子表格,数据库还是 Hadoop 和云服务,都可轻松分析其中的数据。 数据可视化是科学、艺术和设计的结合,当枯燥隐晦的数据被数据科学家们以优雅、简明、直观的视觉方式呈现时,带给人们的不仅仅是一种全新的观察世界的方法,而且往往具备艺术作品般的强大冲击力和说服力。如今数据可视化已经不局限于商业领域,在社会和人文领域的影响力也正在显现。 数据可视化的应用价值,其多样性和表现力吸引了许多从业者,而其创作过程中的每一环节都有强大的专业背景支持。无论是动态还是静态的可视化图形,都为我们搭建了新的桥梁,让我们能洞察世界的究竟、发现形形色色的关系,感受每时每刻围绕在我们身边的信息变化,还能让我们理解其他形式下不易发掘的事物。 二、项目简介 目前,金融机构(银行,保险,基金,证劵等)面临着诸如利率汇率自由化,消费者行为改变,互联网金融崛起等多个挑战。为满足企业的发展需要,要求管理者运用大数据管理以更为科学的手段对企

数字航道空间数据库管理系统

长江空间数据库管理系统 1、项目介绍 建设长江航道数据库管理软件,包括元数据管理、数据预处理、数据管理、空间分析、测绘成果管理、区域局空间数据发布、空间数据应用接口等模块,同时接合各区域局业务需求,定制相关业务功能处理模块。要满足6个区域局和长江航道局、长江航道测量中心、长江规划研究院9个用户的需求。 2、系统功能模块 系统分为数据入库、数据管理、业务应用、系统设置、数据交换及建库工具等功能模块。 数据入库模块:包括数据质检检查、数据预处理和数据入库三大模块;主要用于数据入库及入库数据的准备工作。

数据入库:完成全要素数据、水深、DEM、DRG、DOM数据的入库工作。 数据质检:对入库数据进行质量检查,并将检查结果与清华山维进行对接,以在清华山维中显质检结果。 数据处理工具:对入库前数据进行相应处理,如果坐标转换、格式转换、DEM生成等。

数据编辑:对ESRI格式的数据进行简单的图形和属性编辑。 数据管理模块:包括数据数据浏览、基础数据管理、测绘成果管理、查询分析、制图与输出、测绘成果管理、DEM基础分析、工具箱等模块,主要完成对入库数据的管理和浏览工作,是数据管理系统的的核心。 数据制图输出:对当前分析结果进行制图成图,并打印输出等,以及对数据库中进行数据输出。

工具箱:提供数据处理的常用工具。 查询分析:查询统计模块主要是针对图层数据属性的查询与统计,这是对数据信息展示,方便用户随时了解数据成果的详细详细,整个“查询统计”功能模块包含以下功能点。 测绘成果管理:对工程测图成果、维护性测图成果、专项测图成果、ENC测图成果及整治建筑物测量成果等专题测绘成果进行管理,包括测量项目信息、成果入果、成果管理等。

元数据管理平台

元数据管理平台 技术白皮书 北京亿信华辰软件责任有限公司 2018年4月

目录 1.前言 (1) 1.1.关于本白皮书 (1) 1.2.背景介绍 (1) 1.3.产品定位 (1) 2.产品架构 (2) 2.1.概述 (2) 2.2.数据源层 (2) 2.3.采集层 (2) 2.4.数据层 (3) 2.5.功能层 (3) 2.6.访问层 (3) 3.产品功能特色 (4) 3.1.规范的元模型管理 (4) 3.2.端到端的自动化采集 (5) 3.3.全面的采集适配器 (5) 3.4.可灵活定制的采集模板 (6) 3.5.便捷的元数据检索 (7) 3.6.完善的元数据管理 (7) 3.7.强大的元数据版本管理 (8) 3.8.实时的元数据变更监控 (8) 3.9.数据地图鸟瞰全局 (9) 3.10.丰富的元数据分析应用 (9) 3.10.1.血缘分析 (9) 3.10.2.影响分析 (10) 3.10.3.全链分析 (10) 3.10.4.关联度分析 (11) 3.10.5.属性差异分析 (11) 3.11.出色的元数据检核机制 (12) 3.11.1.一致性检核 (12) 3.11.2.属性填充率检核 (12) 3.11.3.组合关系检核 (12) 3.12.自助式门户 (13) 3.13.丰富的服务接口 (13) 4.产品技术优势 (13)

4.1.系统设计原则 (13) 4.1.1.先进性 (14) 4.1.2.可维护性 (14) 4.1.3.可靠性 (14) 4.1.4.易用性 (15) 4.1.5.安全性 (15) 4.1.6.扩展性 (15) 4.2.可扩展采集适配器设计 (16) 4.3.采用MOF规范 (16) 4.4.支持基于XMI的数据交换 (17) 4.5.运用REST FUL架构 (18) 5.软硬软件环境 (19) 5.1.服务器配置推荐 (19) 5.2.客户端配置 (20) 5.2.1.客户端(建议配置) (20) 5.2.2.客户端浏览器 (20)

空间数据管理平台解决方案

空间数据管理平台解决方案

1.引言 1.1方案概述 空间数据管理平台解决方案主要是针对我国各级测绘院、信息中心建设区域地理信息基础框架的迫切需求,开发的一套专业性强、具有高可扩展性的基础地理信息数据库管理平台。 整个方案从管理多源、多尺度、多类型的基础地理信息数据的角度出发,开发了一些列软件系统,包括空间数据入库更新子系统、空间数据质量检查子系统以及空间数据管理平台等,可以实现对现有基础地理信息数据的整合、转换与集成管理,为政府、企业、公众等提供空间信息服务。 1.2系统特点 ●“多源、多尺度、多时相”基础地理数据的集成管理 由于基础地理数据具有多源、多尺度、多时相的特点,基础地理数据管理平台必须具有集成不同数据类型、不同比例尺、不同时间的各种基础地理数据的能力。 ●多比例尺数据集成 对于不同尺度的基础地理数据,其集成通过统一空间参考系(WGS84、西安80、北京54)或动态投影技术来实现。不同比例尺的

基础地理数据可以叠加一起显示,通过控制其显示比例实现地图的逐层显示效果。 ●多类型数据集成 对于不同类型的数据(如DLG与DRG)的集成采用按空间坐标范围或图幅索引实现。 ●多时序数据集成 对于不同时间段的基础地理数据,采用历史数据库来实现。根据数据更新周期的不同,采用按数据集、图幅、对象级别的历史数据库机制。 ●基础地理数据管理全过程支持 SuperMap D-Manager特别针对我国各级测绘院、信息中心设计开发,系统支持数据加工、数据入库管理、数据共享、数据发布的整个业务过程,可以快速为用户打造完备的基础地理数据中心,满足各种用户对基础地理信息的需求,为数字城市建设服务。 ●基础性与平台性 SuperMap D-Manager从设计到实现,充分考虑了其作为基础性、平台性等支撑性要求。SuperMap D-Manager在设计思路、软件开发实现上都具有高可扩展性的特点。

元数据管理平台的建立

元数据管理平台的建立 1.1 元数据简介 元数据被定义为:描述数据的数据,对数据及信息资源的描述性信息。 元数据(Metadata)是描述其它数据的数据(data about other data),或者说是用于提供某种资源的有关信息的结构数据(structured data)。元数据是描述信息资源或数据等对象的数据,其使用目的在于:识别资源;评价资源;追踪资源在使用过程中的变化;实现简单高效地管理大量网络化数据;实现信息资源的有效发现、查找、一体化组织和对使用资源的有效管理。 元数据的基本特点主要有: 1、元数据一经建立,便可共享。元数据的结构和完整性依赖于信息资源的价值和使用环境;元数据的开发与利用环境往往是一个变化的分布式环境;任何一种格式都不可能完全满足不同团体的不同需要; 2、元数据首先是一种编码体系。元数据是用来描述数字化信息资源,特别是网络信息资源的编码体系,这导致了元数据和传统数据编码体系的根本区别;元数据的最为重要的特征和功能是为数字化信息资源建立一种机器可理解框架。 元数据体系构建了企业业务的逻辑框架和基本模型,从而决定了企业业务的功能特征、运行模式和系统运行的总体性能。企业业务的运作都基于元数据来实现。其主要作用有:描述功能、整合功能、控制功能和代理功能。 由于元数据也是数据,因此可以用类似数据的方法在数据库中进行存储和获取。如果提供数据元的组织同时提供描述数据元的元数据,将会使数据元的使用变得准确而高效。用户在使用数据时可以首先查看其元数据以便能够获取自己所需的信息。

在数据仓库领域中,元数据按用途分成技术元数据和业务元数据。首先,元数据能提供基于用户的信息,如记录数据项的业务描述信息的元数据能帮助用户使用数据。其次,元数据能支持系统对数据的管理和维护,如关于数据项存储方法的元数据能支持系统以最有效的方式访问数据。具体来说,在数据仓库系统中,元数据机制主要支持以下五类系统管理功能: (1)描述哪些数据在数据仓库中; (2)定义要进入数据仓库中的数据和从数据仓库中产生的数据; (3)记录根据业务事件发生而随之进行的数据抽取工作时间安排; (4)记录并检测系统数据一致性的要求和执行情况; (5)衡量数据质量。 1.2 元数据管理平台体系结构 图1 元数据管理平台体系结构 关键特性

空间数据库管理模式

空间数据管理模式 1.文件管理——ArcInfo中Coverage文件管理 ARC/INFO7.X以前版本以Coverage作为矢量数据的基本存储单元。一个Coverage存储指定区域内地理要素的位置、拓扑关系及其专题属性。每个Coverage一般只描述一种类型的地理要素(一个专题Theme)。位置信息用X,Y表示,相互关系用拓扑结构表示,属性信息用二维关系表存储。 ?Coverage的优点 空间数据与属性数据关联 空间数据放在建立了索引的二进制文件中,属性数据则放在DBMS表(TABLES)里面,二者以公共的标识编码关连。 矢量数据间的拓扑关系得以保存 由此拓扑关系信息,我们可以得知多边形是哪些弧段(线)组成、弧段(线)由哪些点组成、两条弧段(线)是否相连以及一条弧段(线)的左 或右多边形是谁?这就是通常所说的“平面拓扑”。 ?新技术条件下Coverage的缺陷 Coverage模型可取的方面,有的已经可以不再继续作为强调的因素; 拓扑关系的建立可以由面向对象技术解决(记录在对象中) 硬件的发展,不再将存储空间的节省与否作为考虑问题的重心 计算机运算能力的提高,已经可以实时地通过计算直接获得分析结果。 空间数据不能很好地与其行为相对应; 以文件方式保存空间数据,而将属性数据放在另外的DBMS系统中。这种方式对于日益趋向企业级和社会级的GIS应用而言,已很难适应(如海量数据、 并发等) Coverage模型拓扑结构不够灵活,局部的变动必须对全局的拓扑关系重新建立(Build) “牵一发而动全身”,且费时 在不同的Coverage之间无法建立拓扑关系; 河流与国界 人井与管道 2.文件-关系数据库混合型管理——ArcInfo、ArcView GIS的Shape文件和Mapinfo中的Tab文件管理 用文件系统管理几何图形数据,用商用关系型数据库管理属性数据,两者之间通过目标标识或内部连接码进行连接。在这一管理模式中,除通过OID(object,ID)连接之外,图形数据和属性数据几乎是完全独立组织、管理与检索的。当前GIS ODBC(Open Database Consortium,开放性数据库连接协议)

元数据管理

1.前言 数据仓库中的数据是从许多业务处理系统中抽取、转换而来,对于这样一个复杂的企业数据环境,如何以安全、高效的方式来对它们进行管理和访问就变得尤为重要。解决这一问题的关键是对元数据进行科学有效的管理。元数据是关于数据、操纵数据的进程和应用程序的结构和意义的描述信息,其主要目标是提供数据资源的全面指南。元数据不仅定义了数据仓库中数据的模式、来源以及抽取和转换规则等,而且整个数据仓库系统的运行都是基于元数据的,是元数据把数据仓库系统中的各个松散的组件联系起来,组成了一个有机的整体。2.元数据 2.1 元数据的概念 按照传统的定义,元数据(Metadata)是关于数据的数据。在数据仓库系统中,元数据可以帮助数据仓库管理员和数据仓库的开发人员非常方便地找到他们所关心的数据;元数据是描述数据仓库内数据的结构和建立方法的数据,可将其按用途的不同分为两类:技术元数据(Technical Metadata)和业务元数据(Business Metadata)。 技术元数据是存储关于数据仓库系统技术细节的数据,是用于开发和管理数据仓库使用的数据。

业务元数据从业务角度描述了数据仓库中的数据,它提供了介于使用者和实际系统之间的语义层,使得不懂计算机技术的业务人员也能够“读懂”数据仓库中的数据。业务元数据主要包括以下信息:使用者的业务术语所表达的数据模型、对象名和属性名;访问数据的原则和数据的来源;系统所提供的分析方法以及公式和报表的信息。 2.2 元数据的作用 在数据仓库系统中,元数据机制主要支持以下五类系统管理功能:(1)描述哪些数据在数据仓库中;(2)定义要进入数据仓库中的数据和从数据仓库中产生的数据;(3)记录根据业务事件发生而随之进行的数据抽取工作时间安排;(4)记录并检测系统数据一致性的要求和执行情况;(5)衡量数据质量。 与其说数据仓库是软件开发项目,还不如说是系统集成项目[1],因为它的主要工作是把所需的数据仓库工具集成在一起,完成数据的抽取、转换和加载,OLAP分析和数据挖掘等。 3.数据仓库元数据管理现状 元数据管理的主要任务有两个方面:一是负责存储和维护元数据库中的元数据;二是负责数据仓库建模工具、数据获取工具、前端工具等之间的消息传递,协调各模

(整理)数据仓库与元数据管理

数据仓库与元数据管理 1. 前言 在事务处理系统中的数据,主要用于记录和查询业务情况。随着数据仓库(DW)技术的不断成熟,企业的数据逐渐变成了决策的主要依据。数据仓库中的数据是从许多业务处理系统中抽取、转换而来,对于这样一个复杂的企业数据环境,如何以安全、高效的方式来对它们进行管理和访问就变得尤为重要。解决这一问题的关键是对元数据进行科学有效的管理。 本文首先介绍了元数据的定义、作用和意义;然后讨论了数据仓库系统中元数据管理的现状和关于元数据的标准化情况;最后提出了建立元数据管理系统的步骤和实施方法。 2. 元数据 2.1 元数据的概念 按照传统的定义,元数据(Metadata)是关于数据的数据。在数据仓库系统中,元数据可以帮助数据仓库管理员和数据仓库的开发人员非常方便地找到他们所关心的数据;元数据是描述数据仓库内数据的结构和建立方法的数据,可将其按用途的不同分为两类:技术元数据(Technical Metadata)和业务元数据(Business Metadata)。 技术元数据是存储关于数据仓库系统技术细节的数据,是用于开发和管理数据仓库使用的数据,它主要包括以下信息: ●数据仓库结构的描述,包括仓库模式、视图、维、层次结构和导出数据的定义, 以及数据集市的位置和内容; ●业务系统、数据仓库和数据集市的体系结构和模式 ●汇总用的算法,包括度量和维定义算法,数据粒度、主题领域、聚集、汇总、 预定义的查询与报告; ●由操作环境到数据仓库环境的映射,包括源数据和它们的内容、数据分割、数 据提取、清理、转换规则和数据刷新规则、安全(用户授权和存取控制)。 业务元数据从业务角度描述了数据仓库中的数据,它提供了介于使用者和实际系统

电子文件元数据规范

电子文件元数据规范 1 范围 本规范适用于九省区各级国家档案馆、各级党政机关、社会团体、企事业单位对电子文件进行以保证凭证性为目的的管理活动。其他社会组织可参照执行 在电子文件管理过程中使用元数据可实现以下目的: ——确保并证明归档电子文件的真实性、完整性与有效性,从而保证其凭证价值; ——有利于归档电子文件的保护,实现长期保存; ——在异构的信息系统中对归档电子文件进行规范、有效的管理,保证归档电子文件的可捕获、可收集、查长期利用; ——对归档电子文件及馆(室)藏档案数字化资源进行集成管理,实现有效、方便地查询、检索与利用。 2 规范性引用文件 下列文件中的条款通过本规范的引用而成为本规范的条款。凡是注明日期的引用文件,其随后所有的修改单(不包括勘误的内容)或修订版均不适用于本规范,然而,鼓励根据本规范达成协议的各方研究是否可使用这些文件的最新版本。 GB 2312-1980 信息交换用汉字编码字符集基本集 GB/T 3760-1995 文献叙词标引规则 GB/T 3792.1-1983 文献著录总则 GB/T 7156-2003 文献保密等级代码 GB/T 7408-2005 数据元和交换格式信息交换日期和时间表示法 GB/T 9704-1999 国家行政机关公文格式 GB/T 11714-1997 全国组织机构代码编制规则 GB/T 11821-2002 照片档案管理规范 GB/T 13959-1992 文件格式与代码编制方法 GB/T 13967-1992 全宗单 GB/T 15418-1994 档案分类标引规则 GB 18030-2000 信息技术信息交换用汉字编码字符集基本集的扩充 GB/T 18894-2002 电子文件归档与管理规范 DA/T 1-2000 档案工作基本术语 DA/T 12-1994 全宗卷规范 DA/T 13-1994 档号编制规则 DA/T 18-1999 档案著录规则 DA/T 19-1999 档案主题标引规则 DA/T 22-2000 归档文件整理规则 DA/T 31-2005 纸质档案数字化技术规范 《中华人民共和国电子签名法》 中办发[1996]14号中国共产党机关公文处理条例 国发﹝2000﹞23号关于发布《国家行政机关公文处理办法》的通知 国档发[1987]4号关于颁发《编制全国档案馆名称代码实施细则》的通知 国家档案局第6号令《电子公文归档管理暂行办法》,2003年7月28日 国家档案局第8号令《机关文件材料归档范围和文书档案保管期限规定》,2006年12月19日ISO 15489 Information and documentation—Records management ISO 23081-1 Information and documentation – Records Management Processes – Metadata for Records—Part 1: Principles

元数据管理方案

元数据管理方案

元数据管理方案 1.1元数据抽取 为了简化元数据生成工作,系统提供自动生成元数据的功能,即元数据抽取。经过元数据自动抽取,用户能够方便、快捷地获得大量的元数据信息。 1.1.1抽取的对象 元数据抽取主要针正确对象有以下几种: 已有目录:已建业务应用系统中现有的目录资源。 数据库:各种数据库资源,包括关系型数据库、XML数据库等。 格式化电子文件:电子文件,例如Word、PDF、XLS等文件。 1.1.2元数据抽取的流程 元数据抽取的流程有4个主要步骤,分别为: 数据源信息获取:解决要从哪个数据源获得元数据的问题。 内容/结构分析:解决要从数据源中获得哪些元数据的问题。 元数据提取:解决如何从数据源中获取元数据的问题。 存储入库:解决元数据存储的问题。

1.1.3电子文档的元数据抽取 对于电子文档,首先各部门的文档格式不尽相同,另外它们的安全级别也各不相同,同时由于信息化建设水平的不一致,有的部门文档分散在各处,有的部门文档是集中存放的,甚至已经建立了完善的电子系统进行管理。 针对以上状况,对于电子文档的元数据抽取需要进行以下的抽取流程: ●整理归档 对于分散在各处的电子文档(纸质文档需要先进行电子化处理),必须由专人进行统一整理,根据公开共享的前提进行集中,这种集中能够是物理上集中的,也能够是逻辑上集中的。但要满足以下原则,第一根据安全级别,便于外界访问;第二便于文档的增量发布;第三便于采集工具的自动化采集编目。各部门只有在文档完全整理归档的情况下,进行自动化采集才是切实可行的。在整理归档的时候,各部门根据各自情况进行归档,没有必要千篇一律,也没有必要制定繁琐和呆板的规则,只要能够满足以上的原则即可。 ●根据安全级别,建立相应的访问机制 由于受到安全级别的限制,因此对于需要共享的数据要进行安全方面的限制,限制的手段能够有:用户名/密码、数字证书、物理隔断等等,根据实际情况建立安全访问机制,做到重要信息不泄露,不丢失。 ●编目处理

数据仓库元数据管理

1.1.1 第一章元数据概论 企业的计算机系统每年会产生很多数据,很多企业面临着这样的困境,难以有效的管理大量的、繁杂的、不一致的数据,并方便地访问、利用这些数据进行辅助决策。 建立数据仓库提供一个方法,把数据转化为有用的、可信赖的信息,支持商业决策。建立数据仓库一个重要的工作是元数据管理。元数据(Metadata)就是数据的数据,用于建立、管理、维护和使用数据仓库。。元数据管理是企业级数据仓库中的关键组件,贯穿于建立数据仓库的整个过程。 元数据使得用户可以掌握数据的历史情况,如数据从哪里来?流通时间有多长?更新频率是多大?数据元素的含义是什么?对它已经进行了哪些计算、转换和筛选等等。在需求不确定情况下,在瞬间万变的商业环境下,元数据可以更好的支持需求的变化,降低项目风险。 通常把元数据分为技术元数据(Technical Metadata)和业务元数据(Business Metadata)。技术元数据是描述关于数据仓库技术细节的数据,这些元数据应用于开发、管理和维护数据仓库;业务元数据从商业和业务的角度描述数据仓库的数据,提供了良好的语义层定义,业务元数据使业务人员能够更好的理解数据仓库分析出来的数据。 元数据贯彻于建立数据仓库的整个过程,不只是ETL过程需要元数据的支持。 图1 元数据的应用 在使用元数据的同时,随着数据仓库市场的发展,业界出现许多数据仓库管理和分析的工具,各种工具使用不同的元数据标准来表示和处理,不同系统之间的迁移、数据交换变得困难。于是,我们希望用一种单一的元数据标准,使得各种组织的元数据具有单一的元模型(MetaModel),因此,需要建立一种标准使得不同的数据仓库和商业智能系统之间可以相互交换元数据。 1.1.2 第二章元数据标准 1.1. 2.1 一、元数据标准CWM OMG于2001年颁布元数据标准CWM 1.0(Common Warehouse Metamodel Version 1.0)。CWM定义一个描述数据源、数据目的、转换、分析的元数据框架,以及定义建立和管理数据仓库的过程和操作,提供使用信息的继承。 目前宣布支持CWM的厂商包括:IBM、Oracle、Hyperion、Dimension EDI、Genesis IONA、HP、NCR和Unisys等。 CWM基于3个工业标准: UML - Unified Modeling Language,OMG建模标准; MOF - Meta Object Facility,OMG建立元模型和模型库的标准,提供在异构环境下的数据交换的接口; XMI - XML Metadata Interchange,OMG元数据交换标准。 UML在CWM中得到充分的应用,担任3个不同的角色: 1),UML用来做为与MOF对应的meta-metamodel。UML相当于MOF Model,,UML Notation和OCL(Object Constraint Language),被用来做为建模语言、图形符号、约束语言,

2018年系统元数据管理系统分析

2018年系统元数据管理系统分析 1. 现状分析 随着经营分析系统规模不断扩大,系统所积累数据量也越来越大,收集到的海量数据背后隐藏着大量珍贵重要的信息,但也同时提高了系统的数据管理难度:一方面难以对这些数据进行有效解释,缺乏对业务流程执行的实时监控和管理;另一方面各部门数据与数据整合的难度也不断加大,影响到了经营分析系统中的数据质量。 如何对现有数据进行深层发掘,并揭示出埋藏在元数据中的趋势、因果关系、关联模式等核心信息?这是下一步深化经营分析系统应用的电信运营商需要解决的头等大事。构建BI,首先要保证的是数据质量。元数据管理解决的问题就是如何把业务系统中的数据分门别类地进行管理,并建立数据与数据之间的关系,为数据仓库的数据质量监控提供基础素材。 1.1 目前的困境 使用者(决策层、业务分析人员): 1) 经营分析系统中存在有很多报表,不同报表中存在一些相同的指标,这些指标往往不一致,给业务分析和决策工作造成很多困惑,必须花费很大的精力去检查核实。 2) 对于很多指标,不清楚其具体含义,不清楚其反映的问题,不清楚其具体算法和来龙去脉。

数据仓库项目开发维护者: 1) 不同报表中的同一指标不一致,必须花费很大的精力去检查,目前基本上是通过手工检查表和存储过程的方式,效率较低。 2) 没有完善的开发、维护规范。比如,新增一张分析报表,开发人员根据业务人员的需求制作完成之后,往往没有整理完善相应的数据指标解释和元数据管理,造成日后检查困难。 3) 开发、维护规范的执行力较低,没有行之有效的管控手段。不严格按照规范执行,随着项目的发展和时间的推移,导致数据仓库项目的健壮性和可维护性呈几何级数下降,给数据仓库的建设带来大量的重复工作。 1.2 什么是元数据管理 元数据最本质,最抽象的定义为:data about data (关于数据的数据)。而对于经营分析数据仓库而言,形象的定义为:元数据就是数据仓库的规范。这些规范包括对各种指标的定义、解释;包括对各表中数据的来龙去脉、数据的大小和格式的定义。 元数据管理,就是要建立一套行之有效的规范以及该规范的管控体系,实现从管理到查询到综合分析的全面管控,管理层次从接口到ETL处理、业务逻辑处理、结果展现处理和指标分析的方方面面,构成数据仓库应用系统的核心和基础。做到开发者能严格遵守规范,维护者和使用者有规范可查,有力的保障数据仓库项目的健壮性和可维护性。

元数据管理方案

元数据管理方案 1.1元数据抽取 为了简化元数据生成工作,系统提供自动生成元数据的功能,即元数据抽取。通过元数据自动抽取,用户可以方便、快捷地获得大量的元数据信息。 1.1.1抽取的对象 元数据抽取主要针对的对象有以下几种: 已有目录:已建业务应用系统中现有的目录资源。 数据库:各种数据库资源,包括关系型数据库、XML数据库等。 格式化电子文件:电子文件,例如Word、PDF、XLS等文件。 1.1.2元数据抽取的流程 元数据抽取的流程有4个主要步骤,分别为: 数据源信息获取:解决要从哪个数据源获得元数据的问题。 内容/结构分析:解决要从数据源中获得哪些元数据的问题。 元数据提取:解决如何从数据源中获取元数据的问题。 存储入库:解决元数据存储的问题。 1.1.3电子文档的元数据抽取 对于电子文档,首先各部门的文档格式不尽相同,另外它们的安全级别也各不相同,同时由于信息化建设水平的不一致,有的部门文档分散在各处,有的部门文档是集中存放的,甚至已经建立了完善的电子系统进行管理。 针对以上状况,对于电子文档的元数据抽取需要进行以下的抽取流程: 整理归档 对于分散在各处的电子文档(纸质文档需要先进行电子化处理),必须由专人进行统

一整理,根据公开共享的前提进行集中,这种集中可以是物理上集中的,也可以是逻辑上集中的。但要满足以下原则,第一根据安全级别,便于外界访问;第二便于文档的增量发布;第三便于采集工具的自动化采集编目。各部门只有在文档完全整理归档的情况下,进行自动化采集才是切实可行的。在整理归档的时候,各部门根据各自情况进行归档,没有必要千篇一律,也没有必要制定繁琐和呆板的规则,只要能够满足以上的原则即可。 ●根据安全级别,建立相应的访问机制 由于受到安全级别的限制,所以对于需要共享的数据要进行安全方面的限制,限制的手段可以有:用户名/密码、数字证书、物理隔断等等,根据实际情况建立安全访问机制,做到重要信息不泄露,不丢失。 ●编目处理 现阶段,主流格式的电子文档,主要包含:word、excel、ppt、pdf等。对主流格式的电子文档,要提供自动采集工具进行编目处理。采集的范围主要是文档的标题和内容,对于其它的元数据内容,要提供手工配置的方式进行辅助。另外,在工具的采集效率上,要提高增量文档发布后的采集效率。 对于格式特殊、内容有加密算法的文档,是很难通过抓取工具进行采集的,这些文档主要通过手工编目的方式来处理。 对于存在管理库的文档,就需要对数据库来进行编目采集,详见数据库元数据抽取部分。 ●保存元数据 采集后的数据要放到数据库或者保存到硬盘上,另外要根据目录体系标准,把数据分解为元数据,然后进行存储 1.1.4数据库元数据抽取 数据中心需要抽取的数据库类型主要为Sql server,首先利用ETL工具从源数据库中将所需数据抽取至中心数据库基础业务库中,在利用元数据著录工具对抽取出来的数据进行元数据著录。

数据仓库中元数据的管理

数据仓库中元数据的管理M etadata M anagem en t i n a Data W arehouse 同济大学计算机科学与工程系(上海200092) 史金红 吴永明 【摘要】 介绍了数据仓库中四种基本类型的元数据,说明了不同类型元数据的收集和维护方法,并着重对分布式元数据的集成和管理进行了详细的阐述。 关键词:数据仓库,数据商场,决策支持,元数据 【Abstract】 T h is p ap er in troduces fou r typ es of m etadata and the m ethods of co llecting and m ain tain ing them.It focu ses on the m etadata m anagem en t and in tegrity. Key words: da ta warehouse,da ta mart, dec ision support,m etada ta 1 引言 随着社会的发展和计算机技术的进步,人们已不满足于用计算机只作简单的数据处理和事务处理。进一步用现有的数据进行分析和推理,从而为决策提供依据的需求导致了决策支持系统(D SS)的出现。90年代以来计算机技术、网络技术和数据库技术的迅速发展为D SS提供了必要的技术环境, OL T P和办公自动化普遍应用积累的大量数据为D SS提供了必要的数据基础,日趋激烈的市场竞争促进了各级管理和决策人员对D SS的实际需求,因此自从1991年W.H.Inm on提出数据仓库的概念和1993年E.F.Codd提出OLA P概念以来,已有许多商品化的数据仓库管理系统和联机分析处理工具软件面市。以上诸因素的共同作用促成许多公司、机构纷纷为提高自己的竞争能力建立数据仓库系统以进行决策支持。 元数据是成功的数据仓库的重要组成部分,它可以帮助数据仓库项目小组明确而全面地理解潜在数据源的物理布局以及所有数据元的业务定义,帮助数据仓库用户有效地使用仓库中的信息,帮助数据库管理员了解某些表的变化将对数据仓库产生怎样的影响以及不同商业过程对应的应用等等。项目小组在开发过程中应当识别元数据并将它收入到元数据商店中,实施适当的过程捕作企业数据结构和应用的变化,从而修改相应的元数据,并向用户提供适当的工具访问元数据。 2 元数据的基本类型 元数据按照其用户可以分为技术元数据和商业元数据。技术元数据提供给数据仓库的技术人员,数据仓库技术人员在仓库的开发和维护中使用这类元数据。商业元数据是商业用户在仓库中寻找他们所需商业信息的一个辅助。但是,技术人员可能也需要访问几种类型的商业元数据,如和商业用户讨论信息需求和建立企业的数据模型。同样,商业用户也需要尝试高水平的技术元数据。 元数据按其内容可以分为四个基本类型: 1)关于数据仓库潜在数据来源的信息,包括现有的业务系统、可得到的外部数据和目前手工维护的信息。例如,一个组织可以从中识别数据来源的潜在仓库数据源有:几个现有的应用程序,由财务部门保存的基于PC机的电子报表,从某一卖主处购买的销售数据,目前由顾客服务部门在纸上保存的顾客联系记录。 2)关于数据模型的信息,包括业务实体、关系、企业规则和企业数据模型。 3)关于业务数据与仓库数据结构间的映射信息。只要那些来源中的一个数据元与仓库建立了映射关系,就应该记录下这些数据元间的逻辑联系以及发生的任何变换或变动。 4)关于数据仓库中信息的使用情况。了解这类信息对更好地调整仓库性能、更多地利用现有查询以及理解仓库中的信息怎样用于解决企业问题是很重要的。 3 元数据的收集和维护 在适当的时间收集适当的元数据是成功实施元数据驱动的数据仓库的基础。为保证较高的准确

元数据管理模块方案1.doc

元数据管理模块方案1 目录 1. 现状分析(2) 1.1 目前的困境(2) 1.2 什么是元数据管理(3) 2. 目标分析(3) 2.1 建立完善的指标解释体系(3) 2.2 建立规范的元数据管理体系(4) 2.3 建立有效的数据稽核体系(4) 3. 功能概述(4) 3.1 元数据管理(4) 3.1.1 业务元数据(5) 3.2.2 技术元数据(6) 3.3元数据分析(9) 3.3.1 血统分析(9) 3.3.2 影响分析(10) 3.3.3 重要性分析(11)

3.3.4 无关性分析(12) 3.4数据稽核(12) 3.4.1 稽核规则管理(13) 3.4.2 稽核任务调度(13) 3.4.3 稽核结果分析(14) 3.4.4 数据质量评估(14) 3.4.5 数据问题管理(14) 元数据管理系统概述 1.项目背景 随着经营分析系统规模不断扩大,系统所积累数据量也越来越大,收集到的海量数据背后隐藏着大量珍贵重要的信息,但也同时提高了系统的数据管理难度:一方面难以对这些数据进行有效解释,缺乏对业务流程执行的实时监控和管理;另一方面各部门数据与数据整合的难度也不断加大,影响到了经营分析系统中的数据质量。 如何对现有数据进行深层发掘,并揭示出埋藏在元数据中的趋势、因果关系、关联模式等核心信息?这是下一步深化经营分析系统应用的电信运营商需要解决的头等大事。构建BI,首先要保证的是数据质量。元数据管理解决的问题就是如何把业务系统中的数据分门别类地进行管理,并建立数据与数据之间的关系,为数据仓库的数据质量监控提供基础素材。

1.1 需求分析 使用者(决策层、业务分析人员): 1) 经营分析系统中存在有很多报表,不同报表中存在一些相同的指标,这 些指标往往不一致,给业务分析和决策工作造成很多困惑,必须花费很大的精力去检查核实。 2) 对于很多指标,不清楚其具体含义,不清楚其反映的问题,不清楚其具 体算法和来龙去脉。 数据仓库项目开发维护者: 1) 不同报表中的同一指标不一致,必须花费很大的精力去检查,目前基本 上是通过手工检查表和存储过程的方式,效率较低。 2) 没有完善的开发、维护规范。比如,新增一张分析报表,开发人员根据 业务人员的需求制作完成之后,往往没有整理完善相应的数据指标解释和元数据管理,造成日后检查困难。 3) 开发、维护规范的执行力较低,没有行之有效的管控手段。不严格按照 规范执行,随着项目的发展和时间的推移,导致数据仓库项

元数据的概念

元数据的概念 元数据(Metadata),即关于数据的数据,是对数据和信息资源进行描述的信息。通常认为,元数据是为了更为有效地管理和使用数据而对它进行说明的信息。所以元数据与其描述的数据内容有着密切联系,不同领域的数据的元数据在内容 上差异很大。地理空间数据的元数据是地理空间的空间数据和属性数据以外的描述地理信息空间数据集的内容、质量、状态和其它特性的一类数据,它是实现地理空间信息共享的核心标准之一。其中,对空间数据某一特征的描述,称为一个空间元数据元素。空间元数据是一个由若干复杂或简单的元数据项组成的集合。它与非空间元数据的主要区别在于其内容中包含大量与空间位置有关的描述性信息。 研究元数据的作用和意义 元数据可用来帮助数据提供者和数据使用者解决数据转换、沟通和理解的问题。归纳起来,元数据主要有下列几个方面的作用: 1)、用来组织、管理和维护空间数据,建立数据文档,并保证即使其主要工作人员退休或调离时,也不会失去对数据情况的了解 2)、提供数据存储、数据分类、数据内容、数据质量及数据分发等方面的信息,帮助数据使用者查询检索所需地理空间数据 3)、用来建立空间信息的数据目录和数据交换中心,提供通过网络对数据进行查询检索的方法或途径,以及与数据交换和传输有关的辅助信息 4)、通过空间元数据,人们可以接受并理解空间信息,帮助数据使用者了解数据, 以便就数据是否能满足其需求作出正确的判断并与自己的空间信息集成在一起,进行不同方面的科学分析和决策。 元数据是使数据充分发挥作用的重要条件之一。它可以用于许多方面,包括数据文档建立、数据发布、数据浏览、数据转换等。元数据对于促进数据的管理、使用和共享均有重要的作用。元数据对于建立空间数据交换网络是十分重要的,往往网络中心通过设在中心的元数据库可以实时地连接各个分发数据的分节点元数据库,帮助潜在的用户找到其特定应用所需要的数据,实现数据共享。 一个完整的元数据系统通常包括三部分,即元数据标准、元数据管理工具和元数据库。不同的元数据库可能采用不同的管理工具,唯一能够在不同数据管理软件间交换元数据的途径是统一元数据标准,只有在统一的标准前提下,才能跨越操作系统平台和数据库软件平台进行数据的互操作,实现数据共享。 DIF 元数据标准

相关文档
最新文档