EsDataFactory 数据工厂 快速操作手册

EsDataFactory数据工厂快速操作手册

北京亿信华辰软件有限责任公司

EsDataFactory数据工厂

产品文档

文档名称：快速操作手册

文档版本：V1.2

程序版本：V1.1

完成时间：2016年11月

说明

本文档是“EsDataFactory数据工厂”快速操作手册，旨在指导您正确快速掌握其基础功能。

本文档对应产品版本为V1.1。

版权声明

本产品的所有部分，包括安装程序、产品文档等，其知识产权归北京亿信华辰软件有限责任公司（简称“本公司”）所有，本公司会根据本系统程序的升级，随时更新本文档的内容，恕不另行通知。由于程序更新较快，本文档中载明的内容若与安装程序不一致，以实际程序为准。未经本公司书面许可，不得任意仿制、拷贝、誊抄或转译。除此之外，本使用手册中所涉及到的数据或示例，均是为了尽可能地说明产品功能而虚构的，如与实际单位所使用的名称和报表数据相似，纯属巧合。

■版权所有■不得翻印

北京亿信华辰软件有限责任公司

目录

1.系统概述 (1)

1.1.什么是数据工厂？ (1)

1.2.适用范围 (1)

1.3.产品架构 (2)

1.4.安装部署 (3)

2.主界面功能概览 (4)

2.1.登录 (4)

https://www.360docs.net/doc/c25925828.html,ey一键登录 (4)

2.3.设计区 (5)

2.3.1.工厂分层 (5)

2.3.2.数据建模 (5)

2.3.3.ETL过程 (6)

2.3.4.ETL过程流 (7)

2.4.运行区 (7)

2.4.1.调度管理 (7)

2.4.2.运行监控 (8)

3.快速上手 (9)

3.1.概述 (9)

3.2.创建主题域、主题 (11)

3.3.创建目的模型 (12)

3.4.设计ETL过程 (14)

3.5.设计ETL过程流 (21)

3.6.发布ETL过程流 (22)

3.7.创建调度任务 (23)

3.8.查看运行情况 (24)

4.专题介绍之数据建模 (25)

4.1.1.自定义模型 (25)

4.1.2.拾取数据库表字段创建模型 (26)

4.1.3.引用已有数据库表创建模型 (26)

4.1.4.根据数据库表批量创建模型 (27)

4.1.5.创建视图模型 (28)

4.1.6.示例演示 (29)

4.2.快捷建模 (32)

4.2.1.批量建模 (32)

4.2.2.表连接 (35)

4.2.3.聚合 (37)

4.2.4.行转列 (39)

4.2.5.列转行 (40)

5.专题介绍之ETL过程组件 (42)

5.1.设计器 (42)

5.2.组件基本属性 (43)

5.3.表输入 (44)

5.4.表输出 (46)

5.5.模型输入 (47)

5.6.模型输出 (48)

5.7.SQL输入 (48)

5.8.表达式组件 (49)

5.9.清洗组件 (51)

5.10.一致性维度 (55)

5.11.集合组件 (57)

5.12.路由组件 (58)

5.13.列转多行组件 (60)

5.14.排序组件 (62)

5.15.平面文件输入 (63)

5.17.参数赋值 (64)

5.18.分支组件 (64)

5.19.SQL组件 (65)

5.20.存储过程组件 (65)

5.21.Shell组件 (66)

6.专题介绍之ETL过程流任务 (67)

6.1.ETL过程 (67)

6.2.ETL过程流 (68)

6.3.分支任务 (69)

6.4.存储过程任务 (69)

6.5.SQL任务 (69)

6.6.Shell任务 (70)

6.7.Email任务 (70)

6.8.文件监听任务 (71)

6.9.参数赋值 (71)

7.专题介绍之Ukey管理 (72)

7.1.管理员为用户绑定Ukey (72)

7.2.用户自行绑定Ukey (72)

7.3.修改Ukey密码 (72)

7.4.管理员重置Ukey密码 (73)

1.系统概述

1.1.什么是数据工厂？

数据工厂又称EsDataFactory，是集数据建模和ETL于一体的数仓实施工具。在数仓项目中，通过数据工厂工具的学习，使初级工程师也具备能独立承担起中小型数仓项目建设的能力，避免重复机械劳动，提高工作效率，减少项目维护成本。在面向行业的数仓应用中，依托数据工厂所提供的数据建模、数据处理和数据服务功能，实现完备的行业解决方案。

EsDataFactory在功能上有如下特色：

设计区与运行区隔离机制，保证了运行区环境的安全和稳定，运行和设计不冲突。

多种可视化建模方式支持，设计者能便捷的完成模型的设计和维护。

提供大量批量创建的方式完成数据的落地和抽取、转换、装载的数据处理过程。

内置数仓分层结构，提供全局和局部的多种可视化的视角，方便使用者管理、维护模型及ETL过程。

提供丰富的传统组件和特色数仓组件，简化ETL流程设计。

完善的数据加密传输技术和脱敏算法，为数据的安全性保驾护航。

灵活调度策略和可视化流程监控手段支持，保障数据的及时性和准确性。

1.2.适用范围

全面支持所有数据类实施项目

EsDataFactory广泛适用于所有数据处理类的实施场合：数据整合、数据迁移、数据同步、数据交换、数据仓库搭建等。

完美兼容全业务领域的数据融合

全行业通用，全业务域整合。面向数仓的分层管理模式，全面兼容各行业各业务系统数据，完成各业务域系统的数据融合、数据关联、数据共享等应用场景。

1.3.产品架构

数据工厂主要划分为：数据源层、服务层、适配层、资源层和支撑层。

数据源层，支持主流的数据库源、平面文本文件、Excel文件和其它格式数据。异构数据源适配层，基于数据库和服务器内存方式，完成异构数据源的适配、整合和交叉访问。

服务层，开放数据访问服务，提供Webservice、API等多种接口服务，直接面向BI分析。

资源层，分为运行区和设计区，运行区是数据处理运行环境，提供调度控制服务、作业实时运行监控和系统服务质量监控；设计区是数据模型和ETL流程设计环境，内置数据仓库，兼容范式模型、星型模型和雪花模型。

支撑层，底层框架技术，为模型和ETL设计提供组件化服务和计算引擎等。1.4.安装部署

请获取【数据工厂v1.1部署指南v1.3.doc】查阅。

2.主界面功能概览

2.1.登录

在浏览器地址栏处输入EsDataFactory数据工厂的访问地址，如：http://172.21.200.100:8081/df，进入登录界面后，输入系统管理员的用户名“admin”及密码（初始密码为“admin”），点击。

（注：用户以普通方式登录后，将无法看到设计区。）

https://www.360docs.net/doc/c25925828.html,ey一键登录

当用户PC上装有UKEY客户端并插入Ukey时，可以切换Ukey一键登录的方式登录系统，系统会自动识别当前插入的Ukey代号，然后输入UKey密码即可登录系统。

（注：用户必须绑定Ukey后，才能成功登录系统。绑定方法见《专题介绍之

Ukey管理》。）

使用Ukey一键登录成功后，进入系统工作界面，如下图所示。

数据工厂主体功能分两大块，一个是设计区，另外一个是运行区；且运行区和设计区采取隔离机制，保证了运行区环境的安全和稳定，运行和设计不冲突。

2.3.设计区

2.3.1.工厂分层

EsDataFactory工厂分层模块提供了数据工厂对于分层的定义、维护和管理的所有功能，主要包括：分层维护、模型主题管理、主题关系维护和扩展属性维护等。数据工厂分层管理内置标准的数据仓库分层：ODS层、整合层、汇总层、集市层，同时可以根据实际的建设规模和要求进行灵活调整，针对不同的分层可指定存储连接池信息。

2.3.2.数据建模

通用建模

EsDataFactory提供了多种建模方法和便捷方式用于完成模型的创建。向导式

步骤指引，可视化定义，极大程度简化传统建模工具繁琐的人工操作和步骤。目前数据工厂的建模方式主要支持：

?创建自定义模型

?拾取数据库表字段创建模型

?引用已有数据库表创建模型

?根据数据库表批量创建模型

?创建视图模型

快捷方式建模

EsDataFactory针对数据仓库项目各分层的数据处理特色应用，设计了大量的快捷方式，来辅助用户完成模型创建和数据抽取的同步操作。

目前数据工厂支持的常用快捷方式有：

2.3.3.ETL过程

EsDataFactory提供了可视化定义ETL作业信息，支持作业的试运行和断点调试等，丰富的组件支持，能完成ETL数据加工的边调试边预览数据。

2.3.4.ETL过程流

ETL过程流由任务节点和连线组成。节点可以是ETL过程或其他任务，连线则表示任务的执行顺序和条件。ETL过程流发布到运行区后，可以设置调度任务，由服务器在后台自动执行。

2.4.运行区

2.4.1.调度管理

调度设置主要用于配置作业的计划执行时间。调度设置支持crontab表达式，调度设置能指定到月份、日期、小时、分钟的粒度，也支持按照星期的方式来进行计划任务的执行。同时能设置调度的时间窗口，重调时间间隔。作业只有

在配置的调度时间达到后才会出发作业的执行，在规定开始时间没能启动作业执行时，会根据配置的重调时间间隔和重调次数来进行作业的重新启动，在操作时间窗口和重调次数时，会进行后续的作业运行和处理。

2.4.2.运行监控

EsDataFactory提供了ETL过程的运行监控功能完成对ETL运行环境的管控。运行监控主要有两种形式：列表信息和图形监控。

列表监控

列表监控提供的基于ETL作业流的语法树列表，列表的顺序需与定义的过程流的执行顺序保持一致，列表支持根据名称进行ETL过程的检索，列表的手工刷新和自动刷新。

图形监控

图形监控提供的是ETL过程流执行情况的总览图，支持图形运行状态的手工刷新和自动刷新，图形的放大、缩小、自动布局操作。图形中对于不同运行状态的图例需要用不同颜色的图例进行区分。

3.快速上手

3.1.概述

数据工厂的使用通常可以分为六个主要步骤：创建主题域与主题、创建目的模型、设计ETL过程、设计ETL过程流、发布ETL过程流、创建调度任务、查看运行情况7个步骤。

下面以一个例子说明上述过程，该例子来自于卫生统计系统实际项目案例，总体要求从五张明细表中通过关联、转换最后汇总生成如下BI分析表所需要的主题表。五张明细表分别为

?卫生机构基本信息表（WSJGXXB1）

?卫生机构人员资质统计表（WSJGRYZZTJB2）

?房屋及基本建设表（FWJSJBB4）

?收入支出表（SRZCB6）

?资产与负债表（FZYZCB7）

其目的模型的结构如下

?卫生机构基本情况汇总表

数据效果如下

要求如下：

1)目的表结构，需要自行创建

2)五张源表通过BBQ_、BTYPE_、USERID_进行关联

3)需要对收入支出表SRZCB6表中的非法数据进行过滤，如总收入（C2）应该

大于或等于各项明细收入之和（C3、C5、C6、C22、C29）

4)机构个数从卫生机构基本信息表中的机构ID得到

5)每月的第一天凌晨1点，定时执行该抽取

3.2.创建主题域、主题

1)创建主题域

在任意分层节点下，如汇总层节点，右键菜单新建卫生BI主题域，并将数据源设置成卫生BI分析库对应数据库连接池。

2)创建主题

在刚创建的卫生BI主题域下，创建卫生BI主题。

3.3.创建目的模型

创建模型的过程跟公司兄弟产品BI中的创建主题类似。

1)新建模型

在卫生BI主题下的模型管理节点，右键菜单进入新建模型界面；选择“创建自定义模型”创建模型，然后点击“下一步”。

2)设置模型基本信息

设置模型的的标题为“卫生机构基本情况汇总表”，代号和数据库表名为“wsjgjbqkhzb”，然后点击“下一步”。

3)设置字段信息

根据需求提供的目的表结构，添加字段并设置字段属性，然后点击“下一步”，按向导完成模型创建的后续操作。

4)查看创建的模型

3.4.设计ETL过程

1)新建ETL过程

汇总层的ETL过程节点下，右键菜单新建ETL过程。

2)设置表输入组件

在左侧导航树中，拖入5个表输入组件，分别设置成对应的5张源表，如下图：

3)设置过滤组件

拖入过滤组件，将SRZCB6表输入和过滤组件用连线连接。

根据要求，写入过滤条件表达式。