Apache atlas使用说明文档

Apache atlas

第一章：Apache atlas简介

为寻求数据治理的开源解决方案，Hortonworks公司联合其他厂商与用户于2015年发起数据治理倡议，包括数据分类、集中策略引擎、数据血缘、安全和生命周期管理等方面。Apache Atlas 项目就是这个倡议的结果，社区伙伴持续的为该项目提供新的功能和特性。该项目用于管理共享元数据、数据分级、审计、安全性以及数据保护等方面，努力与Apache Ranger整合，用于数据权限控制策略。目前最新版本是2.0.0.

.1apache atlas 架构介绍

1.1.1核心组件Core

Type System: Apache Atlas 允许用户为他们想要管理的元数据对象定义一个模型,该模型被叫做“类型”。类型的实例被称为“实体”，实体用来表示被管理的实际元数据对象类型系统是允许用户定义和管理类型和实体的组件。。

例如：Atlas 本身自带的hive_table类

Name: hive_table

TypeCategory: Entity

SuperTypes: DataSet

Attributes:

name: string

db: hive_db

owner: string

createTime: date

lastAccessTime: date

comment: string

retention: int

sd: hive_storagedesc

partitionKeys: array

aliases: array

columns: array

parameters: map

viewOriginalText: string

viewExpandedText: string

tableType: string

temporary: boolean

从上面示例中可以看出，类由名称name唯一标识

类型具有元类型。Atlas具有以下元类型：

?基本元类型：boolean, byte, short, int, long, float, double, biginteger, bigdecimal, string, date ?枚举

?集合元类型：array, map

?复合元类型：Entity, Struct, Classification, Relationship

Hive_table类的一个实体

guid: "9ba387dd-fa76-429c-b791-ffc338d3c91f"

typeName: "hive_table"

status: "ACTIVE"

values:

name: “customers”

db: { "guid": "b42c6cfc-c1e7-42fd-a9e6-890e0adf33bc",

"typeName": "hive_db"

}

owner: “admin”

createTime: 1490761686029

updateTime: 1516298102877

comment: null

retention: 0

sd: { "guid": "ff58025f-6854-4195-9f75-3a3058dd8dcf",

"typeName":

"hive_storagedesc"

}

partitionKeys: null

aliases: null

columns: [ { "guid": "65e2204f-6a23-4130-934a-9679af6a211f",

"typeName": "hive_column" },

{ "guid": "d726de70-faca-46fb-9c99-cf04f6b579a6",

"typeName": "hive_column" },

...

]

parameters: { "transient_lastDdlTime": "1466403208"}

viewOriginalText: null

viewExpandedText: null

tableType: “MANAGED_TABLE”

temporary: false

实体类型的每个实例都由唯一标识符GUID标识。

定义对象时，此GUID由Atlas服务器生成，并且在实体的整个生命周期内保持不变。在任何时间点，都可以使用其GUID访问此特定实体。

Ingest/Export：Ingest 组件允许将元数据添加到Atlas。类似地，Export 组件暴露由Atlas 检测到的元数据更改，以作为事件引发，消费者可以使用这些更改事件来实时响应元数据更改。

Graph Engine：在内部，Atlas保留使用Graph模型管理的元数据对象。这种方法提供了极大的灵活性，并可以有效处理元数据对象之间的丰富关系。图引擎组件负责在Atlas类型系统的类型和实体以及基础图持久性模型之间进行转换。除了管理图形对象外，图形引擎还为元数据对象创建适当的索引，以便可以有效地搜索它们。Atlas使用JanusGraph存储元数据对象。

1.1.2 Integration

用户可以使用两种方法整合管理Atlas中的元数据：

?API：Atlas 的所有功能都可以通过REST API 提供给最终用户，允许创建，更新和删除类型和实体。

它也是查询和发现通过Atlas 管理的类型和实体的主要方法。

?Messaging：除了API 之外，用户还可以选择使用基于Kafka 的消息接口与Atlas 集成。这对于将元数据对象传输到Atlas 以及从Atlas 使用可以构建应用程序的元数据更改事件都非常有用。如果希望使用与Atlas 更松散耦合的集成，这可以允许更好的可扩展性，可靠性等，消息传递接口是特别有用的。Atlas 使用Apache Kafka 作为通知服务器用于钩子和元数据通知事件的下游消费者之间的通信。事件由钩子(hook)和Atlas 写到不同的Kafka 主题:

1.1.3 Metadata source

Atlas 支持与许多元数据源的集成，将来还会添加更多集成。目前，Atlas 支持从以下数据源获取和管理元数据：

?Hive:通过hive-brige，atlas可以接入Hive的元数据，包括hive_db,hive_table,hive_column,hive_process ?Sqoop:通过sqoop-brige,atlas可以接入关系型数据库的元数据。

?kafka:通过kafka-brige接入

?Storm:通过strom-brige可以接入流式处理的元数据

Atlas集成大数据组件的元数据源需要实现以下两点：

首先，需要基于atlas的类型系统定义能够表达大数据组件元数据对象的元数据模型(例如Hive的元数据模型实现在org.apache.atlas.hive.model.HiveDataModelGenerator；

然后，需要提供hook组件去从大数据组件的元数据源中提取元数据对象，实时侦听元数据的变更并反馈给atlas；

1.1.4 应用领域

Atlas Admin UI：此组件是一个基于Web的应用程序，允许数据管理员和科学家发现和注释元数据。这里最重要的是搜索界面和类似SQL的查询语言，可用于查询Atlas管理的元数据类型和对象。管理员界面使

用Atlas的REST API来构建其功能。

Tag Based Policies: Apache Ranger是针对Hadoop生态系统的高级安全管理解决方案，与各种Hadoop组件广泛集成。通过与Atlas集成，Ranger使安全管理员可以定义元数据驱动的安全策略以进行有效的管理。Ranger是Atlas通知的元数据更改事件的使用者。

.2apache atlas基本功能

?数据分类

定义、注释和自动捕获数据集和底层之间的关系元素包括源、目标和派生过程

?安全审计

数据访问的日志审计

?搜索和血缘关系

元数据信息及数据之间的血缘关系

?安全与策略引擎

结合ApacheRanger来设置数据的访问权限

第二章：Atlas Admin UI 使用介绍

Atlas admin UI 包括三部分：SEARCH，CLASSIFICATION,GLOSSARY

2.1 Search

Search模块包括Base Search、Advanced Search两种Entity查询功能和Entity创建功能。

2.1.1 BASE SEARCH

?基本搜索使您可以使用实体的类型名，关联的分类/标签进行查询，并支持对实体属性以及分类/标签属性进行过滤。

可以使用以下JSON结构（称为！SearchParameters）来表示整个查询结构。

typeName: the type of entity to look for

excludeDeletedEntities: should the search exclude deleted entities? (default: true) classification: only include entities with given classification

query: any free text occurrence that the entity should have

(generic/wildcard queries might be slow)

offset: starting offset of the result set (useful for pagination)

limit: max number of results to fetch

entityFilters: entity attribute filter(s)

tagFilters: classification attribute filter(s)

attributes: attributes to include in the search result

支持的运算符过滤

?LT（符号：<，lt）与数字，日期属性一起使用

?GT（符号：>，gt）可用于数字，日期属性

?LTE（符号：<=，lte）可用于数字，日期属性

?GTE（符号：> =，gte）可与数字，日期属性一起使用

?EQ（符号：eq，=）可用于数值，日期，字符串属性

?NEQ（符号：neq，！=）可用于数字，日期，字符串属性

?LIKE（符号：like，LIKE）与String属性一起使用

?STARTS_WITH（符号：startsWith，STARTSWITH）可用于String属性

?ENDS_WITH（符号：endsWith，ENDSWITH）可用于字符串属性

?CONTAINS（符号：包含，CONTAINS）与String属性一起使用

2.1.2 Advanced search

Atlas中的高级搜索也称为基于DSL的搜索。

DSL是一种具有简单结构的语言，可以帮助用户浏览Atlas数据存储库。该语法粗略地模拟了关系数据库世界中流行的结构化查询语言（SQL）。

?语法介绍：

1.FROM语法example：from db,

2.Where 语法example:

a)from Table where name = 'time_dim' or name = 'customer_dim'

b)from Table where name = ["customer_dim", "time_dim"]

c)from Table where name LIKE '*_dim'

d)DB where name like "R???rt?*"

3.Select 语法example:

from Table where name = 'customer_dim' select owner, name, qualifiedName 等date ，has , is column ,orderby 语法

2.1.3创建实体

2.1.4 Lineage

2.2 Classification

分类传播使与实体关联的分类能够自动与该实体的其他相关实体关联。这在处理数据集从其他数据集获取数据的场景时非常有用，例如从文件中加载数据的表，从表/视图生成的报告等。

例如，当一个表被分类为PII时，从该表派生数据的表或视图（通过CTAS或“创建视图”操作）将被自动分类为PII。

Example

2.2.1 为实体添加分类

当将分类“ PII”添加到“ hdfs_path”实体时，该分类将传播到沿袭路径中的所有受影响实体，包括“员工”表，视图“ us_employees”和“ uk_employees”，如下所示。

分类的更新和删除也会实时同步传播

?通知与审核

添加/更新/删除传播的分类时，Apache Atlas将针对每个受传播影响的实体的通知发送到“ ATLAS_ENTITIES”主题。

2.3 Glossary

词汇表为业务用户提供适当的词汇表，并允许术语（单词）相互关联和分类，以便可以在不同的上下文中理解它们。然后可以将这些术语映射到资产，例如数据库，表，列等。这有助于抽象化与存储库相关的技术术语，并允许用户发现/使用词汇中更熟悉的数据。

?用例

1)能够使用自然术语（技术术语和/或商业术语）定义丰富的词汇表词汇。

2)语义上相互关联的能力。

3)能够将资产映射到词汇表术语。

4)能够按类别组织这些术语。这为术语增加了更多的上下文。

5)允许类别按层次结构排列-表示更广泛和更精细的范围。

6)术语表术语与元数据分开管理。

?用户界面允许的功能

?创建，更新和删除条款

?添加，删除和更新与术语相关的分类

?添加，删除和更新术语的分类

?在条款之间建立各种关系

?查看与术语相关的实体

Apache Atlas UI提供了两种使用词汇表的方式-术语视图和类别视图。

2.3.1术语视图

创建新术语

单击词汇表名称旁边的省略号（...）将显示一个弹出菜单，允许用户在词汇表中创建术语或删除词汇表-如下所示

删除术语

术语页详请

实体标签显示分配给所选术语的实体

分类标签显示与所选术语相关的分类

“相关术语”选项卡显示与所选术语相关的术语

为术语添加分类

单击分类标签旁边的+，将分类添加到术语中。

与其他术语建立术语关系

查看术语详细信息时，单击“相关术语”选项卡。单击+将允许将术语与当前术语链接。

为术语添加分类

单击类别标签旁边的+以对术语进行分类。将出现一个模式对话框，用于选择类别。

2.3.2分类视图

当切换开关打开类别时，面板将列出所有词汇表以及类别层次结构。展开图

创建一个新类别

创建子类别或删除类别

类别详细信息页面

分类术语

单击条款标签旁边的+，以链接所选类别下的条款。

2.3.3术语分配流程

可以从结果页面或实体详细信息页面将术语分配给实体。

分配术语

点击“term”列下的+（如果从搜索页面关联字词）

单击“term”标签旁边的+（如果查看特定实体的详细信息）

这两个动作将呈现以下模式，并按照屏幕上的提示完成术语分配。

2.3.4 使用术语搜索

第三章：Atalas API 使用介绍

Apache atlas REST API主要是对Type，Entity，Attribute这3个构件的增删改查操作（REST API和Admin UI供外部调用，其它的被封装或在配置文件中）

总结部分常用Rest API，其他API查看Atlas官网Atlas Rest API

3.1 Admin rest API

查看Atlas Metadata Server节点状态GET/admin/status

看Atlas版本和描述GET/admin/version

3.2 DiscoveryREST

DSL 搜索GET/v2/search/dsl

3.3 TypesREST

检索所有Type，并返回所有信息GET /v2/types/typedefs

检索所有Type，并返回最少信息GET/v2/types/typedefs/headers

3.4 EntityREST

批量根据GUID检索Entity GET/v2/entity/bulk

获取某个Entity定义GET/v2/entity/guid/{guid}

获取某个Entity的TAG列表GET/v2/entity/guid/{guid}/classifications

3.5 LineageREST

查询某个Entity的Lineage GET/v2/lineage/{guid}

第四章：源码编译与安装

Apache Atlas官网未直接提供可用的安装包，需下载源码手动编译4.1 源码下载与编译

源码下载地址：https://www.360docs.net/doc/8b5016411.html,/#/Downloads

编译：源码下载完成后

?Building Apache Atlas

2.0版本已经内部设置MA VEN_OPTS，可省略第三步

?Packaging Apache Atlas

源码编译打包好后，安装包如下：

${apache atlas package}/distro/target/apache-atlas-${project.version}-bin.tar.gz

4.2 源码编译与安装注意事项

1.源码编译时，如果使用第三方镜像。如阿里云镜像等会有部分jar包无法下载，此时请切换回maven

默认镜像；

2.源码编译时可根据自己原有集群版本，在pom.xml文件中修改zookeeper版本号，hive版本等；

3. 1.1.0版本源码编译过程中会提示失败，此时可在pom.xml文件中修改

org.codehaus.mojo

findbugs-maven-plugin

3.0.5

4.源码打包时若采用内嵌的solr和hbase,如果打包失败，可再次手动下载solr包和hbase包放到target目

录文件夹下；

4.3Apache atlas 安装

1解压${apache atlas package}/distro/target/apache-atlas-${project.version}-bin.tar.gz

2配置atlas-application.properties

2.1若后端存储采用hbase,需配置

2.2若后端存储采用cassandra,需配置

2.3后端索引配置选择solr

2.4后端索引配置选择ES

2.5Kafka配置

2.6高可用配置

第五章：hook引入（hive举例）5.1配置文件修改

5.2 配置文件其他相关操作

1将atlas-application.properties配置文件加入到atlas-plugin-classloader-1.0.0.jar中

1.1zip -u /opt/apache-atlas/apache-atlas-1.0.0/hook/hive/atlas-plugin-classloader-1.0.0.jar /opt/apache-

atlas/apache-atlas-1.0.0/conf/atlas-application.properties

Notes: 打包时两边文件要么均使用绝对路径，或者将配置文件复制到hive/hook文件下后，打包到第一级目录

2将atlas-application.properties配置文件复制到集群hive节点的/etc/hive/conf目录下Notes：CM配置完后，重新部署过期配置会删掉该文件，所以此步操作可放在CM配置后；

3CM相关配置：

3.1

3.2