先电大数据平台操作手册

先电大数据平台

用户手册

版本：先电

发布日期：2017年02月21日南京第五十五所技术开发有限公司

版本修订说明

目录

1 概述...................................................... 错误!未定义书签。

大数据简介........................................ 错误!未定义书签。

先电大数据平台简介................................ 错误!未定义书签。

2 基本环境配置.............................................. 错误!未定义书签。

配置主机名........................................ 错误!未定义书签。

修改hosts文件.................................... 错误!未定义书签。

修改yum源........................................ 错误!未定义书签。

配置ntp .......................................... 错误!未定义书签。

配置SSH .......................................... 错误!未定义书签。

禁用Transparent Huge Pages ........................ 错误!未定义书签。

安装配置JDK....................................... 错误!未定义书签。

3 配置ambari-server ........................................ 错误!未定义书签。

安装MariaDB数据库................................ 错误!未定义书签。

安装配置ambari-server ............................. 错误!未定义书签。

4 配置ambari-agent ......................................... 错误!未定义书签。

5 部署管理Hadoop集群....................................... 错误!未定义书签。

部署Hadoop集群................................... 错误!未定义书签。

HDFS运维管理...................................... 错误!未定义书签。

MapReduce ......................................... 错误!未定义书签。

6 部署Hive数据仓库......................................... 错误!未定义书签。

部署Hive ......................................... 错误!未定义书签。

Hive用户指南...................................... 错误!未定义书签。

7 部署Hbase分布式列数据库.................................. 错误!未定义书签。

部署HBase ........................................ 错误!未定义书签。

测试验证.......................................... 错误!未定义书签。

HBase用户指南..................................... 错误!未定义书签。

8 部署Mahout数据挖据工具................................... 错误!未定义书签。

部署Mahout........................................ 错误!未定义书签。

测试验证.......................................... 错误!未定义书签。

9 部署Pig数据分析平台...................................... 错误!未定义书签。

部署Pig .......................................... 错误!未定义书签。

Pig简介 .......................................... 错误!未定义书签。

运行案例.......................................... 错误!未定义书签。

1概述

1.1大数据简介

“大数据”是一个体量特别大，数据类别特别庞杂的数据集合，并且这样的数据集无法用传统数据库工具或常规软件工具抓取、管理和处理其内容。大数据技术是指从各种各样类型的庞杂数据中，快速的获取有价值的信息的能力。适用于大数据的技术包括大规模并行处理数据库，数据挖掘电网，分布式文件系统，分布式数据库，云计算平台和可扩展的存储系统。

Apache的Hadoop项目是可靠的、可扩展的、开源的、分布式计算软件。Apache的Hadoop 软件库是允许通过相对简单的程序模型构建计算集群为庞大的数据集进行分布式计算的框架。

Hadoop的设计思想可以将计算模式从单节点服务器扩展为数以千计的计算集群，每一个单独的服务器都提供自主的本地计算及存储能力。

对于高可用指标而言，Hadoop软件库自身可以通过检测和故障调试从应用层来实现高可用而不需要关心硬件底层的高可用性。所以提供一个计算集群上层的高可用服务对于集群故障修复而言就显得至关重要。

1.2先电大数据平台简介

先电大数据平台是基于Ambari进行二次开发的Hadoop分布式集群配置管理工具，该平台通过安装向导来进行集群的搭建，简化了集群供应。同时，他还有一个监控组件，叫做Ambari-Metrics，可以提前配置好关键的运维指标（metrics），然后收集集群的中服务、主机等运行状态等信息，通过WEB的方式显示出来。我们可以直接查看Hadoop Core（HDFS 和MapReduce）及相关项目（如HBase、Hive和HCatalog）是否健康。它的用户界面非常直观，用户可以轻松有效地查看信息并控制集群。

先电大数据平台支持作业与任务执行的可视化与分析，能够更好地查看依赖和性能。通过一个完整的RESTful API把监控信息暴露出来，集成了现有的运维工具。平台使用Ganglia 收集度量指标，用Nagios支持系统报警。

图 Ambari结构图

其中Ambari是一个分布式架构的软件，主要由两部分组成：Ambari Server 和 Ambari Agent，如图1-1所示。Ambari Server 会读取 Stack 和 Service 的配置文件。当用 Ambari 创建集群的时候，Ambari Server 传送 Stack 和 Service 的配置文件以及 Service 生命周期的控制脚本到 Ambari Agent。Agent 拿到配置文件后，会下载安装公共源里软件包（Redhat，就是使用 yum 服务）。安装完成后，Ambari Server 会通知 Agent 去启动Service。之后 Ambari Server 会定期发送命令到 Agent 检查 Service 的状态，Agent 上报给 Server，并呈现在 Ambari 的 GUI 上，方便用户了解到集群的各种状态，并进行相应的维护。

图 1-1 Ambari架构图

2基本环境配置

以两台节点为例来组件Hadoop分布式集群，这里采用的系统版本为Centos7，如下表所示：

2.1配置主机名

# master

# hostnamectl set-hostname master

# hostname

master

# slaver1

# hostnamectl set-hostname slaver1

# hostname

slaver1

2.2修改hosts文件

# master & slaver1

# vi /etc/hosts

master

slaver1

2.3修改yum源

# master

将挂在到/mnt目录下，将其中的ambari解压到/opt目录下，并在master节点配置ftp 服务。

注意：

因为安装大数据相关软件包时，可能会用到相关依赖软件包，所以需要配置Centos7 Yum 源，这里可以采用IAAS中的Centos7 Yum源。

# master & slaver1

# cd /etc/ rm -vf *

配置Yum源

# vi

[centos7]

baseurl= 注：具体的yum源根据真实环境配置，本次为实验室测试环境 )

gpgcheck=0

enabled=1

name=centos

[ambari]

name=ambari

baseurl= 注：具体的yum源根据真实环境配置，本次为实验室测试环境 )

enabled=1

gpgcheck=0

# master

# yum -y install httpd

将/mnt/文件夹中和两个文件夹拷贝到/var/www/html/目录下。启动httpd服务。

# systemctl enable

# systemctl status

2.4配置ntp

# master

# yum -y install ntp

# vi /etc/

注释或者删除以下四行

server iburst

server iburst

server iburst

server iburst

添加以下两行

server

fudge stratum 10

#systemctl enable ntpd

#systemctl start ntpd

# slaver1

# yum -y install ntpdate

# ntpdate master

# systemctl enable ntpdate

2.5配置SSH

# master & slaver1

检查2个节点是否可以通过无密钥相互访问，如果未配置，则进行SSH无密码公钥认证配置。如下：

# yum install openssh-clients

# ssh-keygen

# ssh-copy-id

# ssh-copy-id

ssh登录远程主机查看是否成功

# ssh

# exit

# ssh

# exit

2.6禁用Transparent Huge Pages

操作系统后台有一个叫做khugepaged的进程，它会一直扫描所有进程占用的内存，在可能的情况下会把4kpage交换为Huge Pages，在这个过程中，对于操作的内存的各种分配活动都需要各种内存锁，直接影响程序的内存访问性能，并且，这个过程对于应用是透明的，在应用层面不可控制,对于专门为4k page优化的程序来说，可能会造成随机的性能下降现象。

# master & slaver1

# cat /sys/kernel/mm/transparent_hugepage/enabled

[always] madvise never

# echo never > /sys/kernel/mm/transparent_hugepage/enabled

# echo never > /sys/kernel/mm/transparent_hugepage/defrag

# cat /sys/kernel/mm/transparent_hugepage/enabled

always madvise [never]

重启后失效，需要再次执行

2.7安装配置JDK

# master

# mkdir /usr/jdk64/

# mount -o loop /mnt/

# tar -zxvf -C /usr/jdk64/

# vi /etc/profile

export JAVA_HOME=/usr/jdk64/ PATH=$JAVA_HOME/bin:$PATH

# source /etc/profile

#java –version

java version ""

Java(TM) SE Runtime Environment (build HotSpot(TM) 64-Bit Server VM (build , mixed mode)

# slaver1

#mkdir /usr/jdk64/

#scp .

# tar -zxvf -C /usr/jdk64/

# vi /etc/profile

export JAVA_HOME=/usr/jdk64/ PATH=$JAVA_HOME/bin:$PATH

# source /etc/profile

#java –version

java version ""

Java(TM) SE Runtime Environment (build HotSpot(TM) 64-Bit Server VM (build , mixed mode)

3配置ambari-server

# master

# yum -y install ambari-server

3.1安装MariaDB数据库

# master

# yum install mariadb mariadb-server mysql-connector-java

# systemctl enable mariadb

# systemctl start mariadb

配置MySQL

#mysql_secure_installation

按enter确认后设置数据库root密码，我们这里设置为“bigdata”

Remove anonymous users [Y/n] y

Disallow root login remotely [Y/n] n

Remove test database and access to it [Y/n] y

Reload privilege tables now [Y/n] y

创建ambari数据库

# mysql -uroot -pbigdata

MariaDB [(none)]> create database ambari;

MariaDB [(none)]> grant all privileges on ambari.* to 'ambari'@'localhost' identified by 'bigdata';

MariaDB [(none)]> grant all privileges on ambari.* to 'ambari'@'%' identified by 'bigdata';

MariaDB [(none)]> use ambari;

MariaDB [ambari]> source /var/lib/ambari-server/resources/

MariaDB [ambari]> Bye

3.2安装配置ambari-server

# master

# ambari-server setup

WARNING: SELinux is set to 'permissive' mode and temporarily disabled.

OK to continue [y/n] (y)

Customize user account for ambari-server daemon [y/n] (n) n

Checking JDK...

[1] Oracle JDK + Java Cryptography Extension (JCE) Policy Files 8

[2] Oracle JDK + Java Cryptography Extension (JCE) Policy Files 7

[3] Custom JDK

============================================================================= =

Enter choice (1): 3

Path to JAVA_HOME: /usr/jdk64/ JDK on Ambari Server...done.

Completing setup...

Configuring database...

Enter advanced database configuration [y/n] (n) y

Configuring database...

====================================================================

Choose one of the following options:

[1] - PostgreSQL (Embedded)

[2] - Oracle

[3] - MySQL

[4] - PostgreSQL

[5] - Microsoft SQL Server (Tech Preview)

[6] - SQL Anywhere

====================================================================

Enter choice (1): 3

Hostname (localhost):

Port (3306):

Database name (ambari):

Username (ambari):

Enter Database Password (bigdata):

Proceed with configuring remote database connection properties [y/n] (y) Ambari Server 'setup' completed successfully.

启动ambari-server服务

# ambari-server start

登陆界面登录用户名密码为admin：admin

4配置ambari-agent

# master & slaver1

# yum -y install ambari-agent

# vi /etc/ambari-agent/conf/

[server]

hostname= master

# ambari-agent restart

# tail -f /var/log/ambari-agent/

INFO 2017-01-12 09:44:20,919 :265 - Heartbeat response received (id = 1340) INFO 2017-01-12 09:44:30,820 :78 - Building Heartbeat: {responseId = 1340, timestamp = , commandsInProgress = False, componentsMapped = True}

5部署管理Hadoop集群

5.1部署Hadoop集群

登陆界面 Address}:8080/，用户名密码为admin：admin。接下来就可以启动安装向导，创建集群，安装服务。

关于XianDian-BigData 的软件包进行了分开打包。

软件包包含HDFS、MapReduce2、YARN、Tez、Hive、HBase、Pig、Sqoop、Zookeeper、Storm、Flume、Ambari Metrics、Kerberos、Mahou、Spark等服务组件。

软件包包含了accumulo、atlas、falcon、kafka、knox、oozie、ranger、slider等服务组件。这里如果需要这些服务组件，则需要添加一个yum配置文件，如下：# vi

[]

name=

baseurl= Admin的密码。

部署成功后，便可成功进入界面。在主界面中，可以查看集群状态监控信息。

在HadoopMaster的终端执行jps命令，在打印结果中会看到master上运行的进程，这些进程表示主节点进程启动成功。

在HadoopSlave 的终端执行jps命令，也会看到相应的进程：

Slaver1：

5.2HDFS运维管理

5.2.1HDFS命令手册

1.概述

切换到hdfs用户，可以通过“hadoop fs -”命令来查看HDFS文件系统的帮助命令，通过提示的命令来对文件系统进行管理。

命令如下：

$ hadoop fs -

执行结果如下：

所有的hadoop命令均由bin/hadoop脚本引发。不指定参数运行hadoop脚本会打印所有命令的描述。

用法：hadoop [--config confdir] [COMMAND] [GENERIC_OPTIONS] [COMMAND_OPTIONS] Hadoop有一个选项解析框架用于解析一般的选项和运行类。

2.权限管理

在Hadoop集群中，只有hdfs用户才有对HDFS文件系统的管理权限，当其它用户对文件系统进行操作，需要给其赋予相应的权限，这里为了方便操作，将所有用户的读写执行权限全部放开，命令如下：

# su hdfs

$ hadoop fs -chmod -R 777 /

3.常规选项

下面的选项被 dfsadmin, fs, fsck和 job支持。应用程序要实现 Tool来支持常规选项。

4.用户命令

hadoop集群用户的常用命令。

archive

创建一个hadoop档案文件。参考 Hadoop Archives.

用法：hadoop archive -archiveName NAME -p *

distcp

递归地拷贝文件或目录。参考DistCp指南以获取等多信息。

用法：hadoop distcp

fs

用法：hadoop fs [GENERIC_OPTIONS] [COMMAND_OPTIONS]

运行一个常规的文件系统客户端。

fsck

运行HDFS文件系统检查工具。参考Fsck了解更多。

用法：hadoop fsck [GENERIC_OPTIONS] [-move | -delete | -openforwrite] [-files [-blocks [-locations | -racks]]]

jar

运行jar文件。用户可以把他们的Map Reduce代码捆绑到jar文件中，使用这个命令执行。

用法：hadoop jar [mainClass] args...

job

用于和Map Reduce作业交互和命令。

用法：hadoop job [GENERIC_OPTIONS] [-submit ] | [-status ] | [-counter ] | [-kill ] | [-events <#-of-events>] | [-history [all] ] | [-list

[all]] | [-kill-task ] | [-fail-task ]

pipes

运行pipes作业。

用法：hadoop pipes [-conf ] [-jobconf , , ...] [-input ] [-output ] [-jar ] [-inputformat ] [-map ] [-partitioner ] [-reduce ] [-writer ] [-program ] [-reduces ]

version

打印版本信息。

用法：hadoop version

CLASSNAME

hadoop脚本可用于调调用任何类。

用法：hadoop CLASSNAME

运行名字为CLASSNAME的类。

5.管理命令

hadoop集群管理员常用的命令。

balancer

运行集群平衡工具。管理员可以简单的按Ctrl-C来停止平衡过程。参考Rebalancer 了解更多。

用法：hadoop balancer [-threshold ]

daemonlog

获取或设置每个守护进程的日志级别。

用法：hadoop daemonlog -getlevel

用法：hadoop daemonlog -setlevel

datanode [-rollback]