hadoop2.7.1安装手册

hadoop2.7.1安装手册

1、准备阶段述

·hadoop-2.7.1.tar.gz安装包

·jdk1.6以上版本，这里统一使用jdk1.8版本jdk-8u45-linux-x64.rpm

·CentOS-6.4安装包

2、安装步骤概述

2.1、安装Centos-6.4系统

2.2、安装jdk1.8

2.4、如若使用64位机器，请编译hadoop-2.7.1文件

2.4、zookeeper安装，单机安装以及集群安装

2.5、关闭linux防火墙，安装已编译好的hadooop安装包以及配置QJM，或者配置High Availability With NFS，验证hadoop是否安装成功

2.6、sqoop的编译与安装

2.7、Mysql安装

2.8、HBASE安装

2.9、HIVE安装

3、集群规划

集群规划：

4、安装具体步骤

4.1、安装Centos-6.4系统

(1)、下载64位的CentOS-6.4镜像文件

CentOS-6.4-x86_64-bin-DVD1.iso

CentOS-6.4-x86_64-bin-DVD2.iso

系统安装只用到CentOS-6.4-x86_64-bin-DVD1.iso这个镜像，第二个镜像是系统自带的软件安装包

下载完成之后，使用光盘刻录软件将ISO镜像文件刻录在CD或者DVD光盘里得到一张安装光盘

(2)、安装CentOS

·使用安装介质启动电脑出现如下界面

·选择Install or upgrade an existing system，并跳过media test

·出现引导界面，点击next

·语言选择，选“English”，以防止出现乱码

·键盘布局选择：U.S.English

·选择“Basic Storage Devies”，点击next

·询问是否忽略所有数据，新电脑安装系统选择"Yes,discard any data"

·Hostname填写

·网络设置安装图示顺序点击就可以了

·时区可以在地图上点击，选择“shanghai”并取消System clock uses UTC前面的对勾

·设置root的密码

·硬盘分区，一定要按照图示点选

现不能安装的问题

·询问是否格式化分区

·将更改写入到硬盘

·引导程序安装位置

·选择安装模式选择Minimal Desktop安装模式，并且选择现在进行客户化定制

在进行“客户化定制时”可直接next，不过在language support时，选择“Chinese Support”，如下图：

·

(3)、修改虚拟机主机名并建立IP地址与主机名之间的映射关系，最后重启虚拟机

以root权限登录

·修改主机名：vi /etc/sysconfig/network ；分别修改HOSTNAME的值，为对应的主机名hadoop01、hadoop02、hadoop03

·建立IP地址与主机名之间的映射关系：vi /etc/hosts；

在hadoop01虚拟机的hosts文件中添加如下字段：

172.16.112.113 hadoop01

在hadoop02虚拟机的hosts文件中添加如下字段：

172.16.112.114hadoop02

在hadoop03虚拟机的hosts文件中添加如下字段：

172.16.112.115 hadoop03

在hadoop02虚拟机的hosts文件中添加如下字段：

172.16.112.116 hadoop04

在hadoop02虚拟机的hosts文件中添加如下字段：

172.16.112.117 hadoop05

在hadoop02虚拟机的hosts文件中添加如下字段：

172.16.112.118 hadoop06

在hadoop02虚拟机的hosts文件中添加如下字段：

172.16.112.119 hadoop07

4.2、安装jdk1.8

(1)、在hadoop家目录下创建software文件夹，并使用Secure CRT工具,点击Secure FX将所需要的jdk安装包上传到linux系统上的software文件中·切换回当前用户：su – hadoop01

·创建目录：mkdir /home/hadoop01/software

·上传文件：（以二进制文件形式传输）

(2)、安装jdk1.8

·进入jdk1.8存放目录：cd /home/hadoop01/software/

·切换为root用户：su，输入密码

·安装jdk1.8: rpm -ivh jdk-8u45-linux-x64.rpm

(3)、配置jdk环境变量

·设置环境变量：vi /etc/profile

·在profile文件中设置JAVA_HOME、CLASS_PATH、PATH三个环境变量：# JAVA_HOME

export JAVA_HOME=/usr/java/jdk1.8.0_45

# CLASSPATH

export

CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HO

ME/lib/tools.jar

#PATH

export PATH=$PATH:$JAVA_HOME/bin

·启动配置项：source /etc/profile

·验证jdk是否安装成功：java –version

如图：安装成功

4.3编译hadoop2.7.1

(1)、实现ssh登录，公钥自联

·登录root用户：su ，输入密码

·打开公钥验证服务：

#RSAAuthentication yes

#PubkeyAuthentication yes

#AuthorizedKeysFile .ssh/authorized_keys

去掉这也项的#

·重启ssh服务：service sshd restart

·以hadoop01账户登录linux系统：su – hadoop01

·启动ssh协议：rpm -qa|grep openssh

rpm -qa|grep rsync

·生成密钥对：ssh-keygen -t rsa -P '' 直接回车

·将公钥写入授权文件：cat ~/.ssh/id_dsa.pub >> authorized-keys

·修改授权文件权限：

授权文件：chmod 600 ~/.ssh/authorized-keys

·验证ssh登录：ssh localhost

多次ssh登录到localhost用户观察是否还需要输入密码

如图时，成功

(2)、将hadoop01作为Master节点，配置ssh免密码登陆，使得hadoop01无密码登录所有的slave节点：

·将其他两台hadoop02，hadoop03，hadoop04，hadoop05，hadoop06，hadoop07实现一次自联过程

·分别修改hadoop02，hadoop03，hadoop04，hadoop05，hadoop06，hadoop07

节点上.ssh文件的权限和authorized-keys文件的权限:

chmod 700 ~/.ssh

chmod 600 authorized-keys

·将hadoop01节点的公钥传给hadoop02，hadoop03，hadoop04，hadoop05，hadoop06，hadoop07:

scp ~/.ssh/id_rsa.pub hadoop@hadoop02:~/

scp ~/.ssh/id_rsa.pub hadoop@hadoop03:~/

scp ~/.ssh/id_rsa.pub hadoop@hadoop04:~/

scp ~/.ssh/id_rsa.pub hadoop@hadoop05:~/

scp ~/.ssh/id_rsa.pub hadoop@hadoop06:~/

scp ~/.ssh/id_rsa.pub hadoop@hadoop07:~/

·将hadoop01的公钥追加到hadoop02，hadoop03，hadoop04，hadoop05，hadoop06，hadoop07的authorized-keys中：

cat ~/id_rsa.pub >> ~/.ssh/authorized-keys

·验证是否实现ssh登录

ssh hadoop02

ssh hadoop03

ssh hadoop04

ssh hadoop05

ssh hadoop06

ssh hadoop07

(3)、编译hadoop-2.7.1环境

·所需软件：maven、protobuf、openssl库、CMake、ant

·安装maven：

1、解压缩压缩包：

tar -zxvf apache-maven-3.3.3-bin.tar.gz

2、设置Maven环境变量：

#MAVEN

export MAVEN_HOME=/home/hadoop/software/apache-maven-3.3.3

#environment path

export PATH= /home/hadoop/software/apache-maven-3.3.3/bin

3、生效

source /etc/profile

4、验证maven

mvn –v

·安装protobuf-2.5.0

1、安装依赖包

以root身份登录

yum install gcc-c++

2、解压protobuf-2.5.0安装包

tar -zxvf protobuf-2.5.0.tar.gz

3、进入protobuf-2.5.0文件夹，进行如下操作：

./configure

make

make check

make install

ldconfig

4、修改环境变量：

vi /etc/profile

#protobuf

export LD_LIBRARY_PATH=/home/hadoop/software/protobuf-2.5.0

5、生效

source /etc/profile

注意：配置/etc/profile，在虚拟机重启后，可能配置会失效，所

以重启后，需要再次执行source操作。

6、安装pache-ant-1.9.4-bin.tar.gz

·解压安装包：tar -zxvf apache-ant-1.9.4-bin.tar.gz

·配置环境变量：vi /etc/profile

#Ant

export ANT_HOME=/home/hadoop/software/apache-ant-1.9.4

#PATH

export PATH=$ANT_HOME/bin

·生效

source /etc/profile

·校验

ant -version

7、编译hadoop-2.7.1

将hadoop-2.7.1-src.tar.gz解压缩，并进入hadoop-2.7.1-src文件夹

执行命令：mvn package -Pdist,native -DskipTests -Dtar

8、在目录hadoop-2.4.0-src/hadoop-dist/target下有文件：

hadoop-2.4.0.tar.gz编译成功

4.4 Zookeeper 3.2 单机安装

·zooKeeper配置文件参数

参考：

https://www.360docs.net/doc/a51592597.html,/zookeeper/docs/r3.3.1/zookeeperAdmin.html#sc_configura

tion

ZooKeeper Server的行为受配置文件zoo.cfg的控制，zoo.cfg的设计目标是让所有服务器都可以使用相同的配置文件，如果需要使用不同的配置文件，需要保证关于cluster部分的参数相同。下面是具体的参数：

最小必要配置的参数

clientPort

服务的监听端口

dataDir

用于存放内存数据库快照的文件夹，同时用于集群的myid文件也存在这个文件夹里（注意：一个配置文件只能包含一个dataDir字样，即使它被注释掉了。）tickTime

心跳时间，为了确保连接存在的，以毫秒为单位，最小超时时间为两个心跳时间高级配置参数

dataLogDir

用于单独设置transaction log的目录，transaction log分离可以避免和普通log还有快照的竞争

globalOutstandingLimit

client请求队列的最大长度，防止内存溢出，默认值为1000

preAllocSize

预分配的Transaction log空间为block个proAllocSize KB，默认block为64M，一般不需要更改，除非snapshot过于频繁

snapCount

在snapCount个snapshot后写一次transaction log，默认值是100,000 traceFile

用于记录请求的log，打开会影响性能，用于debug的，最好不要定义maxClientCnxns

最大并发客户端数，用于防止DOS的，默认值是10，设置为0是不加限制clientPortBindAddress

3.3.0后新增参数，可是设置指定的client ip以及端口，不设置的话等于ANY:clientPort

minSessionTimeout

3.3.0后新增参数，最小的客户端session超时时间，默认值为2个tickTime，单位是毫秒

maxSessionTimeout

3.3.0后新增参数，最大的客户端session超时时间，默认值为20个tickTime，单位是毫秒

集群参数

electionAlg

用于选举的实现的参数，0为以原始的基于UDP的方式协作，1为不进行用户验证的基于UDP的快速选举，2为进行用户验证的基于UDP的快速选举，3为基于TCP 的快速选举，默认值为3

initLimit

多少个心跳时间内，允许其他server连接并初始化数据，如果ZooKeeper管理的数据较大，则应相应增大这个值

leaderServes

leader是否接受客户端连接。默认值为yes。leader负责协调更新。当更新吞吐量远高于读取吞吐量时，可以设置为不接受客户端连接，以便leader可以专注于同步协调工作。默认值是yes，说明leader可以接受客户端连接。（注意：当集群中有超过3台ZooKeeper Server时，强烈建议打开leader选举）

server.x=[hostname]:nnnnn[:nnnnn], etc

配置集群里面的主机信息，其中server.x的x要写在myid文件中，决定当前机器的id，第一个port用于连接leader，第二个用于leader选举。如果electionAlg为0，则不需要第二个port。hostname也可以填ip。

syncLimit

多少个tickTime内，允许follower同步，如果follower落后太多，则会被丢弃。group.x=nnnnn[:nnnnn]

weight.x=nnnnn

这两个是用于集群分组的参数，暂时只有3台机器，没仔细研究，先给个例子看看吧

group.1=1:2:3

group.2=4:5:6

group.3=7:8:9

weight.1=1

weight.2=1

weight.3=1

weight.4=1

weight.5=1

weight.6=1

weight.7=1

weight.8=1

weight.9=1

用于用户认证的选项

略

不安全选项

略

·ZooKeeper集群部署管理

1. 约定：

a. ZooKeeper Server，[server1]的ip为172.16.104.241，[server2]的ip为172.16.104.242，[server3]的ip为172.16.104.243。

b. [zk_dir]表示ZooKeeper的根目录，假设为/home/user/zookeeper

c. [zk_data]表示ZooKeeper数据文件存放地址，假设为/home/user/zk_data

d. [zk_trlog]表示ZooKeeper的Transaction Log目录，假设为/home/user/zk_trlog

e. [zk_logs]表示ZooKeeper的一半log目录，假设为/home/user/zk_logs

2. 服务端环境要求：

a. Linux或者其他类UNIX系统（Windows及Mac OS只能作为开发环境，不能做生产环境）

b. JDK 1.6或更高