Hadoop搭建全过程

Hadoop搭建全过程【千锋】

Hadoop主要应用于数据量大、海量计算、数据挖掘、一次写入多次读取、非高实时性要求的场景。Hadoop可以作为分布式存储框架存储大规模数据，数据的价值越来越被企业重视，被称为是21世纪的石油。下面是千锋教育给出的Hadoop搭建教程：

1、安装虚拟机环境

VMware，收费产品，占内存较大。

2、安装操作系统

Ubuntu，操作简单，方便，界面友好。

3、安装一些常用的软件

在每台linux虚拟机上，安装：vim，ssH

sudo apt-get install vim

sudo apt-get install ssH

在客户端，也就是win7上，安装SecureCRT，Winscp或putty，这几个程序，都是依靠ssH服务来操作的，所以前提必须安装ssH服务。

service ssH status 查看ssH状态。如果关闭使用service ssH start开启服务。

SecureCRT，可以通过ssH远程访问linux虚拟机。

winSCP或putty，可以从win7向linux上传文件。

4、修改主机名和网络配置

主机名分别为：master，Host2，Host3，Host4。

sudo vim /etc/Hostname

网络配置，包括ip地址，子网掩码，DNS服务器。

5、修改/etc/Hosts文件。

修改每台电脑的Hosts文件。

Hosts文件和windows上的功能是一样的。存储主机名和ip地址的映射。

在每台linux上，sudo vim /etc/Hosts 编写Hosts文件。将主机名和ip 地址的映射填写进去。

6、配置ssH，实现无密码登陆

无密码登陆，效果也就是在master上，通过ssH Host2 或ssH Host3 或ssH Host4 就可以登陆到对方计算机上。而且不用输入密码。

四台虚拟机上，使用ssH-keygen -t rsa 一路按回车就行了

7、上传jdk，并配置环境变量。

通过winSCP将文件上传到linux中。将文件放到/usr/lib/java中，四个linux都要操作。

解压缩：tar -zxvf jdk1.7.0_21.tar

设置环境变量sudo vim ~/.basHrc

在最下面添加：

export JAVA_HOME = /usr/lib/java/jdk1.7.0_21

export PATH = $JAVA_HOME/bin:$PATH

修改完后，用source ~/.basHrc让配置文件生效。

8、上传Hadoop，配置Hadoop

通过winSCP，上传Hadoop，到/usr/local/下，解压缩tar -zxvf Hadoop1.2.1.tar

再重命名一下，sudo mv Hadoop1.2.1 Hadoop

这样目录就变成/usr/local/Hadoop

①修改环境变量，将Hadoop加进去（最后四个linux都操作一次）

sudo vim ~/.basHrc

export HADOOP_HOME = /usr/local/Hadoop

export PATH = $JAVA_HOme/bin:$HADOOP_HOME/bin:$PATH

修改完后，用source ~/.basHrc让配置文件生效。

②修改/usr/local/Hadoop/conf下配置文件

Hadoop-env.sH，

③最后要记得，将Hadoop的用户加进去，命令为

sudo cHown -R Hadoop:Hadoop Hadoop

sudo cHown -R 用户名@用户组目录名

④让Hadoop配置生效

source Hadoop-env.sH

⑤格式化namenode，只格式一次

Hadoop namenode -format

⑥启动Hadoop

切到/usr/local/Hadoop/bin目录下，执行start-all.sH启动所有程序

⑦查看进程，是否启动

Jps

master，

以上就是千锋教育做出的Hadoop搭建教程。如果你对Hadoop想了解更多可以到千锋教育咨询了解.