Hadoop安装指南(ubuntu上)

ubuntu 下安装 hadoop

1 安装 JDK 7

第一步：下载jdk-7-linux-i586.tar.gz

第二步：解压安装

1. sudo mkdir /usr/lib/jvm

2. sudo tar zxvf ./jdk-7-linux-i586.tar.gz -C /usr/lib/jvm

3. cd /usr/lib/jvm

4. sudo mv jdk1.7.0/ java-7-sun

1. vim ~/.bashrc

添加：

1. export JA VA_HOME=/usr/lib/jvm/java-7-sun

2. export JRE_HOME=${JA VA_HOME}/jre

3. export CLASSPATH=.:${JA VA_HOME}/lib:${JRE_HOME}/lib

4. export PATH=${JA VA_HOME}/bin:$PATH

保存退出，输入以下命令使之立即生效。

1. source ~/.bashrc

第四步：配置默认JDK版本

由于ubuntu中可能会有默认的JDK，如openjdk，所以，为了将我们安装的JDK设置为默认JDK版本，还要进行如下工作。

执行代码:

sudo update-alternatives --install /usr/bin/java java /usr/lib/jvm/java-7-sun/bin/java 300

sudo update-alternatives --install /usr/bin/javac javac /usr/lib/jvm/java-7-sun/bin/javac 300

执行代码：

sudo update-alternatives --config java

系统会列出各种JDK版本，如下所示：

sudo update-alternatives --config java

有 3 个候选项可用于替换 java (提供 /usr/bin/java)。

选择路径优先级状态

------------------------------------------------------------

* 0 /usr /lib/jvm/java-6-openjdk/jre/bin /java 1061 自动模式

1 /usr /lib/jvm/java-6-openjdk/jre/bin /java 1061 手动模式

2 /usr /lib/jvm/java-6-sun/jre/bin /java 6

3 手动模式

3 /usr /lib/jvm/java-7-sun/bin /java 300 手动模式

要维持当前值[*]请按回车键，或者键入选择的编号：3

update- alternatives: 使用 /usr/lib/jvm/java-7-sun/bin/java 来提供 /usr/bin/java (java)，于手动模式中。

第五步：测试

$ java -version

java version "1.7.0"

Java HotSpot(TM) Server VM (build 21.0-b17, mixed mode)

2 配置SSH

1.创建hadoop用户组和其用户hadoop

$sudo addgroup hadoop

$sudo adduser --ingroup hadoop hadoop

2.以超级用户身份，为hadoop添加sudo权限

$visudo

在“root ALL=(ALL) ALL”后面添加一行"hadoop ALL=(ALL) ALL"

$chmod u-w /etc/sudoers

3.安装SSH

$sudo apt-get install ssh

$sudo apt-get install rsync

4.需要namenode可以通过ssh对datanode进行无需密码的访问。以hadoop身份执行：

$ ssh-keygen -t dsa -P “” -f ~/.ssh/id_dsa

$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

5.配置完了之后，执行一下ssh localhost，看看是否可以无需密码的访问。（首次访问时，会要求输入yes，此时namenode会将此datanode的信息记录下来，下次访问就不会了）

3 安装配置Hadoop（集群mode）

Master:59.64.134.192 机器名：bat 用户名;hadoop

Slave : 59.64.134.108 机器名：cat 用户名;hadoop

注：修改机器名在 /etc/hostname中

# The java implementation to use.

export JA VA_HOME=/usr/lib/jvm/java-7-sun

export JA VA_HOME=/worksoft/java/jdk1.6.0_23

# Extra Java CLASSPATH elements. Optional.

# export HADOOP_CLASSPATH=

export HADOOP_CLASSPATH=/home/hadoop/hadoop-0.20.2

（2）core-site.xml

https://www.360docs.net/doc/914531499.html,

hdfs://bat:9000

hadoop.tmp.dir

/home/hadoop/hadoop-0.20.2/tmp

（3）hdfs-site.xml

dfs.replication

3

（4）mapred-site.xml

mapred.job.tracker

bat:9001

（5）masters

(6)slaves

集群中的每台主机都在 hosts 文件最上方加上:

#these ips server for mapreduce cluster 59.64.134.192 is master,others are #slave

59.64.134.192 #master

59.64.134.108 #slave

注意:

#The following is yourself information util ff02::3 ip6-allhosts

127.0.0.1 localhost.localdomain localhost

#要将这句注释了。

#127.0.1.1

所有以上为集群中所有机器都要配置的内容，以下为master需要配置的内容

5.配置主机 master 通过 ssh 无密码登陆各 slave

$scp ~/.ssh/authorized_keys hadoop@cat:~/.ssh/

6.重启集群中所有电脑

7.在 master 上操作,先格式化一个新的分布式文件系统，在HADOOP_HOME下

$ bin/hadoop namenode -format

8.启动 hadoop 分布式文件系统

$ bin/start-all.sh

$ ps -ef #查看进程

接触safe mode

$ bin/hadoop dfsadmin -safemode leave

验证启动是否成功，在HADOOP_HOME下：

$./bin/hadoop dfsadmin -report

如果没成功，运行

$./hadoop-daemon.sh start jobtracker #手动启动jobtraccker

9.运行wordcount 程序

$ mkdir -p /home/test-in #在 home 目录下创建 test-in 文件夹

$ cd test-in #打开文件夹

$touch file1.txt #新建一个 file1.txt 文件

$sudo gedit file1.txt #编辑 file1.txt 文件,在里面写上字母。如:hello world bye world cdh 相同方法编辑 file2.txt 等文件 hello hadoop goodbye hadoop

将本地文件系统上的 ./test-in 目录拷到 HDFS 的根目录上,目录名改为 input $ bin/hadoop dfs -put /home/test-in input

注：执行 bin/hadoop dfs Chelp 可以学习各种 HDFS 命令的使用。

$ bin/hadoop jar hadoop-0.20.2-examples.jar wordcount input output

查看执行结果:

将文件从 HDFS 拷到本地文件系统中再查看:

$ bin/hadoop dfs -get output output

$ cat output/*

结果如下:

bye 1

cdh 1

goodbye 1

hadoop 2

hello 2

world 2

也可以直接查看

$ bin/hadoop dfs -cat output/*

停止 hadoop 进程

$ bin/stop-all.sh

注意：如果再次运行一次 wordcount 案例,必须先删除一下 HDFS 文件系统上的

input 和 output,然后再格式化 dfs

10.实验结果截图

网页查看 hadoop 启动成功的截图 http://lcoalhost:50030和http://lcoalhost:50070

export JA VA_HOME=/usr/lib/jvm/java-7-sun

export JRE_HOME=${JA VA_HOME}/jre

export CLASSPATH=.:${JA VA_HOME}/lib:${JRE_HOME}/lib

export HADOOP_HOME=/home/hadoop/hadoop-0.20.2

export PIG_INSTALL=/home/hadoop/pig-0.9.0

export PIG_CLASSPATH=/home/hadoop/hadoop-0.20.2/conf

export HBASE_HOME=/home/hadoop/hbase-0.90.4

export HIVE_HOME=/home/hadoop/hive-0.7.1

export SQOOP_HOME=/home/hadoop/sqoop-1.3.0

export ZOOKEEPER_INSTALL=/home/hadoop/zookeeper-3.3.3

export

PATH=$PATH:${JA VA_HOME}/bin:${HADOOP_HOME}/bin:${PIG_INSTALL}/bin:${HBASE_HOME}/bin:${HI VE_HOME}/bin:${SQOOP_HOME}/bin:${ZOOKEEPER_INSTALL}/bin