Hadoop学习笔记—光环大数据培训

Hadoop是什么？

先问一下百度吧：

【百度百科】一个分布式系统基础架构，由Apache基金会所开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。 Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高传输率（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。

Hadoop主要用于一些分布式计算。在这个大数据年代，那这个的确是一个很不错的工具。所以很有必要来学一学。

如何开展这个学习呢，不管怎样，学习一样新东西，我喜欢这样的顺序：先依葫芦画瓢，一步一步行将其运行起来，再来分析一些应用场景及运行的情况，然后深入看一下其高级应用，最后由于这个是一个开源产品，正好来借此机会来读一读大牛们的代码，学学其精华。

好了，开始行动：

安装直接在目录下运行./jdk-6u24-linux-i586.bin即可。

然后配置jdk目录：

先进入安装目录 cd jdk-6u24-…

然后输入 PWD 就可以看到java安装目录,复制下来：

命令行执行：sudo gedit /etc/profile

在打开的文件里，追加：

export JAVA_HOME=/home/administrator/hadoop/jdk1.6.0_27 //这里要写安装目录

export PATH=${JAVA_HOME}/bin:$PATH

执行source /etc/profile 立即生效

验证是否安装完成，那比较容易了，在命令行下运行java -version ant svn ssh 看是否找不到命令，如果都能找到，说明OK了。

编译前先修改一下build.xml，打开，将里面的版本号改成：0.20.2，如下：

看到代码里面有个build.xml，这个是典型的用ant编译用的配置文件，所以直

然后屏幕会刷啊刷，等到完成看到下面字符时，也就OK了：

先试一下，我用SSH登陆当前本机信息：

可以看到，登陆本机时，也要输入一下密码，怎么办？

这里产生公私钥，并生成在.ssh文件夹下，于是我们就进入看一下：

果然，这里多了两个文件，id_dsa为私钥，id_dsa.pub为公钥

然后再把公钥复制成authorized_key，即将这个公钥固定为SSH登陆所用。

这步很重要，做完这步后，就可以再试一下登陆本机了：

看，现在再ssh localhost时，就直接进入，没有再输入帐号了。

到这里，SSH配置就成功了。

在正式运行之前，还要修改一下配置文件才地，这里具体的配置参数，就不讲，葫芦画瓢么，先跑起来，后面再来研究这是为啥：

在代码的conf文件夹内，就可以找到下面几个配置文件，分别配置成以下内容：core-site.xml

https://www.360docs.net/doc/eb13121346.html,

hdfs://localhost:9000

hadoop.tmp.dir

/home/zjf/hadoop-0.20.2/tmpPath ！这里改下路径

hdfs-site.xml

dfs.replication

1

mapred-site.xml

https://www.360docs.net/doc/eb13121346.html,

hdfs://localhost:9000

mapred.job.tracker

hdfs://localhost:9001

修改conf/hadoop-env.sh

将里面的JAVA_HOME注释打开，并把里面的地址配置正确。

Job跟踪：http://localhost:50030

NameNode结点：http://localhost:50070

1.用jps看一下有几个java进程在运行，如果是下面几个就正常了：

主要有DataNode NameNode SecondaryNameNode TaskTracker JobTracker这几个进程，就表示正常了

系统启动正常后，跑个程序吧

$mkdir input

$cd input

$echo "hello world">test1.txt

$echo "hello hadoop">test2.txt

$cd ..

$bin/hadoop dfs -put input in

$bin/hadoop jar build/hadoop-0.20.2-examples.jar wordcount in out

$bin/hadoop dfs -cat out/*

最关健的是，最后输入：

输出这个结果这就表示我们的程序运行成功了。至于这结果是什么意思，我想看到后大概也猜到了吧，至于详细解说，下期再看。

【报名信息】

最新开班时间：2017.6.26

电脑报名地址：https://www.360docs.net/doc/eb13121346.html,/

手机报名地址：https://www.360docs.net/doc/eb13121346.html,/mobile/

了解最新课程及报名优惠信息，请访问光环java官方网站：https://www.360docs.net/doc/eb13121346.html, 学大数据，就选光环大数据！16年老品牌，上市机构有保障！