Hadoop的安装与配置及示例wordcount的运行
Hadoop的安装与配置及示例程序
wordcount的运行
目录
前言 (1)
1 机器配置说明 (2)
2 查看机器间是否能相互通信（使用ping命令） (2)
3 ssh设置及关闭防火墙 (2)
1）fedora装好后默认启动sshd服务，如果不确定的话可以查一下[garon@hzau01 ~]$ service sshd status (3)
2）关闭防火墙（NameNode和DataNode都必须关闭） (3)
4 安装jdk1.6(集群中机子都一样) (3)
5 安装hadoop(集群中机子都一样) (4)
6 配置hadoop (4)
1）配置JA V A环境 (4)
2）配置conf/core-site.xml、conf/hdfs-site.xml、conf/mapred-site.xml文件 (5)
3）将NameNode上完整的hadoop拷贝到DataNode上，可先将其进行压缩后直接scp 过去或是用盘拷贝过去 (7)
4）配置NameNode上的conf/masters和conf/slaves (7)
7 运行hadoop (7)
1）格式化文件系统 (7)
2）启动hadoop (7)
3）用jps命令查看进程，NameNode上的结果如下： (8)
4）查看集群状态 (8)
8 运行Wordcount.java程序 (8)
1）先在本地磁盘上建立两个文件f1和f2 (8)
2）在hdfs上建立一个input目录 (9)
3）将f1和f2拷贝到hdfs的input目录下 (9)
4）查看hdfs上有没有f1,f2 (9)
5)执行wordcount（确保hdfs上没有output目录） (9)
6）运行完成，查看结果 (9)
前言
最近在学习Hadoop，文章只是记录我的学习过程，难免有不足甚至是错误之处，请大家谅解并指正！Hadoop版本是最新发布的Hadoop-0.21.0版本，其中一些Hadoop命令已发生变化，为方便以后学习，这里均采用最新命令。具体安装及配置过程如下：
1 机器配置说明
总共有3台机器：hzau01、hzau02、hzau03
IP地址分别为：192.168.0.4、192.168.0.17、192.168.0.6
操作系统为：Linux2.6.33.3-85.fc13.i686.PAE
jdk版本为：jdk1.6.0_23
hadoop版本为：hadoop-0.21.0
hzau01作为NameNode、JobTracker，其他两台台作为DataNode、TaskTracker
2 查看机器间是否能相互通信（使用ping 命令）
用root登录，在NameNode上修改/etc/hosts文件，加入三台机器的IP地址和机器名，如下：192.168.0.4 hzau01
192.168.0.17 hzau02
192.168.0.6 hzau03
设置好后验证下各机器间是否ping通，用机器名或是IP地址都可以，例如ping hzau02或ping 192.168.0.17
Hadoop要求所有机器上hadoop的部署目录结构要相同并且有一个相同的用户名的帐户，我的默认路径为/home/garon
3 ssh设置及关闭防火墙
1）fedora装好后默认启动sshd服务，如果不确定的话可以查一下[garon@hzau01 ~]$ service sshd status
如没有启动的话，先启动[root@hzau01 ~]# service sshd start
建立ssh无密码登录，在NameNode上[garon@hzau01 ~]ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa(''为两个单引号)
会在~/.ssh/生成两个文件：id_dsa和id_dsa.pub，这两是成对出现的，把id_dsa.pub文件追加到DataNode上的authorized_keys
[garon@hzau01 ~]$ scp ~/.ssh/id_dsa.pub hzau02:/home/garon/.ssh (注意其中目标机器后面的：与要传到的文件路径之间没有空格，即sc706:与/home/hadoop/之间没有空格)
scp ~/.ssh/id_dsa.pub hzau03:/home/garon/.ssh
登录到DataNode上，[garon@hzau02 ~]$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys ，其余一台一样，注意：追加完后必须修改NameNode和DataNode上的.ssh和authorized_keys 的权限，chmod命令，参数600，完成后测试下，例如ssh hzau02时不需要密码就可以登录，就可以知道ssh设置成功。
2）关闭防火墙（NameNode和DataNode都必须关闭）[root@hzau01 ~]# service iptables stop
注意：每次重新开机启动hadoop前都必须关闭
4 安装jdk1.6(集群中机子都一样)
下载jdk-6u23-ea-bin-b03-linux-i586-18_oct_2010.bin，之后直接安装，我的安装路径为：/usr/java/jdk1.6.0_23，安装后添加如下语句到/etc/profile中：
export JA VA_HOME="/usr/java/jdk1.6.0_23"
export JRE_HOME=/usr/java/jdk1.6.0_23/jre
export CLASSPATH=.:$JA V A_HOME/lib:$JRE_HOME/lib:$CLASSPATH export PA TH=$JA V A_HOME/bin:$JRE_HOME/bin:$PATH
5 安装hadoop(集群中机子都一样) 在官网https://www.360docs.net/doc/4d2319579.html,//hadoop/core/下载hadoop-0.21.0.tar.gz [garon@hzau01 ~]$ tar xzvf hadoop-0.21.0.tar.gz
将hadoop的安装路径添加到/etc/profile中：
export HADOOP_HOME=/home/garon/hadoop-0.21.0
export PA TH=$HADOOP_HOME/bin:$PATH
为了让/etc/profile生效，source一下[garon@hzau01 ~]$ source /etc/profile 6 配置hadoop
其配置文件在/conf目录下
1）配置JAVA环境
[garon@hzau01 ~]$$ vi ~/hadoop/hadoop-0.21.0/conf/hadoop-env.sh
export JA VA_HOME=/usr/java/jdk1.6.0_23
2）配置conf/core-site.xml、conf/hdfs-site.xml、conf/mapred-site.xml文件
[garon@hzau01 hadoop-0.21.0]$ vi conf/core-site.xml
[garon@hzau01 hadoop-0.21.0]$ vi conf/mapred-site.xml
[garon@hzau01 hadoop-0.21.0]$ vi conf/hdfs-site.xml
3）将NameNode上完整的hadoop拷贝到DataNode上，可先将其进行压缩后直接scp过去或是用盘拷贝过去
4）配置NameNode上的conf/masters和conf/slaves masters:192.168.0.4
slaves:192.168.0.17
192.168.0.6
7 运行hadoop
1）格式化文件系统
[garon@hzau01 bin]$ hdfs namenode -format
注意：格式化时要防止NameNode的namespace ID与DataNode的namespace ID的不一致，因为每格式化一次会产生Name、Data、tmp等临时文件记录信息，多次格式化会产生很多，会导致ID的不同，造成hadoop不能运行
2）启动hadoop
[garon@hzau01 bin]$ start-dfs.sh
[garon@hzau01 bin]$ start-mapred.sh
3）用jps命令查看进程，NameNode上的结果如下：
5334 JobTracker
5215 SecondaryNameNode
5449 Jps
5001 NameNode
4）查看集群状态
[garon@hzau01 bin]$ hdfs dfsadmin -report
确保运行的DataNode个数是正确的，我的是2个，这样可以查看哪个DataNode没有运行8 运行Wordcount.java程序
1）先在本地磁盘上建立两个文件f1和f2
[garon@hzau01 bin]$ echo ”Hello world Bye world" > ~/input/f1
[garon@hzau01 bin]$ echo ”hello hadoop bye hadoop” > ~/input/f2
2）在hdfs上建立一个input目录
[garon@hzau01 bin]$ hadoop fs -mkdir /tmp/input
3）将f1和f2拷贝到hdfs的input目录下
[garon@hzau01 bin]$ hadoop fs -put /home/garon/input /tmp
4）查看hdfs上有没有f1,f2
[garon@hzau01 bin]$ hadoop fs -ls /tmp/input
5)执行wordcount（确保hdfs上没有output目录）
[garon@hzau01 bin]$ hadoop jar ../hadoop-mapred-examples-0.21.0.jar wordcount /tmp/input /output
6）运行完成，查看结果
[garon@hzau01 bin]$ hadoop fs -cat /output/part-r-00000
Bye 1
Hello 1
bye 1 hadoop 2 hello 1 world 2
zabbix安装配置
Zabbix 一安装配置： 环境搭建： VMware? Workstation 12 Pro (12.0.0 build-2985596) CentOS-7-x86_64-DVD-1511.iso (user:root password: toor00 ) zabbix-3.0.3.tar 安装过程： Installation from sources You can get the very latest version of Zabbix by compiling it from the sources. A step-by-step tutorial for installing Zabbix from the sources is provided here. 1 Installing Zabbix daemons 1 Download the source archive Go to the Zabbix download page and download the source archive. Once downloaded, extract the sources, by running: $ tar -zxvf zabbix-3.0.0.tar.gz Enter the correct Zabbix version in the command. It must match the name of the downloaded archive. 2 Create user account For all of the Zabbix daemon processes, an unprivileged user is required. If a Zabbix daemon is started from an unprivileged user account, it will
hadoop集群完整配置过程详细笔记
本文为笔者安装配置过程中详细记录的笔记 1．下载hadoop hadoop-2.7.1.tar.gz hadoop-2.7.1-src.tar.gz 64位linux需要重新编译本地库 2．准备环境 Centos6.4 64位，3台 hadoop0 192.168.1.151namenode hadoop1 192.168.1.152 datanode1 Hadoop2 192.168.1.153 datanode2 1）安装虚拟机： vmware WorkStation 10，创建三台虚拟机，创建时，直接建立用户ha,密码111111.同时为root密码。网卡使用桥接方式。 安装盘 、 2). 配置IP.创建完成后，设置IP,可以直接进入桌面，在如下菜单下配置IP,配置好后，PING 确认好用。 3)更改三台机器主机名 切换到root用户，更改主机名。 [ha@hadoop0 ~]$ su - root Password: [root@hadoop0 ~]# hostname hadoop0 [root@hadoop0 ~]# vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=hadoop0 以上两步后重启服务器。三台机器都需要修改。 4）创建hadoop用户 由于在创建虚拟机时，已自动创建，可以省略。否则用命令创建。
5）修改hosts文件 [root@hadoop0 ~]# vi /etc/hosts 127.0.0.1 localhostlocalhost.localdomain localhost4 localhost4.localdomain4 ::1localhostlocalhost.localdomain localhost6 localhost6.localdomain6 192.168.1.151 hadoop0 192.168.1.152 hadoop1 192.168.1.153 hadoop2 此步骤需要三台机器都修改。 3．建立三台机器间，无密码SSH登录。 1）三台机器生成密钥，使用hadoop用户操作 [root@hadoop0 ~]# su– ha [ha@hadoop0 ~]$ ssh -keygen -t rsa 所有选项直接回车，完成。 以上步骤三台机器上都做。 2）在namenode机器上，导入公钥到本机认证文件 [ha@hadoop0 ~]$ cat ~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys 3）将hadoop1和hadoop2打开/home/ha/.ssh/ id_rsa.pub文件中的内容都拷贝到hadoop0的/home/ha /.ssh/authorized_keys文件中。如下： 4）将namenode上的/home/ha /.ssh/authorized_keys文件拷贝到hadoop1和hadoop2的/home/ha/.ssh文件夹下。同时在三台机器上将authorized_keys授予600权限。 [ha@hadoop1 .ssh]$ chmod 600 authorized_keys 5）验证任意两台机器是否可以无密码登录，如下状态说明成功，第一次访问时需要输入密码。此后即不再需要。 [ha@hadoop0 ~]$ ssh hadoop1 Last login: Tue Aug 11 00:58:10 2015 from hadoop2 4．安装JDK1.7 1）下载JDK（32或64位），解压 [ha@hadoop0 tools]$ tar -zxvf jdk-7u67-linux-x64.tar.gz 2）设置环境变量（修改/etx/profile文件）， export JAVA_HOME=/usr/jdk1.7.0_67 export CLASSPATH=:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin 3）使环境变量生效，然后验证JDK是否安装成功。
Hadoop集群安装配置教程_Hadoop2.6.0_Ubuntu_CentOS
Hadoop集群安装配置教程_Hadoop2.6.0_Ubuntu/CentOS 本教程讲述如何配置Hadoop 集群，默认读者已经掌握了Hadoop 的单机伪分布式配置，否则请先查看Hadoop安装教程_单机/伪分布式配置或CentOS安装Hadoop_单机/伪分布式配置。 本教程由厦门大学数据库实验室出品，转载请注明。本教程适合于原生Hadoop 2，包括Hadoop 2.6.0, Hadoop 2.7.1 等版本，主要参考了官方安装教程，步骤详细，辅以适当说明，保证按照步骤来，都能顺利安装并运行Hadoop。另外有Hadoop安装配置简略版方便有基础的读者快速完成安装。 为了方便新手入门，我们准备了两篇不同系统的Hadoop 伪分布式配置教程。但其他Hadoop 教程我们将不再区分，可同时适用于Ubuntu 和CentOS/RedHat 系统。例如本教程以Ubuntu 系统为主要演示环境，但对Ubuntu/CentOS 的不同配置之处、CentOS 6.x 与CentOS 7 的操作区别等都会尽量给出注明。 环境 本教程使用Ubuntu 14.04 64位作为系统环境，基于原生Hadoop 2，在Hadoop 2.6.0 (stable)版本下验证通过，可适合任何Hadoop 2.x.y 版本，例如Hadoop 2.7.1，Hadoop 2.4.1 等。 本教程简单的使用两个节点作为集群环境: 一个作为Master 节点，局域网IP 为192.168.1.121；另一个作为Slave 节点，局域网IP 为192.168.1.122。 准备工作 Hadoop 集群的安装配置大致为如下流程: 1.选定一台机器作为Master 2.在Master 节点上配置hadoop 用户、安装SSH server、安装Java 环境 3.在Master 节点上安装Hadoop，并完成配置 4.在其他Slave 节点上配置hadoop 用户、安装SSH server、安装Java 环境 5.将Master 节点上的/usr/local/hadoop 目录复制到其他Slave 节点上 6.在Master 节点上开启Hadoop 配置hadoop 用户、安装SSH server、安装Java 环境、安装Hadoop 等过程已经在Hadoop安装教程_单机/伪分布式配置或CentOS安装Hadoop_单机/伪分布式配置中有详细介绍，请前往查看，不再重复叙述。 继续下一步配置前，请先完成上述流程的前 4 个步骤。 网络配置 假设集群所用的节点都位于同一个局域网。 如果使用的是虚拟机安装的系统，那么需要更改网络连接方式为桥接（Bridge）模式，才能实现多个节点互连，例如在VirturalBox 中的设置如下图。此外，如果节点的系统是在虚拟机中直接复制的，要确保各个节点的Mac 地址不同（可以点右边的按钮随机生成MAC 地址，否则IP 会冲突）：
【免费下载】Zabbix安装使用手册
Zabbix安装使用手册 目录 ZABBIX安装使用手册 (1) 1、安装配置POSTGRESQL9.3 (1) 第一部分安装 1、安装配置Postgresql9.3 2、添加zabbix账户、zabbix数据库 psql –U pgsql postgres postgres=# create user zabbix with password ‘zabbix’ postgres=# LOGIN CREATEDB CREATEROLE; CREATE ROLE postgres=# create database zabbix owner zabbix; CREATE DATABASE postgres=# grant all privileges on database zabbix to zabbix; GRANT 3、安装zabbix-server cd /usr/ports/net-mgmt/zabbix22-server/ make install clean 4、导入zabbix数据模板 root@bsd:/# cd /usr/local/share/zabbix22/server/database/postgresql root@bsd:/usr/local/share/zabbix22/server/database/postgresql# cat schema.sql | psql –U zabbix zabbix; root@bsd:/usr/local/share/zabbix22/server/database/postgresql# cat images.sql | psql –U zabbix zabbix; root@bsd:/usr/local/share/zabbix22/server/database/postgresql# cat data.sql | psql –U zabbix zabbix; 5、配置zabbix -server root@bsd:/usr/local/etc/zabbix22# cp/usr/local/etc/zabbix22/zabbix_server.conf.sample
Hadoop-0.20.2详细安装及疑难问题
安装 2011年4月4日 10:13 Hadoop-0.20.2安装使用 1、Cygwin 安装 ssh 2、按照以下的文档配置ssh 在Windows上安装Ha doop教程.pdf 3、几个配置文件的配置 3.1、conf/core-site.xml
zabbix环境部署详细步骤(小白可入)
Zabbix部署流程 目录 1、计划安排 (2) 2、环境准备 (2) 3、软件安装（lamp） (2) 4、配置文件修改 (3) 5、web初始化及登陆 (4) 6、监控项模板配置 (5) 7、网络自动发现主机 (8) 8、添加监控项的触发器及对应的动作 (11) 9、在zabbix-server端配置简单的邮件postfix服务 (16) 10、用户与报警媒介关联 (18)
1、计划安排 2、环境准备 Zabbix-server端（10.21.X.X）：操作系统：centos7.1 硬件：4c/8G 80G 安装图形化 Mysql数据库端（10.21.20.202）：操作系统：centos7.1 硬件：4c/8G 120G 3、软件安装（lamp） (1)Zabbix-Server组件： yum –y install net-snmp* gcc 下载zabbix-3.2.7.tar.gz包并进行编译安装（./configure –prefix=/usr/local/zabbix --enable –server --enable-agent --with-mysql --with-net-snmp）---- make （注编译时若出现报错，按照报错解决依赖包问题） (2)web 组件(注意php的软件版本一定要保持一致5.4) yum -y install httpd php php-mysql yum -y localinstall zabbix-web-3.2.0 zabbix-web-mysql-3.2.0 php-mbstring php-bcmath （3）数据库端
hadoop3安装和配置
hadoop3.0.0安装和配置1.安装环境 硬件：虚拟机 操作系统：Centos 7 64位 IP：192.168.0.101 主机名：dbp JDK：jdk-8u144-linux-x64.tar.gz Hadoop：hadoop-3.0.0-beta1.tar.gz 2.关闭防火墙并配置主机名 [root@dbp]#systemctl stop firewalld #临时关闭防火墙 [root@dbp]#systemctl disable firewalld #关闭防火墙开机自启动 [root@dbp]#hostnamectl set-hostname dbp 同时修改/etc/hosts和/etc/sysconfig/network配置信息 3.配置SSH无密码登陆 [root@dbp]# ssh-keygen -t rsa #直接回车 [root@dbp]# ll ~/.ssh [root@dbp .ssh]# cp id_rsa.pub authorized_keys [root@dbp .ssh]# ssh localhost #验证不需要输入密码即可登录
4.安装JDK 1、准备jdk到指定目录 2、解压 [root@dbp software]# tar–xzvf jdk-8u144-linux-x64.tar.gz [root@dbp software]# mv jdk1.8.0_144/usr/local/jdk #重命名4、设置环境变量 [root@dbp software]# vim ~/.bash_profile 5、使环境变量生效并验证 5.安装Hadoop3.0.0 1、准备hadoop到指定目录 2、解压
centos下hadoop2.6.0配置
Hadoop-2.6.0配置 前面的部分跟配置Hadoop-1.2.1的一样就可以，什么都不用变，完全参考文档1即可。下面的部分就按照下面的做就可以了。 hadoop-2.6.0的版本用张老师的。 下面的配置Hadoop hadoop-2.6.0的部分 1.修改hadoop- 2.6.0/etc/hadoop/hadoop-env.sh，添加JDK支持： export JAVA_HOME=/usr/java/jdk1.6.0_45 如果不知道你的JDK目录，使用命令echo $JAVA_HOME查看。 2.修改hadoop-2.6.0/etc/hadoop/core-site.xml 注意：必须加在
Centos7安装配置zabbix
Centos7安装配置zabbix 1 关闭firewall systemctl stop firewalld.service #停止firewall systemctl disable firewalld.service #禁止firewall开机启动 2 安装iptables防火墙 yum install iptables-services #安装 vi /etc/sysconfig/iptables #编辑防火墙配置文件 *filter :INPUT ACCEPT [0:0] :FORWARD ACCEPT [0:0] :OUTPUT ACCEPT [0:0] -A INPUT -m state --state ESTABLISHED,RELATED -j ACCEPT -A INPUT -p icmp -j ACCEPT -A INPUT -i lo -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 22 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 80 -j ACCEPT #追加这行-A INPUT -m state --state NEW -m tcp -p tcp --dport 3306 -j ACCEPT #追加这行 -A INPUT -j REJECT --reject-with icmp-host-prohibited -A FORWARD -j REJECT --reject-with icmp-host-prohibited COMMIT systemctl restart iptables.service #最后重启防火墙使配置生效 systemctl enable iptables.service #设置防火墙开机启动 3 关闭SELINUX vi /etc/selinux/config
(完整word版)hadoop安装教程
1、VMware安装 我们使用Vmware 14的版本，傻瓜式安装即可。（只要） 双击 如过 2.安装xshell 双击 3.安装镜像： 解压centos6.5-empty解压 双击打开CentOS6.5.vmx 如果打不开，在cmd窗口中输入：netsh winsock reset 然后重启电脑。 进入登录界面，点击other 用户名：root 密码：root 然后右键open in terminal 输入ifconfig 回车 查看ip地址
打开xshell
点击链接 如果有提示，则接受 输入用户名：root 输入密码：root 4.xshell连接虚拟机 打开虚拟机，通过ifconfig查看ip
5.安装jkd 1.解压Linux版本的JDK压缩包 mkdir：创建目录的命令 rm -rf 目录/文件删除目录命令 cd 目录进入指定目录 rz 可以上传本地文件到当前的linux目录中（也可以直接将安装包拖到xshell窗口） ls 可以查看当前目录中的所有文件 tar 解压压缩包（Tab键可以自动补齐文件名）
pwd 可以查看当前路径 文档编辑命令: vim 文件编辑命令 i:进入编辑状态 Esc（左上角）：退出编辑状态 :wq 保存并退出 :q! 不保存退出 mkdir /home/software #按习惯用户自己安装的软件存放到/home/software目录下 cd /home/software #进入刚刚创建的目录 rz 上传jdk tar包 #利用xshell的rz命令上传文件(如果rz命令不能用，先执行yum install lrzsz -y ，需要联网) tar -xvf jdk-7u51-linux-x64.tar.gz #解压压缩包 2.配置环境变量 1）vim /etc/profile 2）在尾行添加 #set java environment JAVA_HOME=/home/software/jdk1.8.0_65 JAVA_BIN=/home/software/jdk1.8.0_65/bin PATH=$JAVA_HOME/bin:$PATH CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export JAVA_HOME JAVA_BIN PATH CLASSPATH Esc 退出编辑状态 :wq #保存退出 注意JAVA_HOME要和自己系统中的jdk目录保持一致，如果是使用的rpm包安
hadoop2.6基于yarn安装配置详解
Hadoop2.6配置详解 在hadoop2.0中通常由两个NameNode组成，一个处于active状态，另一个处于standby状态。Active NameNode对外提供服务，而Standby NameNode则不对外提供服务，仅同步active namenode的状态，以便能够在它失败时快速进行切换。 这里还配置了一个zookeeper集群，用于ZKFC（DFSZKFailoverController）故障转移，当Active NameNode挂掉了，会自动切换Standby NameNode为standby状态hadoop-2.2.0中依然存在一个问题，就是ResourceManager只有一个，存在单点故障，hadoop-2.6解决了这个问题，有两个ResourceManager，一个是Active，一个是Standby，状态由zookeeper进行协调 hadoop2.0官方提供了两种HDFS HA的解决方案，一种是NFS，另一种是QJM（由cloudra提出，原理类似zookeeper）。这里我使用QJM完成。主备NameNode之间通过一组JournalNode同步元数据信息，一条数据只要成功写入多数JournalNode即认为写入成功。通常配置奇数个JournalNode 1安装前准备 1.1示例机器 192.168.0.10 hadoop1 192.168.0.20 hadoop2 192.168.0.30 hadoop3 192.168.0.40 hadoop4 每台机器都有一个hadoop用户，密码是hadoop 所有机器上安装jdk1.7。 在hadoop2，hadoop3，hadoop4上安装Zookeeper3.4集群。 1.2配置ip与hostname 用root用户修改每台机器的hosts
Zabbix安装配置手册- -
Zabbix 手册 目录 Ⅰ Zabbix简介 (1) 一、Zabbix介绍 (1) 二、Zabbix系统架构 (4) 1.Zabbix架构： (4) 2.Zabbix架构说明： (5) Ⅱ Zabbix安装 (8) 一、Zabbix安装 (8) 1、安装基础包 (8) 2、启动httpd、mysql (9) 3、配置防火墙 (9) 4、配置PHP参数 (9) 5、修改httpd 的FQDN 错误 (10) 6、下载zabbix-3.0.3tar.gz (10) 7、添加zabbix 用户和组 (11)
8、安装zabbix-server (11) 9、创建zabbix 数据库以及相关表 (11) 10、配置软连接和启动文件信息 (12) 11、修改/etc/init.d 目录下的zabbix_server 和zabbix_agentd 启动文件(配置 server和agent) (12) 12、通过web 站点配置zabbix (14) 二、Zabbix 监控机配置 (19) 1. 登录 (20) 2. 添加主机（Hosts） (21) 3. 创建模板 (27) 4.添加告警动作（Actions） (30) 5.添加告警方式（Medias） (30) 6.添加用户(Users) (32) Ⅲ Zabbix配置 (34) 一、Client端配置 (34) 二、zabbix_server.conf 配置文件详解 (35) 三、zabbix_agentd.conf 配置文件详解 (43)
ⅠZabbix简介 一、Zabbix介绍 Zabbix是一个分布式监控系统,支持多种采集方式和采集客户端,有专用的Agent(代理),也支持SNMP、IPMI、JMX、Telnet、SSH等多种协议,它将采集到的数据存放到数据库,然后对其进行分析整理,达到条件触发告警.其灵活的扩展性和丰富的功能是其他监控系统所不能比的。相对来说，它的总体功能做得非常优秀，其界面如图1-1、图1-2。 图1-1
hadoop安装简要过程和相关配置文件
Hadoop安装简要过程及配置文件 1、机器准备 ①、Linux版操作系统centos 6.x ②、修改主机名，方便配置过程中记忆。修改文件为： /etc/sysconfig/network 修改其中的HOSTNAME即可 ③、配置局域网内，主机名与对应ip，并且其中集群中所有的机器的文件相同，修改文件为 /etc/hosts 格式为： 10.1.20.241 namenode 10.1.20.242 datanode1 10.1.20.243 datanode2 2、环境准备 ①、配置ssh免密码登陆，将集群中master节点生成ssh密码文件。具体方法： 1）、ssh-keygen -t rsa 一直回车即可,将会生成一份 ~/.ssh/ 文件夹，其中id_rsa为私钥文件 id_rsa.pub公钥文件。 2）、将公钥文件追加到authorized_keys中然后再上传到其他slave节点上 追加文件： cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 上传文件： scp ~/.ssh/authorized_keys root@dananode:~/.ssh/ 3）、测试是否可以免密码登陆：ssh 主机名或局域网ip ②、配置JDK ③、创建hadoop用户 groupadd hadoop useradd hadoop -g hadoop 4)、同步时间 ntpdate https://www.360docs.net/doc/4d2319579.html, 5）、关闭防火墙 service iptables stop 3、安装cdh5 进入目录/data/tools/ (个人习惯的软件存储目录，你可以自己随便选择)； wget "https://www.360docs.net/doc/4d2319579.html,/cdh5/one-click-install/redhat/ 6/x86_64/cloudera-cdh-5-0.x86_64.rpm" yum --nogpgcheck localinstall cloudera-cdh-5-0.x86_64.rpm 添加cloudera仓库验证： rpm --importhttps://www.360docs.net/doc/4d2319579.html,/cdh5/redhat/6/x86_64/cdh/RPM-GPG-KEY-cloudera
zabbix安装笔记
二.zabbix 服务器的介绍 zabbix（音同z?bix）是一个基于WEB界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案。zabbix能监视各种网络参数，保证服务器系统的安全运营；并提供灵活的通知机制以让系统管理员快速定位/解决存在的各种问题。 zabbix监控服务器由2部分构成，zabbix server与可选组件zabbix agent。 zabbix server可以通过SNMP，zabbix agent，ping，端口监视等方法提供对远程服务器/网络状态的监视，数据收集等功能，它可以运行在Linux，Solaris，HP-UX，AIX，Free BSD，Open BSD，OS X等平台上。 二.基础环境介绍 1.系统：CentOS Linux release 7.1.1503 (Core) 2.编译环境：“Deveolpment Tools” 3.zabbix－Server：ip：192.168.1.125/24（centos7）agent： 192.168.1.128/24 （centos 6.5） 三.Zabbix Server端操作 1.安装zabbix－server 及所需的mysql组件、zabbix－agent [root@test ~]# rpm -ivh https://www.360docs.net/doc/4d2319579.html,/zabbix/3.0/rhel/7/x86_64/zabbix-release-3.0-1.el7.noarch.rpm [root@test ~]# yum install zabbix-server-mysql zabbix-web-mysql -y [root@test ~]# yum install zabbix-agent -y 2.由于centos 7 默认的数据库改由mariadb里，甲骨文公司收购了MySQL后，mysql之父便又写了这个数据库。此环境由于需要mysql ，所以下面将下载mysql 源，安装mysql。另外mysql安装完，root没有密码，可以直接登陆，后续如果需要修改密码可登陆数据库修改，或者运行 mysql_secure_installation 初始化工具 [root@test ~]# yum install wget -y [root@test ~]# wget https://www.360docs.net/doc/4d2319579.html,/get/mysql-community-release-el7-5.noarch.rpm [root@test ~]# rpm -ivh mysql-community-release-el7-5.noarch.rpm [root@test ~]# yum install mysql-community-server -y [root@test ~]# service mysqld start #或者 systemctl start mysqld.service [root@test ~]# mysql -uroot 创建zabbix 数据库，并授权zabbix用户，以及设置zabbix用户登陆密码为zabbix [root@test ~]# mysql -uroot mysql> create database zabbix character set utf8 collate utf8_bin; mysql> grant all privileges on zabbix.* to zabbix@localhost identified by 'zabbix'; mysql> quit; 进入zabbix数据库脚本导入的目录，将库数据导入zabbix数据库中。
Zabbix部署与安装
Zabbix3.2监控工具 Zabbix是一个基于WEB界面的提供的分布式系统监控以及网络监视功能的企业级的开源工具。 Zabbix能监视各种网络参数，保证服务器系统的安全运营，并提供灵活的通知机制让管理员迅速定位/解决存在的各种问题。 Zabbix由Zabbix_Server服务端和Zabbix_Agent客户端还有Zabbix_proxy代理三个部分组成。Zabbix_Server：可以通过SNMP，Zabbix_Agent，Ping，SNMP等方法提供对远程服务器/网络状态的监视。 Zabbix_Agent：是用来采集客户端服务器数据来交给Zabbix_Server处理。 Zabbix_Proxy：缓存同步Agent监控数据。 Zabbix的主要功能：CPU负荷，内存使用，磁盘使用，网络状况，端口监视，日志监视。Zabbix的监控架构： Zabbix部署步骤： 环境需求：必须LNMP/LAMP环境的支持，需要PHP5.4以上版本支持才可以。 # systemctl stop firewalld #关闭firewalld防火墙 # systemctl disable firewalld.service #禁止firewalld服务自启 # sed -i -e 's|SELINUX=enforcing|SELINUX=disabled|' /etc/selinux/config #关闭SELINUX # sed -i -e 's|SELINUXTYPE=targeted|#SELINUXTYPE=targeted|' /etc/selinux/config # setenforce 0 源码编译方式： ?安装相关依赖组件 # yum -y install php php-gd php-mysql php-bcmath php-mbstring php-xml curl curl-devel gcc gcc-c++ net-snmp net-snmp-devel perl-DBI httpd mariadb* #YUM部署LAMP环境
zabbix+apache+mysql安装部署
centos7 zabbix+apache+mysql安装部署 1、安装所需的软件包 yum install -y gcc php php-gd php-devel php-mysql php-bcmath php-ctytpe php-xml php -xmlreader php-xlmwriter php-session php-net-socket php-mbstring php-gettext httpd net-snmp curl curl-devel net-snmp net-snmp-devel perl-DBI mysql* 2 、创建用户 groupadd -g 201 zabbix useradd -g zabbix -u 201 -m zabbix 3、登录数据库，创建zabbix数据库，并授权zabbix用户从192.168.10.197主机登录mysql，使用的密码为123456 为了加强安全性，MySQL5.7为root用户随机生成了一个密码，在error log中，关于error log的位置，如果安装的是RPM包，则默认是/var/log/mysqld.log。 只有启动过一次mysql才可以查看临时密码 [root@linux-node2 ~]# mysql -uroot -p mysql>mysqladmin -u root -p oldpass password "Admin@123" ########修改密码##### mysql> use mysql; mysql>create database zabbix character set utf8; mysql>grant all privileges on zabbix.* to zabbix@'localhost' identified by '123456'; mysql> flush privileges; 4、下载安装zabbix wget https://www.360docs.net/doc/4d2319579.html,/unix/misc/zabbix-2.0.3.tar.gz # tar -zxvf zabbix-2.0.3.tar.gz #cd zabbix-2.203 导入数据库表 #cd zabbix-2.0.3/database/mysql #mysql -uroot -pmysqlzabbix 1.下载并安装安装ssh sudo apt-get install openssh-server openssh-client 3.搭建vsftpd #sudo apt-get update #sudo apt-get install vsftpd 配置参考的开始、关闭和重启 $sudo /etc/vsftpd start #开始 $sudo /etc/vsftpd stop #关闭 $sudo /etc/vsftpd restart #重启 4.安装 sudo chown -R hadoop:hadoop /opt cp /soft/ /opt sudo vi /etc/profile alias untar='tar -zxvf' sudo source /etc/profile source /etc/profile untar jdk* 环境变量配置 # vi /etc/profile ●在profile文件最后加上 # set java environment export JAVA_HOME=/opt/ export CLASSPATH=.:$JAVA_HOME/lib/:$JAVA_HOME/lib/ export PATH=$JAVA_HOME/bin:$PATH 配置完成后，保存退出。 ●不重启，更新命令 #source /etc/profile ●测试是否安装成功 # Java –version 其他问题： 出现unable to resolve host 解决方法 参考 开机时停在Starting sendmail 不动了的解决方案 参考安装软件时出现E: Unable to locate package vsftpd 参考vi/vim 使用方法讲解 参考分类: Hadoop Zabbix安装 安装步骤： 1、安装好apache、mysql、php、snmp组件 apache ：yum install httpd httpd-manual -y mysql : yum install mysql-server php-mysql mysql-devel -y php : yum install php php-bcmatch php-gd php-bcmath php-mbstring –y snmp : yum install net-snmp net-snmp-utils net-snmp-devel -y 其它组件： curl : yum install curl curl-devel -y gcc : yum install gcc libgcc -y make : yum install make –y lrzsz: yum install -y lrzsz libxml: yum install –y libxml* yum install -y php-xml* #yum install -y ntp #yum install -y ntpdate #cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime #service ntpd stop #ntpdate https://www.360docs.net/doc/4d2319579.html, #date 下载zabbix的最新版本zabbix-2.2.3.tar.gz 通过lrzsz工具上传到服务器中，SZ上传。 复制到/home目录下 tar -zxvf zabbix-2.2.3.tar.gz 解压后进入目录,运行配置： ./configure --prefix=/usr/local/zabbix --enable-server --enable-agent \ --with-mysql --with-net-snmp --with-libcurl make make install 为了安全，zabbix是通过用户zabbix来执行的，所以，要新建zabbix用户 groupadd zabbix useradd zabbix -g zabbix 启动mysql service mysqld start 进入下载的zabbix目录，新建zabbix的数据库：Hadoop详细安装配置过程
zabbix安装整理(修改)