hadoop 2.6.0详细安装过程和实例(有截图)
Hadoop 环境搭建
时间：2015-07-26
作者：周乐相
环境搭建之前准备工作
我的笔记本配置：
硬盘：500G (实际上用不完)
CPU： Intel(R) Core(TM) i5-2450M CPU @ 2.50GHz
内存：10G
操作系统：WIN7 (64位)
软件准备
1). 虚拟机软件：vmwareworkstation64.exe ( VMware work station 64 bit V 11.0)
2). Linux 版本： Red Hat Enterprise Linux Server release 6.5 (Santiago) （rhel-server-6.5-x86_64-dvd.iso）
3). hadoop 版本： hadoop-2.6.0.tar.gz
4). JAVA 版本：java version "1.6.0_32" （jdk-6u32-linux-x64.bin）
安装VMware 软件
傻瓜操作下一步。。。。。。
安装Linux操作系统
傻瓜操作下一步。。。。。
安装完成。
1). 创建hadoop操作系统安装hadoop的用户第一台操作系统命主机名为: master
2) 拷贝该虚拟机master 分别为node01 、node02 两个节点数
3) 分别对拷贝的node01 、node02 修改IP和主机名称
主机名: IP
master : 192.168.2.50
node01: 192.168.2.51
node02: 192.168.2.52
jdk安装
并设置好环境变量
## 设置JAVA_HOME环境变量
配置ssh 免密码通信三台服务器SSH关系
上面这个图可以表达这三台服务器之间的关系。
对master主节点SSH配置
执行: ssh-keygen –t dsa 回车一直回车下去会在$HOME/.ssh目录生成id_dsa 和id_dsa.pub两个文件
将id_dsa.pub文件放到authorized_keys文件，注意需要修改权限chmod 600 authorized_keys
依次将node01、node02两台的密码追加到authorized_keys 文件里面对node01节点SSH配置
这样master与node01就可以正常的互通无需密码
对node02节点SSH配置
这样master与node02就可以正常的互通无需密码Hadoop安装配置
修改配置文件
用红线框起来的都需要修改配置
修改:mapred-site.xml
修改:hadoop-env.sh
修改:yarn-env.sh
创建空文件夹
节点数据拷贝
对节点node01、node02数据文件拷备
在master节点格式化
Hadoop启动&停止Hadoop启动
后台查看
前台查看
Hadoop停止
Hadoop应用
实例：WordCount 执行前
执行之后
后台查看
前台浏览器查看
MPI安装与运行报告
MPI 安装于运行报告 本机运行环境： 机器型号：联想G450 处理器：Pentium（R）Dual-Core CPU T4200 @ 2.00GHz 运行内存 （RAM）：2GB 操作系统：Windows 7（32 位） 程序开发环境：Visual Studio 2008 MPI 版本： mpich2-1.3.2p1-win-ia32 安装程序 详细安装步骤： 1、运行mpich2-1.3.2p1-win-ia32.msi。 安装过程中，会要求设置一个passphrase我的机器上默认的passphrase是beHappy,很有意思的密码。设置这个东西很重要，一定要记住；下面会说到为什么。 2、安装完之后,不知道下一步怎么进行了。打开刚才安装的MPICH2 的快捷方式目录，发现了一个README文件。打开之后，发现了MPICH2的使用方法介绍,于是按照其中的指示,我进行了第一个MPI 并行程序的编写。 我使用的是VC++2008首先创建一个新的工程，取名为MPITes。 添加MPI 库的支持： 按照README中的指导，应该首先将MPI的头文件目录包含到项目中去。结果在项目属性中找了半天，也没有找到添加头文件目录的位置，只找到了包含库文件的位置，我安装MPICH2的目录为D:\Program Files\MPICH2将MPICH2的库文件添加到如下面图1所示的位置即可。 最后才反应过来，这个工程还是空的，没有任何文件，可能跟这个有关系吧。 于是，马上新建了一个Cpp文件main.cpp，将老师PPT中的例子程序拷贝进去。
图1 果然，新建了这个cpp文件之后，项目属性中多出了C/C++这样一项, 于是，就可以在其中设置包含文件的目录了，相应的配置如下面图2所示 图2 设置好这些文件之后，编译程序，结果在连接的时候报错，类似于 main.obj : error LNK2019:无法解析的外部符号_MPI_Finalize,该符号在函数_main中被引用”这样的错误出现了六个。再看READM文档，发现了这样? 句话：
LVS keepalived负载均衡高可用 配置安装大全
LVS+Keepalived实现高可用集群 一、基础介绍 (2) 二、搭建配置LVS-NA T模式 (2) 三、搭建配置LVS-DR模式 (4) 四、另外一种脚本方式实现上面LVS-DR模式 (6) 五、keepalived + LVS(DR模式) 高可用 (8) 六、Keepalived 配置文件详细介绍 (11)
一、基础介绍 (一)根据业务目标分成三类： High Availability 高可用 Load Balancing 负载均衡 High Performance 高性能 (二)实现集群产品： HA类： rhcs、heartbeat、keepalived LB类： haproxy、lvs、nginx、f5、piranha HPC类： https://www.360docs.net/doc/9c17626198.html,/index/downfile/infor_id/42 (三)LVS 负载均衡有三种模式： LVS-DR模式（direct router）直接路由模式 进必须经过分发器，出就直接出 LVS-NAT模式（network address translation） 进出必须都经过分发器 LVS-TUN模式（ip tunneling）IP隧道模式 服务器可以放到全国各地 二、搭建配置LVS-NAT模式 1 、服务器IP规划： DR服务器添加一张网卡eth1，一个网卡做DIP，一个网口做VIP。 设置DIP、VIP IP地址: DIP的eth1和所有RIP相连同一个网段 CIP和DIP的eth0(Vip)相连同一个网段 Vip eth0 192.168.50.200 Dip eth1 192.168.58.4 客户机IP： Cip 192.168.50.3
hadoop2.7.2 伪分布式安装
hadoop：建立一个单节点集群伪分布式操作 安装路径为：/opt/hadoop-2.7.2.tar.gz 解压hadoop: tar -zxvf hadoop-2.7.2.tar.gz 配置文件 1. etc/hadoop/hadoop-env.sh export JAVA_HOME=/opt/jdk1.8 2. etc/hadoop/core-site.xml
hadoop集群完整配置过程详细笔记
本文为笔者安装配置过程中详细记录的笔记 1．下载hadoop hadoop-2.7.1.tar.gz hadoop-2.7.1-src.tar.gz 64位linux需要重新编译本地库 2．准备环境 Centos6.4 64位，3台 hadoop0 192.168.1.151namenode hadoop1 192.168.1.152 datanode1 Hadoop2 192.168.1.153 datanode2 1）安装虚拟机： vmware WorkStation 10，创建三台虚拟机，创建时，直接建立用户ha,密码111111.同时为root密码。网卡使用桥接方式。 安装盘 、 2). 配置IP.创建完成后，设置IP,可以直接进入桌面，在如下菜单下配置IP,配置好后，PING 确认好用。 3)更改三台机器主机名 切换到root用户，更改主机名。 [ha@hadoop0 ~]$ su - root Password: [root@hadoop0 ~]# hostname hadoop0 [root@hadoop0 ~]# vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=hadoop0 以上两步后重启服务器。三台机器都需要修改。 4）创建hadoop用户 由于在创建虚拟机时，已自动创建，可以省略。否则用命令创建。
5）修改hosts文件 [root@hadoop0 ~]# vi /etc/hosts 127.0.0.1 localhostlocalhost.localdomain localhost4 localhost4.localdomain4 ::1localhostlocalhost.localdomain localhost6 localhost6.localdomain6 192.168.1.151 hadoop0 192.168.1.152 hadoop1 192.168.1.153 hadoop2 此步骤需要三台机器都修改。 3．建立三台机器间，无密码SSH登录。 1）三台机器生成密钥，使用hadoop用户操作 [root@hadoop0 ~]# su– ha [ha@hadoop0 ~]$ ssh -keygen -t rsa 所有选项直接回车，完成。 以上步骤三台机器上都做。 2）在namenode机器上，导入公钥到本机认证文件 [ha@hadoop0 ~]$ cat ~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys 3）将hadoop1和hadoop2打开/home/ha/.ssh/ id_rsa.pub文件中的内容都拷贝到hadoop0的/home/ha /.ssh/authorized_keys文件中。如下： 4）将namenode上的/home/ha /.ssh/authorized_keys文件拷贝到hadoop1和hadoop2的/home/ha/.ssh文件夹下。同时在三台机器上将authorized_keys授予600权限。 [ha@hadoop1 .ssh]$ chmod 600 authorized_keys 5）验证任意两台机器是否可以无密码登录，如下状态说明成功，第一次访问时需要输入密码。此后即不再需要。 [ha@hadoop0 ~]$ ssh hadoop1 Last login: Tue Aug 11 00:58:10 2015 from hadoop2 4．安装JDK1.7 1）下载JDK（32或64位），解压 [ha@hadoop0 tools]$ tar -zxvf jdk-7u67-linux-x64.tar.gz 2）设置环境变量（修改/etx/profile文件）， export JAVA_HOME=/usr/jdk1.7.0_67 export CLASSPATH=:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin 3）使环境变量生效，然后验证JDK是否安装成功。
MPICH2在Windows环境下Visual_Studio_2010的环境搭建
MPICH2在Windows系统Visual Studio 2010的环境搭建 本机运行环境： 机器型号：联想G450 处理器：Pentium（R）Dual-Core CPU T4200 @ 2.00GHz 运行内存（RAM）：2GB 操作系统：Windows 7(32位) 程序开发环境：Visual Studio 2008 MPI版本： mpich2-1.3.2p1-win-ia32安装程序 MPI的编译和运行 对于简单的程序，可以使用专门的编译命令。对于大的项目，最好使用标准的Makefile。MPICH提供的编译命令有mpicc和mpif77，它们分别是C和Fortran的编译命令: mpicc -o first first.c mpif77 -o first firstf.f 对于编译得到的目标程序，运行的命令为： mpirun –arch xxx –np yyy first 其中xxx为machines.
hadoop伪分布式搭建2.0
1. virtualbox安装 1. 1. 安装步骤 1. 2. virtualbox安装出错情况 1. 2.1. 安装时直接报发生严重错误 1. 2.2. 安装好后，打开Vitualbox报创建COM对象失败，错误情况1 1. 2.3. 安装好后，打开Vitualbox报创建COM对象失败，错误情况2 1. 2.4. 安装将要成功，进度条回滚，报“setup wizard ended prematurely”错误 2. 新建虚拟机 2. 1. 创建虚拟机出错情况 2. 1.1. 配制好虚拟光盘后不能点击OK按钮 3. 安装Ubuntu系统 3. 1. 安装Ubuntu出错情况 3. 1.1. 提示VT-x/AMD-V硬件加速在系统中不可用 4. 安装增强功能 4. 1. 安装增强功能出错情况 4. 1.1. 报未能加载虚拟光盘错误 5. 复制文件到虚拟机 5. 1. 复制出错情况 5. 1.1. 不能把文件从本地拖到虚拟机 6. 配置无秘登录ssh 7. Java环境安装 7. 1. 安装Java出错情况 7. 1.1. 提示不能连接 8. hadoop安装 8. 1. 安装hadoop的时候出错情况 8. 1.1. DataNode进程没启动 9. 开机自启动hadoop 10. 关闭服务器（需要时才关） 1. virtualbox安装 1. 1. 安装步骤 1.选择hadoop安装软件中的VirtualBox-6.0.8-130520-Win
2.双击后进入安装界面，然后直接点击下一步 3.如果不想把VirtualBox安装在C盘，那么点击浏览
实验3安装MPICH
实验3 安装MPICH 准备知识（自学） 一、Linux命令及脚本文件 目的与要求：使学生掌握Linux基本命令的使用；学会编写简单的脚本文件。 主要内容及提示： 1．Linux基本命令 1.1帮助 所有的Linux命令及C，MPI函数的使用说明都可以通过联机帮助获得。 man 〈命令|C语言函数名|MPI函数名〉 〈命令名〉—help 1.2 文件、目录、磁盘操作命令 ls 查看目录中的内容，常用的参数有–al pwd 显示当前工作目录 cd 改变当前工作目录，（.表示当前目录；..表示父目录；~表示当前用户的主目录） mkdir 建立子目录 cp 复制文件或子目录，可用参数 -R cat 显示文件内容 more 分屏输出（回车：上滚一行；空格：上滚一屏；q：退出） less 分屏输出（q键退出、还可以使用光标上下移动键） chmod 改变文件或目录的读(r)写(w)执行(x)属性（三组rwx中，第一组rwx 为该文件主的权限、第二组rwx为同一用户组中其他用户的权限、第三组rwx为其他用户的权限。例如：chmod 765 <文件名>，则文件的读写执行权限为rwxrw-r-x，即7=111B，6=110B，5=101B，这里B表示二进制） ln 建立文件链接，常用参数-s（相当于Windows中的“快捷方式”） rm 删除文件，删除子目录（需要参数-r） mv 移动文件（目标文件若存在，则会被覆盖） gzip gz文件的压缩/解压缩，常用参数-d(解压缩)，-9（最大压缩） tar tar，tgz文件的打包/解包，常用参数-cvf（打包成tar文件），-xvf （解tar文件包），-zcvf（打包并压缩成tgz文件），-zxvf(解tgz文件) df 显示硬盘各分区的使用情况 mount 装载文件系统 umount 卸载文件系统 1.3 m命令集——DOS/Windows格式软盘的使用 mdir或mdir a: 显示软盘当前目录内容 mcopy Linux操作系统中的文件与DOS/Windos格式软盘之间复制文件 mtype 显示软盘中指定文件的内容 mren 更改软盘中指定文件的文件名 mdel 删除软盘中指定文件 mcd 改变软盘的当前目录 mmd 在软盘上建立子目录
通过LVS+Keepalived搭建高可用的负载均衡集群系统
1、安装LVS软件 （1）安装前准备 操作系统：统一采用Centos5.3版本，地址规划如下： 更详细的信息如下图所示： 图中的VIP指的是虚拟IP地址，还可以叫做LVS集群的服务IP，在DR、TUN模式中，数据包是直接返回给用户的，所以，在Director Server上以及集群的每个节点上都需要设置这个地址。此IP在Real Server上一般绑定在回环地址上，例如lo:0，同样，在Director Server 上，虚拟IP绑定在真实的网络接口设备上，例如eth0:0。 各个Real Server可以是在同一个网段内，也可以是相互独立的网段，还可以是分布在internet上的多个服务器.
（2）安装操作系统需要注意的事项 Centos5.3版本的Linux，内核默认支持LVS功能，为了方便编译安装IPVS管理软件，在安装操作系统时，建议选择如下这些安装包：l 桌面环境：xwindows system、GNOME desktop environment。 l 开发工具：development tools、x software development、gnome software、development、kde software development。 系统安装完毕，可以通过如下命令检查kernel是否已经支持LVS的ipvs模块： [root@localhost ~]#modprobe -l |grep ipvs /lib/modules/2.6.18-194.11.1.el5/kernel/net/ipv4/ipvs/ip_vs.ko /lib/modules/2.6.18-194.11.1.el5/kernel/net/ipv4/ipvs/ip_vs_dh.ko 如果有类似上面的输出，表明系统内核已经默认支持了IPVS模块。接着就可以安装IPVS管理软件了。
hadoop3安装和配置
hadoop3.0.0安装和配置1.安装环境 硬件：虚拟机 操作系统：Centos 7 64位 IP：192.168.0.101 主机名：dbp JDK：jdk-8u144-linux-x64.tar.gz Hadoop：hadoop-3.0.0-beta1.tar.gz 2.关闭防火墙并配置主机名 [root@dbp]#systemctl stop firewalld #临时关闭防火墙 [root@dbp]#systemctl disable firewalld #关闭防火墙开机自启动 [root@dbp]#hostnamectl set-hostname dbp 同时修改/etc/hosts和/etc/sysconfig/network配置信息 3.配置SSH无密码登陆 [root@dbp]# ssh-keygen -t rsa #直接回车 [root@dbp]# ll ~/.ssh [root@dbp .ssh]# cp id_rsa.pub authorized_keys [root@dbp .ssh]# ssh localhost #验证不需要输入密码即可登录
4.安装JDK 1、准备jdk到指定目录 2、解压 [root@dbp software]# tar–xzvf jdk-8u144-linux-x64.tar.gz [root@dbp software]# mv jdk1.8.0_144/usr/local/jdk #重命名4、设置环境变量 [root@dbp software]# vim ~/.bash_profile 5、使环境变量生效并验证 5.安装Hadoop3.0.0 1、准备hadoop到指定目录 2、解压
linux lvs 配置
Linux负载均衡 一、LVS概述及原理 LVS是一个开源的软件，由毕业于国防科技大学的章文嵩博士于1998年5月创立，可以实现LINUX平台下的简单负载均衡。LVS是Linux Virtual Server的缩写，意思是Linux虚拟服务器。 LVS集群采用IP负载均衡技术和基于内容请求分发技术。调度器具有很好的吞吐率，将请求均衡地转移到不同的服务器上执行，且调度器自动屏蔽掉服务器的故障，从而将一组服务器构成一个高性能的、高可用的虚拟服务器。整个服务器集群的结构对客户是透明的，而且无需修改客户端和服务器端的程序。为此，在设计时需要考虑系统的透明性、可伸缩性、高可用性和易管理性。一般来说，LVS集群采用三层结构，其主要组成部分为： 1) 负载调度器（load balancer），它是整个集群对外面的前端机，负责将客户的请求发送到一组服务器上执行，而客户认为服务是来自一个IP地址（我们可称之为虚拟IP地址）上的。 2) 服务器池（server pool），是一组真正执行客户请求的服务器，执行的服务有WEB、MAIL、FTP和DNS等。 3) 共享存储（shared storage），它为服务器池提供一个共享的存储区，这样很容易使得服务器池拥有相同的内容，提供相同的服务。 调度器是服务器集群系统的唯一入口点（Single Entry Point），它可以采用IP 负载均衡技术、基于内容请求分发技术或者两者相结合。在IP负载均衡技术中，需要服务器池拥有相同的内容提供相同的服务。当客户请求到达时，调度器只根据服务器负载情况和设定的调度算法从服务器池中选出一个服务器，将该请求转发到选出的服务器，并记录这个调度；当这个请求的其他报文到达，也会被转发到前面选出的服务器。在基于内容请求分发技术中，服务器可以提供不同的服务，当客户请求到达时，调度器可根据请求的内容选择服务器执行请求。因为所有的操作都是在Linux操作系统核心空间中将完成的，它的调度开销很小，所以它具有很高的吞吐率。服务器池的结点数目是可变的。当整个系统收到的负载超过目前所有结点的处理能力时，可以在服务器池中增加服务器来满足不断增长的请求负载。对大多数网络服务来说，请求间不存在很强的相关性，请求可以在不同的结点上并行执行，所以整个系统的性能基本上可以随着服务器池的结点数目增加而线性增长。共享存储通常是数据库、网络文件系统或者分布式文件系统。服务器结点需要动态更新的数据一般存储在数据库系统中，同时数据库会保证并发访问时数据的一致性。静态的数据可以存储在网络文件系统（如NFS/CIFS）中，但网络文件系统的伸缩能力有限，一般来说，NFS/CIFS服务器只能支持3~6个繁忙的服务器结点。对于规模较大的集群系统，可以考虑用分布式文件系统，如AFS、GFS、Coda和Intermezzo等。分布式文件系统可为各服务器提供共享的存储区，它们访问分布式文件系统就像访问本地文件系统一样，同时分布式文件系统可提供良好的伸缩性和可用性。此外，当不同服务器上的应用程序同时读写访问分布式文件系统上同一资源时，应用程序的访问冲突需要消解才能使得资源处于一致状态。这需要一个分布式锁管理器（Distributed Lock Manager），它可能是分布式文件系统内部提供的，也可能是外部的。开发者在写应用程序时，可以使用分
在windows下安装hadoop
在windows下通过安装cygwin模拟linux环境，然后再安装hadoop，是一种简单方便的方式。 首先是搭建cygwin环境： 一、安装cygwin 二、安装sshd服务 三、启动sshd服务 四、配置ssh无密码登录 一、此处无话可说，按照网上的文档，选择必要的组件即可。 二、 1 以管理员身份运行cygwin 2 输入：ssh-host-config 有关键的两步：*** Query: Do you want to use a different name? (yes/no)选择yes *** Query: Create new privileged user account 'cyg_server'? (yes/no) 选择yes 创建的用户名最好为新的用户名，密码最好与windows用户的密码一致 三、在开始菜单运ervices.msc或其他手段进入服务列表，找到cygwin sshd服务，查看属性是否为上一步的用户名登陆的，否则更改之。此时可能不能启动，需要在计算机右击“管理”，用户和组的管理中将上面的用户加入管理员的组，即授予管理员权限。 四、此时使用ssh服务，即输入：ssh localhost会要求输入密码，若显示为“last login:......”则说明已经正确安装ssh服务并且可以启动。 接下来是配置ssh的无密码登陆： 1输入：ssh-keygen （一直回车，一般是三次回车） 2 输入：cd ~/.ssh 3 输入：cp id_rsa.pub authorized_keys 此时输入exit退出cygwin，再次以管理员身份进入cygwin，输入ssh localhost，若没有要求输入密码便显示“last login.....”则说明成功了。 接下来是安装Hadoop： 一、安装JDK 二、下载hadoop及配置hadoop环境 三、格式化namenode 四、启动hadoop
(完整word版)hadoop安装教程
1、VMware安装 我们使用Vmware 14的版本，傻瓜式安装即可。（只要） 双击 如过 2.安装xshell 双击 3.安装镜像： 解压centos6.5-empty解压 双击打开CentOS6.5.vmx 如果打不开，在cmd窗口中输入：netsh winsock reset 然后重启电脑。 进入登录界面，点击other 用户名：root 密码：root 然后右键open in terminal 输入ifconfig 回车 查看ip地址
打开xshell
点击链接 如果有提示，则接受 输入用户名：root 输入密码：root 4.xshell连接虚拟机 打开虚拟机，通过ifconfig查看ip
5.安装jkd 1.解压Linux版本的JDK压缩包 mkdir：创建目录的命令 rm -rf 目录/文件删除目录命令 cd 目录进入指定目录 rz 可以上传本地文件到当前的linux目录中（也可以直接将安装包拖到xshell窗口） ls 可以查看当前目录中的所有文件 tar 解压压缩包（Tab键可以自动补齐文件名）
pwd 可以查看当前路径 文档编辑命令: vim 文件编辑命令 i:进入编辑状态 Esc（左上角）：退出编辑状态 :wq 保存并退出 :q! 不保存退出 mkdir /home/software #按习惯用户自己安装的软件存放到/home/software目录下 cd /home/software #进入刚刚创建的目录 rz 上传jdk tar包 #利用xshell的rz命令上传文件(如果rz命令不能用，先执行yum install lrzsz -y ，需要联网) tar -xvf jdk-7u51-linux-x64.tar.gz #解压压缩包 2.配置环境变量 1）vim /etc/profile 2）在尾行添加 #set java environment JAVA_HOME=/home/software/jdk1.8.0_65 JAVA_BIN=/home/software/jdk1.8.0_65/bin PATH=$JAVA_HOME/bin:$PATH CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export JAVA_HOME JAVA_BIN PATH CLASSPATH Esc 退出编辑状态 :wq #保存退出 注意JAVA_HOME要和自己系统中的jdk目录保持一致，如果是使用的rpm包安
Win7 64bit系统mpich2并行平台的搭建
Windows7系统下搭建MPI环境 本人想做一个小的机群,做并行计算,搜罗了一些网上的资料,在单机上建了个并行平台,一些小例子都没问题,但是我的计算程序还是没有成功! 我的电脑是Win7 ,64位系统。按照网上所说64位系统应该装64位的mpich2，但是没有找到资源，就装了32位的。程序设计软件是vc++6! 下面讲一下我的安装过程，希望对大家有用！！！ 第一项：准备工作 1 安装MPI的SDK——MPICH2 mpich2-1.4.1p1-win-ia32安装程序的下载地址： https://www.360docs.net/doc/9c17626198.html,/research/projects/mpich2/downloads/tarballs/ 1.4.1p1/mpich2-1.4.1p1-win-ia32.msi 注意：网上很多人都说要以管理员身份进行安装，究竟怎样以管理员身份安装呢？这一点浪费了我好长时间，其实也不是很难，只是没有意识到！ 点击“开始”——输入cmd（就会看见cmd.exe）——右键——以管理员身份运行——（输入要安装的文件）"msiexec /i e:\mpi\mpich2-1.4.1p1-win-ia32.msi"回车即可，然后按照提示下一步直至安装成功。其中e:\mpi\mpich2-1.4.1p1-win-ia32.msi是指源文件所在位置。（注意空格） 安装成功后会有如下几个文件生成 注意在bin文件中一定要有下面两个应用程序，否则未安装成功。
2 新建用户密码 安装成功后要测试一下，测试前要先注册一个用户（这个用户名须为有效的操作系统管理员账户，密码对应为系统登录密码。这个地方也煞费苦心啊，一定要注意！！！） 开始——控制面板——用户账户和家庭安全——添加或删除用户账户——创建一个新账户（在下面可以看到）——输入用户名（选择用户类型为“管理员”）——创建用户 然后再创建密码就ok啦！如下图所示 这个用户名和密码就是我们测试时需要用的。 3 注册 开始——所有程序——mpich2——wmpiregister 如下图，这个就是刚才注册的用户和密码。输入后点击Register——OK。就会出现一行字，成功注册。
高可用Lvs集群搭建和测试报告
高可用Lvs集群搭建和测试报告 Lvs（Linux Virtual Server）是Linux下的负载均衡器，支持LVS-NA T、 LVS-DR、LVS-TUNL三种不同的方式，NA T用的不是很多，主要用的是DR、TUNL方式。DR方式适合所有的RealServer在同一网段下，即接在同一个交换机上。TUNL方式不限制RealServer 的位置，完全可以跨地域、空间，只要系统支持Tunnel就可以。 运行Lvs的前端调度器，目前只能为Linux，针对FreeBSD刚刚出来，性能不是很好。可以针对Web、MySQL、Ftp等服务做load balances。后端的RealServer则可以为各类系统，Linux、Solaris、Aix、BSD、Windows都可。 下面主要针对DR方式下的Web、MySQL负载均衡，以及Lvs + HA做功能性的验证和性能方面的测试。 1.集群系统拓扑
2.环境搭建说明 1.前端Load Balancer、Backup为虚拟机Linux系统，后端两台Real Server为纯Linux系 统。 2.192.168.6.229为前端负载均衡调度器，虚拟IP为192.168.6.111，安装并配置了ipvsadm （负载均衡）、ldirectord（健康监控）服务。 3.192.168.6.230为调度器的备份，采用heartbeat实现。 4.192.168.6.240、192.168.6.241为两台提供服务的真实Server。 3.功能性验证 首先在Load Balancer上安装ipvsadm、ldirectord、heartbeat服务，备机上也相同，可以用YUM进行安装，安装完成后需要将ha.cf、haresources、authkeys、ldirectord.cf文件拷贝到/etc/ha.d/ 目录下。 3.1. 验证Apache负载均衡。 3.1.1.配置 1.配置Load Balancer的ipvsadm，脚本内容如下：
hadoop安装简要过程和相关配置文件
Hadoop安装简要过程及配置文件 1、机器准备 ①、Linux版操作系统centos 6.x ②、修改主机名，方便配置过程中记忆。修改文件为： /etc/sysconfig/network 修改其中的HOSTNAME即可 ③、配置局域网内，主机名与对应ip，并且其中集群中所有的机器的文件相同，修改文件为 /etc/hosts 格式为： 10.1.20.241 namenode 10.1.20.242 datanode1 10.1.20.243 datanode2 2、环境准备 ①、配置ssh免密码登陆，将集群中master节点生成ssh密码文件。具体方法： 1）、ssh-keygen -t rsa 一直回车即可,将会生成一份 ~/.ssh/ 文件夹，其中id_rsa为私钥文件 id_rsa.pub公钥文件。 2）、将公钥文件追加到authorized_keys中然后再上传到其他slave节点上 追加文件： cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 上传文件： scp ~/.ssh/authorized_keys root@dananode:~/.ssh/ 3）、测试是否可以免密码登陆：ssh 主机名或局域网ip ②、配置JDK ③、创建hadoop用户 groupadd hadoop useradd hadoop -g hadoop 4)、同步时间 ntpdate https://www.360docs.net/doc/9c17626198.html, 5）、关闭防火墙 service iptables stop 3、安装cdh5 进入目录/data/tools/ (个人习惯的软件存储目录，你可以自己随便选择)； wget "https://www.360docs.net/doc/9c17626198.html,/cdh5/one-click-install/redhat/ 6/x86_64/cloudera-cdh-5-0.x86_64.rpm" yum --nogpgcheck localinstall cloudera-cdh-5-0.x86_64.rpm 添加cloudera仓库验证： rpm --importhttps://www.360docs.net/doc/9c17626198.html,/cdh5/redhat/6/x86_64/cdh/RPM-GPG-KEY-cloudera
MPICH 的安装使用和MPI原理分析
MPICH 的安装使用和MPI原理分析MPICH的安装和使用 运行mpich2-1.3.2p1-win-ia32.msi，填写passphrase，默认为behappy，选择默认路径安装。 运行wmpiregister, 注册当前的管理员用户。 使用建立和编译MPI程序：新建一个项目，设置项目属性，将MPICH2\lib 目录添加到C++连接的library path内，将MPICH2\include 目录添加到C++链接的Include Path内，在程序属性的链接器->命令行中添加mpi.lib，编译和生成程序。 将结果exe程序拷贝到MPICH2\bin 目录下，运行mpiexec程序，在Application内添加要我们运行的exe程序。选择进程数目，然后Execute，就会显示多个进程的执行情况。 MPICH程序原理 MPI过程就好像一个几步的过程调用，通过初始化，设置进程数，运行进程，进程间发送和接受消息，结束这些步骤来完成。 每个步骤都有基本函数相对应。 MPI_Init (*argc,*argv);//初始化MPI环境 MPI_Comm_size (comm,*size) ;//返回同组内进程数 MPI_Comm_rank (comm,*rank) ;//返回该进程在组内的进程号，从0开始 MPI_Send(buf,count,datatype,dest,tag,comm); //向目标进程发送buf内的count个datatype数据 MPI_Recv(buf,count,datatype,source,comm,status);//接收消息 MPI_Finalize ();//结束 MPIπ的计算程序说明 #include "mpi.h" #include
LVS+Keepalived部署全解
安装与配置 两台负载均衡器： Lvs1:192.168.1.10 Lvs2:192.168.1.11 漂移地址(虚拟IP，VIP)： Vip：192.168.1.169 Real Server： RS1：192.168.1.102 RS2：192.168.1.103 LVS配置及ipvsadm和keepalived的安装 在lvs master和lvs backup主机上安装。 1．首先安装一些辅助package如下： e2fsprogs-devel-1.41.12-18.el6.x86_64.rpm kernel-devel-2.6.32-642.el6.x86_64.rpm keyutils-libs-devel-1.4-4.el6.x86_64.rpm krb5-devel-1.10.3-10.el6_4.6.x86_64.rpm libcom_err-devel-1.41.12-18.el6.x86_64.rpm libnl-1.1.4-2.el6.x86_64.rpm libnl-devel-1.1.4-2.el6.x86_64.rpm libselinux-devel-2.0.94-5.3.el6_4.1.x86_64.rpm libsepol-devel-2.0.41-4.el6.x86_64.rpm zlib-devel-1.2.3-29.el6.x86_64.rpm openssl-devel-1.0.1e-15.el6.x86_64.rpm pkgconfig-0.23-9.1.el6.x86_64.rpm popt-devel-1.13-7.el6.x86_64.rpm popt-static-1.13-7.el6.i686.rpm 安装时可能出现缺少什么package，去iso中找或者网上下载然后安装就可以了 rpm –ivh XXXXXXXX.rpm 2．然后安装ipvsadm 将ipvsadm-1.26.tar.gz压缩文件复制到/usr/local/src/lvs/文件夹下，然后运行tar zxvf ipvsadm-1.26.tar.gz 命令。创建软连接ln –s /usr/src/kernels/2.6.32-431.el6.x86_64/ /usr/src/linux，然后进去ipvsadm-1.26文件夹cd ipvsadm-1.26，make && make install。 #find / -name ipvsdam 查找的安装位置 检查ipvsadm是否安装成功，可直接输入#ipvsadm IP Virtual Server version 1.2.1 (size=4096) Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port Forward Weight ActiveConn InActConn 检查模块是否加入内核#lsmod| grep ip_vs ip_vs 78081 0
Hadoop入门—Linux下伪分布式计算的安装与wordcount的实例展示
开始研究一下开源项目hadoop，因为根据本人和业界的一些分析，海量数据的分布式并行处理是趋势，咱不能太落后，虽然开始有点晚，呵呵。首先就是安装和一个入门的小实例的讲解，这个恐怕是我们搞软件开发的，最常见也最有效率地入门一个新鲜玩意的方式了，废话不多说开始吧。 本人是在ubuntu下进行实验的，java和ssh安装就不在这里讲了，这两个是必须要安装的，好了我们进入主题安装hadoop： 1.下载hadoop-0.20.1.tar.gz： https://www.360docs.net/doc/9c17626198.html,/dyn/closer.cgi/hadoop/common/ 解压：$ tar –zvxf hadoop-0.20.1.tar.gz 把Hadoop 的安装路径添加到环/etc/profile 中: export HADOOP_HOME=/home/hexianghui/hadoop-0.20.1 export PATH=$HADOOP_HOME/bin:$PATH 2.配置hadoop hadoop 的主要配置都在hadoop-0.20.1/conf 下。 (1)在conf/hadoop-env.sh 中配置Java 环境(namenode 与datanode 的配置相同)： $ gedit hadoop-env.sh $ export JAVA_HOME=/home/hexianghui/jdk1.6.0_14 3.3)配置conf/core-site.xml, conf/hdfs-site.xml 及conf/mapred-site.xml(简单配置，datanode 的配置相同) core-site.xml:
MPICH在windows下搭建集群系统
一、首先自己的计算机上进行测试 1、命令行方式： 注册：mpiexec -register 输入你当前登陆帐户名和密码，不注册的话每次执行程序都要求输入帐户和密码。 运行：mpiexec -n 2 helloworld.exe 这里用两个进程执行当前目录下的helloworld.exe，如果在linux下就应该写为mpiexec -n 2 ./helloworld.exe 2、GUI方式： 注册：开始菜单=>所有程序=>MPICH2=>wmpiregister.exe 填上当前登陆用户名和密码，点击“register”将信息写入磁盘，再点“ok”关闭程序。若先点击“ok”则是写入内存，重启机器后还要再注册。想更换其他用户运行mpi程序时，点“remove”将原来的信息删除。 运行：开始菜单=>所有程序=>MPICH2=>wmpiexec.exe 在Application处选择可执行程序，在Number of processes处选择用几个进程。点“Execute”执行，“B reak”终止程序。下面有个选项“more options”，选中后有更多的参数可选用，包括用配置文件执行程序，单机测试没必要写配置文件了吧。 二、加上多台计算机上测试 首先、在其他的机器上也安装mpich2，版本不应该相差太远，最好同样版本，如mpich2-1.0.6。 其次、每个机器上的帐户要一样，如administrator，更重要的是密码也要一样！希望新手要注意：用户和密码都要求一致。 再次、一定要把所有机器的防火墙都关掉,windows防火墙最好也关掉，不然可能相互连接不上，或者执行的时候有奇怪的错误。