实验2 Hadoop安装与配置
实验报告封面
课程名称： Hadoop大数据处理课程代码： JY1124
任课老师：陈宁穗实验指导老师: 陈宁穗
实验报告名称：实验2 Hadoop安装与配置
学生姓名：
学号：
教学班：
递交日期：
签收人：
我申明，本报告内的实验已按要求完成，报告完全是由我个人完成，并没有抄袭行为。我已经保留了这份实验报告的副本。
申明人(签名):
实验报告评语与评分：
评阅老师签名：
一、实验名称：Hadoop安装与配置
二、实验日期：2015年9 月18日
三、实验目的：
Hadoop安装与配置。
四、实验用的仪器和材料：
安装环境:以下两个组合之一
1.硬件环境：内存ddr3 4G及以上的x86架构主机一部
系统环境：windows 、linux或者mac os x
软件环境：运行vmware或者virtualbox
(2) 内存ddr 1g及以上的主机两部及以上
五、实验的步骤和方法：
注: hadoop必须运行在类unix环境下。Windows必须通过虚拟机运行linux环境或者安装cygwin，本次实验是在Windows下通过虚拟机运行linux环境实现。本次实验重点在vmware中安装ubuntu以及在ubuntu中一些命令的熟悉使用。
一、vmware中ubuntu的安装步骤
1、打开桌面VMware Workstation图标，进入软件。
2、点击“新建虚拟机”，进入新建向导，选择“典型(推荐)”继续。
3、选择“稍后安装操作系统”。
4、选择linux操作系统下的Ubuntu系统，点击继续。
5、设置自己虚拟机名称，选择安装位置（根据自己喜好选择）。
6、设置磁盘空间，一般用户选择推荐的20G就够用了。点击下一步。
7、点击“自定义硬件”进行硬件设备定义。
8、内存采用1G默认。
ubuntu的ISO映像文件
源”，进入系统安装界面。
11、选择语言中文简体，继续安装Ubuntu，并根据情况安装下载更新。
12、点击继续
13、选择“其他选项，自己创建分区”，点击继续。
14、选中设备，点击新建分区表。
15、选中“空闲”点击添加按钮。
16、按以下内容分别创建“/boot”、“交换空间”、“/home”、“/”分区
户名，密码(记住密码)。
装完毕，并重启计算机。
19、重启完成后，就正式安装完毕，进入全新的Ubuntu桌面。
二、ubuntu中命令的熟悉使用
打开ubuntu中左上角dash主页，输入ter，按回车可打开终端输入命令界面。
1、设置root用户密码：sudo passwd
普通用户切换到root用户：su
2、目录的创建：mkdir opt/java opt/hadoop
3、目录的切换：cd
4、查看目录下所有内容：ls
5、下载jdk，可使用多种方式：
(1)wget
https://www.360docs.net/doc/e310934674.html,/otn-pub/java/jdk/7u51-b13/jdk-7u51-linux-i586.tar.gz?AuthParam =1393486646_9319741e20f561f59bb394f119c6cb7a（文件太大不推荐）
(2) 打开浏览器，通过邮件下载到ubuntu中，自动默认下载到主文件夹中的下载文件夹
6、文件的复制
六、数据记录和计算：指从实验中测到的数据以及计算结果。
七、实验结果或结论：即根据实验过程中所见到的现象和测得的数据，作出结论。
八、备注或说明：可写上实验成功或失败的原因，实验后的心得体会、建议等。
九、引用参考文献：
1. 陆嘉恒Hadoop实战．机械工业出版社
ROSEHA安装及配置手册.
安装配置指南 (第二版) ROSE
目录 第一章绪论 windows NT 版 ROSEHA 软件 特点 灵活的配置 ROSEHA 硬件部分 ROSEHA软件示意图 第二章准备工作 资源对象的属性 设置cluster的过程 卷标 安装应用软件 第三章安装和卸载 开始安装之前 安装 ROSEHA 获得 ROSEHA 认证号 卸载 ROSEHA 第四章 ROSEHA 管理工具 预览 私有网络管理 GUI（图形化界面） 资源对象管理 GUI 菜单条 工具条 cluster 可视面板 消息面板 状态条 第三方管理工具 控制面板 文件管理 磁盘管理 事件查看 磁盘阵列管理 私有网络管理
资源对象管理 Cluster 操作 Cluster 操作参数选择 开始 cluster 操作 停止 cluster 操作 第五章私有网络管理 私有网络下拉菜单 TCP/IP socket 私有网络 RS-232 串口私有网络 公用驱动器私有网络 工具条按钮 删除私有网络 查看私有网络 私有网络和服务器状态 第六章资源对象管理 创建资源对象 服务器属性表 配置卷对象属性表 配置IP 地址对象属性表 配置共享文件对象属性表 配置LAN 管理对象属性表 配置Microsoft SQL Server 对象属性表 配置Sybase SQL server 对象属性表 配置NT 服务对象属性表 配置用户自定义对象属性表 查看资源对象 删除资源对象 绑定到 cluster 撤消绑定到 cluster 资源切换 资源接管 服务器切换 服务器接管 资源对象分类 资源对象状态
附录1 MSSQL SERVER 实例 附录2 . WWW资源层次实例 附录3 FAQ 附录4 NT Cluster 软件维护信息
hadoop实验报告
基于hadoop的大规模文本处理技术实验专业班级：软件1102 学生姓名：张国宇 学号： Setup Hadoop on Ubuntu 11.04 64-bit 提示：前面的putty软件安装省略；直接进入JDK的安装。 1. Install Sun JDK<安装JDK> 由于Sun JDK在ubuntu的软件中心中无法找到，我们必须使用外部的PPA。打开终端并且运行以下命令： sudo add-apt-repository ppa:ferramroberto/java sudo apt-get update sudo apt-get install sun-java6-bin sudo apt-get install sun-java6-jdk Add JAVA_HOME variable<配置环境变量>: 先输入粘贴下面文字： sudo vi /etc/environment 再将下面的文字输入进去：按i键添加，esc键退出，X保存退出；如下图： export JAVA_HOME="/usr/lib/jvm/java-6-sun-1.6.0.26" Test the success of installation in Terminal<在终端测试安装是否成功>: sudo . /etc/environment
java –version 2. Check SSH Setting<检查ssh的设置> ssh localhost 如果出现“connection refused”，你最好重新安装 ssh（如下命令可以安装）： sudo apt-get install openssh-server openssh-client 如果你没有通行证ssh到主机，执行下面的命令： ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 3. Setup Hadoop<安装hadoop> 安装 apache2 sudo apt-get install apache2 下载hadoop： 1.0.4 解压hadoop所下载的文件包： tar xvfz hadoop-1.0.4.tar.gz 下载最近的一个稳定版本，解压。编辑/ hadoop-env.sh定义java_home “use/library/java-6-sun-1.6.0.26”作为hadoop的根目录： Sudo vi conf/hadoop-env.sh 将以下内容加到文件最后： # The java implementation to use. Required. export JAVA_HOME=/usr/lib/jvm/java-6-sun-1.6.0.26
RoseHA 8.9 for Windows配合SQL Server 2008 R2配置文档
RoseHA 8.9 for Windows配合SQL Server 2008 R2配置文档 2013年7月27日
目录 一、文档说明 (3) 二、安装部署要求 (3) 1、集群环境拓扑结构 (3) 2、基础环境部署 (3) 三、安装配置SQL Server 2008 R2 (14) 1、安装SQL Server 2008 R2的先决条件 (14) 2、安装SQL Server 2008 R2 (16) 3、配置SQL Server的远程连接功能 (22) 4、安装SQL Server客户端 (25) 四、安装配置RoseHA (29) 五、测试 (39) 1、集群资源测试 (39) 2、集群切换测试 (40) 六、使用RoseHA工具 (42) 1、帮助文档 (42) 2、命令行管理工具 (42) 3、查看日志 (43)
一、文档说明 本文档主要介绍了在VMware8虚拟机环境中使用RoseHA8.9配合SQL Server 2008 R2的配置过程，对如何虚拟磁盘阵列以及两台虚拟机之间如何用RS232串口线连接和挂载虚拟存储也做了介绍。使用此文档，大家可以在自己的电脑上利用虚拟环境搭建RoseHA高可用集群测试系统。 二、安装部署要求 1、集群环境拓扑结构 2、基础环境部署 本实验集群拓扑实现目标如上图所示，以宿主机作为客户端，宿主机安装VMware8虚拟机，虚拟机中安装Windows server 2008 R2操作系统，并将系统的防火墙关闭；在虚拟机操作系统中安装SQL Server 2008 R2和RoseHA；按照RoseHA的配置规则，两台服务器之间至少有两条心跳线，可以使用两条以太网线作为心跳，如果条件允许，还可以使用RS232串行端口线作为心跳，以实现不同类型的心跳通信，加强心跳通信的可靠性。本实验采用以太网和RS232串行端口两种方式作为心跳；宿主机安装SQL Server 2008 R2客户端，使用此
Hadoop云计算实验报告
Hadoop云计算实验报告
Hadoop云计算实验报告 1实验目的 在虚拟机Ubuntu上安装Hadoop单机模式和集群； 编写一个用Hadoop处理数据的程序，在单机和集群上运行程序。 2实验环境 虚拟机：VMware 9 操作系统：ubuntu-12.04-server-x64（服务器版），ubuntu-14.10-desktop-amd64（桌面版）Hadoop版本：hadoop 1.2.1 Jdk版本：jdk-7u80-linux-x64 Eclipse版本：eclipse-jee-luna-SR2-linux-gtk-x86_64 Hadoop集群：一台namenode主机master，一台datanode主机salve， master主机IP为10.5.110.223，slave主机IP为10.5.110.207。 3实验设计说明 3.1主要设计思路 在ubuntu操作系统下，安装必要软件和环境搭建，使用eclipse编写程序代码。实现大数据的统计。本次实验是统计软件代理系统操作人员处理的信息量，即每个操作人员出现的次数。程序设计完成后，在集成环境下运行该程序并查看结果。 3.2算法设计 该算法首先将输入文件都包含进来，然后交由map程序处理，map程序将输入读入后切出其中的用户名，并标记它的数目为1，形成
Rose软件的安装指南
在对系统连续运营要求较高的系统中，我们通常有RAID、hot spare来保障存储系统以及数据的安全性，但是仅仅存储系统的安全就足够了么？为了防止服务器应用程序的意外宕机，我们通常还会通过两台服务器冗余，且互为备份共同执行同一任务的架构模式来防止服务器错误的发生。这种架构也就是我们通常所说的双机热备的架构模式。 在众多对系统可靠性要求较高的业务环境中，双机热备系统都得到了广泛的应用，并发挥着重要的作用，为企业构筑高可用性系统提供了一种较为安全且成本相对较低的后台环境构架。 双机系统的基本构成通常包括了2台互为备份的服务器，后台往往公用一台存储系统，两台互为备份的服务器之间一般有心跳线连接，用以监控另一台服务器的运行状态，同时2台服务器上还需要运行双机热备的系统软件。任何导致系统当机或服务中断的故障，都会自动触发双机热备的系统软件流程来进行错误判定、故障隔离，并通过联机恢复来继续执行中断的服务。这样，预先指定的备份服务器将首先接管被中断的服务，并继续提供原有的服务。在这个过程中，用户所感受的只是需要经受一定程度可接受的时延，而能够在最短的时间内继续访问服务。 Rose HA是目前市面上应用非常广泛的一种双机HA软件，他由美国ROSE Datasystem Inc.提供，能够和windows操作平台无缝集成，因而并被多家服务器或者存储厂商以OEM 的形式销售提供给大家，被广泛用于在X86服务器基础上构架双机热备系统，拥有较大规模的市场基础和使用人群。但是双机软件的安装是比较容易出问题的环节，下面我们将以SQL Server数据库平台为例，介绍如何在win 2000，SQL Server的环境下构筑Rose HA。 安装环境： 双机环境的基本构成包括：两台服务器（以下分别称为“服务器1”和“服务器2”），一套磁盘整列柜，我们这里以SQL Server数据库软件为例，服务器采用win 2000的操作系统，采用Rose HA软件。软硬件都准备好了以后，我们先进行双机热备环境配置的准备工作。 1. 安装win 2000
RoseHA 8.5 快速安装指南
RoseHA 8.5 快速安装指南 一第一部分RoseHA运行所需条件和环境及安装 1． RoseHA支持的系统环境（独立域，主备域，AD服务器） RoseHA支持Windows 2000 系列以及Windows 2003。RoseHA的光盘安装介质可用于Windows 2000及Windows 2003系统中HA的安装。RoseHA 支持独立域、主备域、以及Windows 2000和Windows 2003的AD服务器。两台主机的系统管理员的账号和密码必须一致。 2． RoseHA对网络配置的需求及要求 在安装RoseHA之前，系统的所有网卡应该已经全部驱动并设置了正确的IP地址等相关设置，并规划好公网和私网IP资源的分配。避免在安装了RoseHA 之后，再对系统的网络设置进行修改。 3． RoseHA心跳线需求 HA支持网卡类型和RS232类型的私网，对于配置RS232类型的心跳线，需要准备RS232串口线，配置好com口参数（通常按照系统默认值配置）。在HA中，建议配置两条以上的心跳线（Socket 类型或是RS232 类型，也可以混合使用），保证HA的正常运作。 关于RS232串口线的做法是：如果两端都是9 pin 的接头, 则pin 2 (RD), pin 3 (TD) 交叉反接, pin 5 (GND)直连, 其它pin 不连接: DB9 DB9 1 GND --------- 1 GND 2 RD --------- 3 TD 3 TD --------- 2 RD 5 GND --------- 5 GND 4． RoseHA对共享卷配置的需求及要求 共享磁盘阵列的准备，首先保证两台主机都已经正确连接并能正确访问到盘阵。其次，对于Windows 2000和Windows 2003系统，还必须确认操作系统中看到的磁盘阵列上的共享设备的类型，在磁盘管理器中将共享设备（disk）必须设置为基本卷，而不能是动态卷。两台主机系统缺省对于计划中将要使用的共享磁盘设备上的分区的设置需要保持一致。对于共享磁盘设备上各个分区的盘符的设定要保持一致性。对共享卷的文件系统推荐采用NTFS类型。另外，推荐使用有硬件锁功能的盘阵。这样确保在双机时只能有一边能访问到磁盘设备。5． RoseHA对应用程序配置的需求及要求 在安装RoseHA之前，应先安装需要由HA来监控管理的应用，并且将应用（或与应用有关）的数据创建到共享的盘阵上。然后修改需要由HA监控的服务的启动方式，在服务管理中将其改动为手动启动方式，并停止服务。
RoseHA6.0安装调试手册
一、安装前的准备 1、硬件环境：服务器两台(每台服务器要求两块网卡,每个服务器的两个网卡一个做心跳用，一个连接到局域网上)、磁盘阵列一台、SCSI线两条。 2、软件环境：Windows200 3、Sqlserver 2000 for Windows2003、Rose HA6.0 For Windows。 3、注意：在连接SCSI线时，必须把主机和磁盘阵列断电。连接完成后，先开启磁盘阵列，后开启主机。将两台服务器的BIOS选择中Start Option选择改为Slot 5,(Slot 5是服务器RAID卡所在的槽位) 4、两台服务器：以下分别称为“服务器1”和“服务器2”。 二、安装Rose HA的过程 (一)硬件安装 1．用Rose软件所带的RS232串口线将服务器1和服务器2的COM口连接起来。 2．用交叉双绞线（一头是568A，一头是568B）连接服务器的网卡(专门做心跳用) 3．分别通过服务器的另外一块网卡将两台服务器连接到交换机上，分配ip地址（一般是用户内网网段地址），保证相互可以ping通。 注：建议使用两根心跳线，如果要通过网卡建立第二根心跳线，可用以下方法连接： 4．将心跳线的网卡Ip设置为200.200.200.109,200.200.200.110，子网掩码255.255.255.0(不能跟局域网在同一个网段)，测试ping。 (二)安装SqlServer2000 1、关闭服务器2，在服务器1上进行安装，进入SqlServer2000安装界面 2、当选择Data路径时，程序文件存放位置可以不做修改，Data文件夹可选为 Z:\Sqlserver_data(注：Sqlserver_data是手工建在磁盘阵列上的文件夹，Z盘为磁盘阵列的逻辑盘符) 3、安装完毕后，需要打SqlServer2000 Sp3补定 4、重启服务器，在数据库管理器里将SqlServer2000的服务，改为手动；手工启动数据库， 确保工作正常。 5、在服务器1上操作：关闭SqlServer数据库，删除Z:\Sqlserver_data文件夹，关闭服 务器1 6、启动服务器2，重复上述步骤2，3，4 7、启动服务器1，关闭服务器2上的SqlServer数据库，在服务器1上启动SqlServer数 据库，要保证启动各项服务都正常 8、进行Rose HA的安装和配置。 (三)RoseHA软件安装 进入光盘上软件所在的目录，运行SETUP程序，按照默认方式安装，当出现提示输入LOCAL 和REMOTE的主机名时，将本地服务器的主机名输入LOCAL栏里，将另一台服务器的主机名输入REMOTE。 三、配置Rose HA
Roseha的安装配置
Roseha的安装配置 1．两台服务器：whjkapp和jkcti，都使用两个网卡，其中内网卡作为心跳线连接使用，外网卡用来连接交换机。首先分别在两台服务器上配置HOSTS文件，路径为：c:\windows\system32\driver\etc 配置如下： 100.100.100.10 whjkapp 100.100.100.20 jkcti 10.64.41.115 whjkapp 10.64.41.111 jkcti 10.64.41.120 roseserver 2．把两台服务器分别连接上存储，让它们可以正常访问存储上的分区。 3．先启动其中一台服务器如whjkapp，在它上面安装SQL SERVER 2005，新建个数据库，把数据库文件放在存储的分区上，测试能否正常访问。如果不能访问，查看网络、存储的配置。确定可以访问后，把数据库关闭，并在服务里把SQLSERVER的主服务停掉，启动方式改为手动，然后关闭whjkapp服务器。 启动jkcti服务器，在其上安装SQL数据库，可以附加之前的那个数据库文件，测试能否正常访问。同样把SQLSERVER主服务改为手动。 4．接下来配置ROSEHA双机软件 4.1 登陆whjkapp服务器，点击ROSEHA安装文件，开始安装。整个安装过程，很简单，一直下一步即可。有一点要注意就是：其中有一项在Local computer name中填入本地机名称：如whjkapp。Remote computer name中输入要做双机的服务器名称，如jkcti 同样进入jkcti服务器，安装ROSEHA文件。 4.2RoseHa 安装完成后，根据两台服务器的hostid 号码来申请授权文件， 添加正确的授权文件之后才能配置双机。（此授权文件都已copy至两台 服务器里） 4.3进入whjkapp服务器，打开ROSEHA软件，点击三角形开始按钮，在弹 出的Connect Cluster界面点击OK 4.4进入Tools-License Information，根据host id，输入Serial No、Data及 License，申请许可 4.5同样进入jkcti服务器，申请许可 4.6进入whjkapp服务器roseha配置界面，配置私有网络。也可以继续在jkcti 服务器上配置，目前我们是在whjkapp上配置主节点的。 点击Private Net-TCP/IP Socket，在弹出来的界面里，输入服务器相对应 的IP，如： whjkapp对应的ip是100.100.100.10 jkcti对应的ip是100.100.100.20 配置完，点击Add，添加 同样在jkcti服务器上添加私有网络 4.7 在配置Rosource资源之前，需要在两台服务器上分别点击Tools-Get NIC Information获取NIC信息，之后点击确定。 4.8 在whjkapp服务器ROSEHA配置界面下，点击resource-create-volume建
RoseHA for Windows常见问题解答
RoseHA for Windows常见问题解答 （FAQ） 一、RoseHA for Windows的安装部署 1、RoseHA的私网心跳配置 答：建议至少配置两条心跳线以上，以避免私网心跳的单点故障，对于配置的心跳类型（Socket、RS232）可以自由组合。例如：如果配置两条心跳，可以都为Socket类型、也可以都为RS232类型、也可以为一个Socket和一个RS232。 2、网络IP的配置方式 答：主机的IP必须是手动指定方式配置，不支持通过DHCP方式获取的IP。 3、主机的计算机名称 答：在安装RoseHA的过程中，本地主机和远程主机的计算机名称必须与实际的计算机名称一致，不能是自定义的名称标识或主机的IP等。 4、RoseHA双机部署的步骤 答：① 分别在两台主机上部署应用，并将应用的数据存放在共享磁盘上。 ② 分别在两台主机上手动测试应用服务是否能够正常启停和应用。 ③ 安装RoseHA，创建应用服务的高可用资源，带入资源测试。 RoseHA for Windows详细的部署安装步骤，请参阅RoseHA for Windows快速安装文档。 二、RoseHA for Windows的配置 1、创建心跳时，报告License无效 答：检查已注册的License是否输入完整。 2、创建心跳完成后，心跳无法正常通信 答：① 检查两台主机上是否安装防火墙等网络安全类软件，如有，则修改网络安全的配置，允许心跳端口通信。 ② 两台主机的心跳配置是否一致；心跳UDP端口是否与其他应用端口冲突，如有端口冲突，修改心跳UDP端口的配置。 3、创建文件共享资源时，没有显示共享目录 答：先将共享磁盘中需要共享的目录配置共享之后，才能在创建文件共享的窗口中看到共享目录资源。 4、创建NT Server资源时，无法找到应用的服务 答：检查两台主机上的应用服务名称是否完全一致，以及应用服务的启动方式是否都改成手动。 5、RoseHA中提供的6种高可用资源是否都需要配置 答：不是，配置高可用资源的种类和数量是根据实际的应用环境而定的，比如：在信息应用系统中，一般不需要配置主机别名和文件共享资源。 三、RoseHA for Windows的维护 1、双机正常运行过程中，心跳通信异常中断 答：① 检查两台主机心跳的IP通信是否正常。
实验四;Hadoop数据库Hbase操作
实验报告 课程名称：Hadoop储存与运算指导教师：潘立武 姓名：孙纪龙 学号：2018021911 大数据1班组 教务处制
实验/训（） 实验/训题目：Hadoop数据库Hbase操作 学时：学分： 实验/训时间：2020 年4 月1 日实验/训地点：实验目的： 通过实验，掌握Hadoop数据库Hbase操作 实验内容： 第1关：实践题已完成 Hbase数据库的安装 第2关：实践题已完成 创建表 第3关：实践题已完成 添加数据、删除数据、删除表 实验步骤： 第一关Hbase数据库的安装 mkdir /app //创建文件 cd /opt //回到opt目录 ulimit -f 1000000 tar -zxvf hbase-2.1.1-bin.tar.gz -C /app //解压 echo $JAVA_HOME //查看jdk路径 vim /app/hbase-2.1.1/conf/hbase-env.sh
//翻到第二十八行，找到# export JAVA_HOME=/usr/java/jdk1.8.0/把前面的 # 删了、把/usr/java/jdk1.8.0/换成export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_111，wq保存cd //回到根目录 vim /app/hbase-2.1.1/conf//hbase-site.xml //进入编辑模式，输入下面代码
Hadoop云计算实验报告
云计算实验报告Hadoop 云计算实验报告Hadoop 实验目的1在虚拟机上安装单机模式和集群；Ubuntu Hadoop编写一个用处理数据的程序，在单机和集群上运行程序。Hadoop 实验环境2虚拟机：9VMware（桌面（服务器版），操作系统： -desktop--server-x64amd64ubuntu-14.10ubuntu-12.04 版）版本： 1.2.1hadoop Hadoop版本： x647u80-linuxJdk -jdk-版本：x86_64-gtk-jee-luna-SR2-linuxEclipse eclipse-，主机集群：一台主机，一台mastersalve datanodeHadoop namenode 。，主机为主机为master IP IP 10.5.110.22310.5.110.207slave 实验设计说明3 主要设计思路 3.1 eclipse编写程序代码。实现在ubuntu操作系统下，安装必要软件和环境搭建，使用大数据的统计。本次实验是统计软件代理系统操作人员处理的信息量，即每个操作人员出现的次数。程序设计完成后，在集成环境下运行该程序并查看结果。算法设计 3.2 程序将输入读入后该算法首先将输入文件都包含进来，然后交由map程序处理，map处理，切出其中的用户名，并标记它的数目为1，形成
RoseHA 8.9 for Linux快速安装说明
RoseHA 8.9 for Linux 快速安装说明 (v1.2) 2013-03
目录 一部署准备和要求 (1) 1RoseHA集群的拓扑结构 (1) 2硬件和系统环境准备 (1) 3应用服务部署要求 (5) 4数据安全要求 (6) 二ROSEHA的配置 (6) 1安装RoseHA (6) 2RoseHA服务 (8) 3卸载RoseHA (9) 4启动RoseHA控制中心界面 (11) 5创建群集 (13) 6创建应用资源 (16) 7手工测试脚本 (26) 三管理资源组 (28) 1带入资源组 (28) 2切换资源组 (29) 3带出资源组 (30) 4修改资源组 (31) 5删除资源组 (31) 四测试资源 (32) 1手动切换 (32) 2关机测试 (33) 3拔线测试 (34) 4杀进程测试 (34) 五工具的使用 (34) 1帮助文档 (34) 2文本界面管理工具 (35) 3日志查看 (35)
一部署准备和要求 1 RoseHA集群的拓扑结构 RoseHA集群环境的拓扑结构，如下图所示。 如上图所示，RoseHA集群硬件结构主要包括两台硬件服务器A和B，以及一台磁盘阵列。 2 硬件和系统环境准备 1) 操作系统的配置准备 两台服务器安装部署完全相同版本的操作系统，RoseHA 8.9 for Linux可以安装在Linux的各个发行版本上。 分别设置不同的主机名。（比如：Server1、Server2） 2) 集群心跳的配置准备 RoseHA高可用集群至少需要配置两组直连心跳线，以防止心跳的单点故障，心跳线类型支持
TCP/IP Socket类型和RS232类型。具体的接入方式说明如下。 如果每台服务器有三片以上的物理网卡，则其中一片网卡连接交换机并用于配置集群的公网(应用服务客户端访问的网络)；其它两片网卡，两台服务器之间使用网线直连，配置两组 冗余的私网心跳。如果物理条件允许，还可以再添加一条RS232串口心跳线，两台服务器 之间直连，配置RS232类型心跳，以实现不同类型的心跳通信，提高心跳通信的可靠性。 推荐用户采用此配置方式。 如果每台服务器仅有两片物理网卡，则其中一片网卡连接交换机并用于配置集群的公网，另一片网卡采用网线将两台服务器直连并配置为其中一条心跳；并且，必须再添加一条直 连的RS232串口心跳线，以实现冗余的直连心跳。 如需要配置RS232类型的心跳线，需要准备RS232串口线并确保线路和串口能够正常通信。RS232串口心跳线做法：9pin的口，其中1-1，2-3，3-2，5-5，其余口可以不用接线。 3) 网络的配置准备 手工配置每台服务器的所有计划使用网卡的静态IP（不能是DHCP方式动态获取的IP），同一台主机上每片网卡的IP需设置为不同网段。确保计划使用的所有网段和串口线路通信 正常。 如果服务器所在的内网，没有要求服务器必须设置防火墙等网络安全类软件，可以将防火墙关闭，并且设置其为永不启动。如需启动操作系统自带的防火墙，请开放如下端口和网 络通信权限： TCP：9527;7535 UDP：9528;7534; 私有网心跳端口（默认3000,3001...） ICMP：开放所有网络接口的ICMP（ping）数据包 规划客户端访问集群中应用服务的虚拟IP（需要在Rose软件中配置）。 如果物理条件允许，建议每台服务器的公网网卡接入不同的网络交换机，以防止单个网络交换机故障导致整个集群不可用的情况发生。 4) 磁盘阵列的准备 建议磁盘阵列创建2种类型的磁盘，其中1种磁盘作为存储应用数据的共享磁盘，另1种磁盘作为集群的仲裁磁盘。 存储应用数据的共享磁盘容量大小由应用数据容量而定。将应用数据共享磁盘分别映射至高可用集群的服务器节点，以用于存放应用服务数据文件并作为高可用集群的共享磁盘资源，确认各服
实验文档1-部署Hadoop
Hadoop大数据技术实验资料airyqin Hadoop大数据管理与分析处理平台 部署实验手册 CentOS 6集群下部署Hadoop (Airy qin)
Hadoop大数据实验实战资料（请勿在互联网上传播）启动两台虚拟客户机： 打开VMware Workstation10 打开之前已经安装好的虚拟机：HadoopMaster和HadoopSlave 出现异常，选择“否”进入
Hadoop大数据实验实战资料（请勿在互联网上传播） 如果之前没有打开过两个虚拟机，请使用“文件”->“打开”选项，选择之前的虚拟机安装包（在一体软件包里面的） 第1步 Linux系统配置 以下操作步骤需要在HadoopMaster和HadoopSlave节点上分别完整操作，都使用root用户，从当前用户切换root用户的命令如下： su root 输入密码：zkpk
Hadoop大数据实验实战资料（请勿在互联网上传播） 本节所有的命令操作都在终端环境，打开终端的过程如下图的Terminal菜单： 终端打开后如下图中命令行窗口所示。 1.拷贝软件包和数据包 将完整软件包“H adoop In Action Experiment”下的software包和sogou-data整体拖拽到HadoopMaster 节点的桌面上，并且在终端中执行下面的移动文件命令： mv ~/Desktop/software ~/
Hadoop大数据实验实战资料（请勿在互联网上传播）mv ~/Desktop/sogou-data ~/ 1.1配置时钟同步 1.1.1 配置自动时钟同步 使用Linux命令配置 crontab -e 键入下面的一行代码： 输入i，进入插入模式 0 1 * * * /usr/sbin/ntpdate https://www.360docs.net/doc/e310934674.html, 1.1.2 手动同步时间 /usr/sbin/ntpdate https://www.360docs.net/doc/e310934674.html, 1.2配置主机名 1.2.1 HadoopMaster节点 使用gedit 编辑主机名 gedit /etc/sysconfig/network 配置信息如下，如果已经存在则不修改，将HadoopMaster节点的主机名改为master，即下面代码的第3行所示。 NETWORKING=yes #启动网络 NETWORKING_IPV6=no HOSTNAME=master #主机名 确实修改生效命令： hostname master 检测主机名是否修改成功命令如下，在操作之前需要关闭当前终端，重新打开一个终端： hostname 执行完命令，会看到下图的打印输入：
RoseHA 9.0 for Windows维护手册_v2.0-2015-04
RoseHA 9.0 for Windows 维护手册 (v2.0) 2015-04
目录 一、RoseHA集群的部署要求 (1) 1.1 RoseHA集群的拓扑结构 (1) 1.2 RoseHA的私网心跳和公网配置 (1) 1.3 网络IP的配置方式 (2) 1.4 共享磁盘阵列的准备 (2) 1.5 操作系统配置 (3) 1.6 RoseHA双机部署的步骤 (3) 二、RoseHA基本操作 (4) 2.1 如何添加RoseHA的节点 (4) 2.2 查看版本信息 (4) 2.3 如何带入、带出、切换 (5) 2.4 离线功能 (6) 2.5 如何删除资源组 (6) 三、RoseHA界面、连线及图标含义 (6) 3.1 RoseHA管理工具主界面 (6) 3.2 RoseHA 服务器集群属性图标 (7) 3.3 RoseHA工具栏快捷操作工具图标 (8) 3.4 RoseHA群集资源状态图标 (8) 3.5 RoseHA资源组运行状态图标 (10) 四、RoseHA维护和管理 (11) 4.1 如何替换永久授权License (11) 4.2 日常维护中，重要的注意事项 (12) 4.3 如何获取现场的RoseHA配置和日志信息 (12) 4.4 RoseHA服务启动和停止 (13) 4.5 怎样更新业务系统、服务器移机？ (13) 4.6 资源配置完成后，怎么修改服务器的公网IP？ (15) 4.7 RoseHA中怎样启动/停止资源？ (17) 4.8 带入或切换卷资源失败的情况分析 (17) 4.9 带入主机别名资源失败 (18) 4.10 断电后开机顺序 (18) 4.11 清除错误标记 (18) 4.12 RoseHA为什么会自动切换资源？ (19) 4.13 维护群集系统时，需要暂停群集软件的管理和监控 (19) 4.14 手动执行切换资源操作，为什么切换失败？ (19) 4.15 群集关机顺序？ (20) 4.16 群集启动顺序？ (20) 4.17 如何配置系统自带的防火墙？ (20)
RoseHA for Linux 操作指南
RoseHA（for Linux）快速安装指引 1.安装前的准备工作。 A. 确定主机、磁盘阵列的型号。操作系统的版本，数据库的类型版本，卷管理软件的类型版本。网卡（网口）的数量类型及用途，RS232串行口的数量及用途。 B. 确定主机与磁盘阵列，网卡，RS232串行口的物理连接正确无误。直连的网卡，RS232串行口均应该采用交叉线连接。 关于RS232串口线的做法是, 如果两端都是9 pin 的接头, 则pin 2 (RD), pin 3 (TD) 交叉反接, pin 5 (GND)直连, 其它pin 不连接: DB9 DB9 1 GND --------- 1 GND 2 RD --------- 3 TD 3 TD --------- 2 RD 5 GND --------- 5 GND C. 确定两台主机均能访问到相同的共享磁盘设备，注意有一些卷管理软件要求同一个共享磁盘设备在两台主机上必须使用相同的设备名称。 D. 确定数据库已经安装完成，并且分别在两台主机上均能够独立的正常启动和停止，客户端能够正常访问数据库。并且两台主机数据库用户和组必须一样，以及root用户的配置文件，和一些内核参数的修改。并配合HA安装时，服务使用的活动IP是否已经加入到了/etc/hosts文件中。 2.安装RoseHA软件包 E. 将RoseHA安装介质CDROM放入主机光驱，系统一般会自动mount，然后进入RoseHA的安装目录， # cd /mnt/cdrom 然后, 执行命令: # rpm -i *.rpm 或者是选择相应的软件包单独安装，即可完成RoseHA软件包的安装。 F. 如果用户的RoseHA采用的是*.tar.gz格式的安装包，则可以使用install.sh进行RoseHA的安装(使用uninstall.sh 进行反安装)。（SuSE平台上只提供了shell脚本这种安装方式，没有提供rpm的安装包） G. RoseHA的所有文件均自动安装在目录：/opt/roseha下。RoseHA安装完成后的目录结构如下： /opt/roseha/bin RoseHA的所有可执行文件和启动、停止脚本均存放在此目录 /opt/roseha/etc RoseHA的配置文件和所有的日志文件均存放在此目录
hadoop云计算实验指导书
计算机科学与技术学院 网络计算设计与实现 实验指导书
实验一SOCKET编程 【试验环境】 计算机、TCP/IP协议、VS2005 【实验目的】 1．理解基本TCP/IP协议编程原理； 2．掌握如何利用SOCKET编写网络程序； 3．掌握VS2005编程环境，多线程程序设计等。 【实验要求】 1．编写一个服务端的程序，接收来自客户端的访问请求，并返回相关信息； 2．编写一个客户端程序，向服务端发送连接请求，并显示返回的结果； 3．完善服务端程序，使它能够同时支持多个客户端的请求。 【预备知识】 p ublic Socket Accept ()：为新建连接创建新的 Socket。 public void Bind (EndPoint localEP)：使 Socket 与一个本地终结点 相关联。 public void Close ()：关闭 Socket 连接并释放所有关联的资源。 public void Connect (EndPoint remoteEP)：建立与远程主机的连接。 注意这个方法有重载方法。 public void Disconnect (bool reuseSocket)：关闭套接字连接并是否 允许重用套接字。 public void Listen (int backlog)：将 Socket 置于侦听状态。
public int Receive (byte[] buffer)：接收来自绑定的 Socket 的数据。 注意这个方法有重载方法。 public int ReceiveFrom (byte[] buffer,ref EndPoint remoteEP)：接 收数据报并存储源终结点。注意这个方法有重载方法。 public int Send (byte[] buffer)：将数据发送到连接的 Socket。注意 这个方法有重载方法。 public void SendFile (string fileName)：将文件和可选数据异步发送 到连接的 Socket。注意这个方法有重载方法。 public int SendTo (byte[] buffer,EndPoint remoteEP)：将数据发送 到特定终结点。注意这个方法有重载方法。 public void Shutdown (SocketShutdown how)：禁用某 Socket 上的发 送和接收。 因为在网络传输时传输的数据都是二进制形式的（表现为字节数组），所以如果要传输类似于中文这样的双字节字符就需要在传输之前用合适的编码转换成字节数组，然后接收方按照发送方的编码将接收到字节数组转换成字符串。 另外，注意接收数据的时候是先声明了一个字节数组，然后将接收到的数据保存到字节数组中，这个方法有个返回值表示实际接收了多少字节数据。【实验内容】 实现一个服务器端的面向连接的Socket用于接收客户端的请求的话，有如下步骤： 1.首先根据IP地址和端口号实例化一个Socket，注意端口要要大于1024并 且不要使用特殊端口号，要大于1024的原因是1024以下的端口号已经被
实验4 HDFS常用操作
实验报告封面 课程名称： Hadoop大数据处理课程代码： JY1124 任课老师：陈宁穗实验指导老师: 陈宁穗 实验报告名称：实验4 HDFS常用操作 学生姓名： 学号： 教学班： 递交日期： 签收人： 我申明，本报告内的实验已按要求完成，报告完全是由我个人完成，并没有抄袭行为。我已经保留了这份实验报告的副本。 申明人(签名): 实验报告评语与评分： 评阅老师签名：
一、实验名称：HDFS常用操作 二、实验日期：2015年10 月9 日 三、实验目的： 熟悉HDFS常用命令操作。 四、实验用的仪器和材料： 硬件：PC电脑一台； 配置：内存，4G及以上硬盘250G及以上 软件环境：操作系统XP，vmware，ubuntu，jdk，hadoop 五、实验的步骤和方法： 请用命令完成以下操作 1、启动hadoop，通过jps命令查看启动进程，通过web方式查看namenode和jobtracker 2、通过ls命令查看hadoop下tmp目录中的文件，包括dfs目录和mapred目录 3、进入hadoop-1.2.1目录，执行命令：hadoop fs –ls / 列出HDFS上的文件 4、在HDFS上 /user下创建一个你自己拼音名字的目录 5、退出hadoop-1.2.1目录，回到本地系统，创建一个test目录，进入test目录，执行echo “hello world” >test1.txt 命令创建test1.txt文件，并输入hello world内容。 6、继续回到hadoop-1.2.1目录下，将刚才在本地创建的test1.txt上传（put）到HDFS 下你名字的目录下。 7、查看HDFS下刚才上传的文件的内容 8、退出hadoop-1.2.1目录，回到本地系统，彻底删除test目录（rm –rf test）. 9、回到hadoop-1.2.1目录下，将HDFS上的test1.txt文件下载到本地系统（/home/grid/）并查看 10、在HDFS上删除test1.txt文件。