ORACLE_RAC 文档

Oracle 10g RAC 教程

第一部分 Oracle10g RAC数据库简介

在硬件级别上，RAC 集群中的各节点共享三种功能：

1.对共享磁盘存储的访问

2.与专用网络的连接

3.对公共网络的访问。

共享磁盘存储

Oracle RAC 依赖于一个共享磁盘体系结构。数据库文件、联机重做日志和数据库的控制文件必须都能为集群中的每个节点所访问。共享磁盘还存储 Oracle Cluster Registry 和 Voting Disk（稍后讨论）。配置共享存储有多种方法，包括直接连接磁盘（通常是使用铜缆或光纤的 SCSI）、存储区域网 (SAN) 和网络连接存储 (NAS)。

专用网络

每个集群节点通过专用高速网络连接到所有其他节点，这种专用高速网络也称为集群互联或高速互联 (HSI)。 Oracle 的 Cache Fusion 技术使用这种网络将每个主机的物理内存 (RAM) 有效地组合成一个高速缓存。 Oracle Cache Fusion 通过在专用网络上传输某个 Oracle 实例高速缓存中存储的数据允许其他任何实例访问这些数据。它还通过在集群节点中传输锁定和其他同步信息保持数据完整性和高速缓存一致性。

专用网络通常是用千兆以太网构建的，但是对于高容量的环境，很多厂商提供了专门为 Oracle RAC 设计的低延迟、高带宽的专有解决方案。 Linux 还提供一种将多个物理 NIC 绑定为一个虚拟 NIC 的方法（此处不涉及）来增加带宽和提高可用性。

公共网络

为维持高可用性，为每个集群节点分配了一个虚拟 IP 地址 (VIP)。如果主机发生故障，则可以将故障节点的 IP 地址重新分配给一个可用节点，从而允许应用程序通过相同的 IP 地址继续访问数据库。

Oracle 集群就绪服务(CRS)

Oracle RAC 10g 引进了 Oracle 集群就绪服务 (CRS) —一组用于集群环境的与平台无关的系统服务。在 RAC 和 Oracle 并行服务器先前版本中，Oracle 依靠厂商提供的集群管理软件来提供这些服务。虽然 CRS 与厂商供应的集群件协同工作，但 Oracle RAC 10g 所需组件只是 CRS。实际上，必须在安装 RAC 之前安装 CRS。

Oracle RAC 软件

Oracle RAC 10g 软件是 RAC 数据库的核心，每个集群节点上都必须安装。幸运的是，Oracle Universal Installer (OUI) 可以完成在每个节点上安装 RAC 软件的大部分工作。

您只需在一个节点上安装 RAC — OUI 会完成其余的工作。

Oracle 自动存储管理 (ASM)

ASM 是 Oracle 数据库 10g 中的一个新特性，它以一种与平台无关的方式提供文件系统服务、逻辑容量管理器和软件 RAID。Oracle ASM 可以条带化和镜像磁盘，从而实现了在数据库被加载的情况下添加或移除磁盘以及自动平衡 I/O 以删除“热点”。它还支持直接和异步的 I/O，并使用 Oracle9i 中引入的 Oracle 数据管理器 API（简化的 I/O 系统调用接口）。

Oracle ASM 不是通用的文件系统，只能用于 Oracle 数据文件、重做日志、控制文件和 RMAN 快速恢复区。ASM 中的文件既可以由数据库自动创建和命名（使用 Oracle 管理文件特性），也可以由 DBA 手动创建和命名。由于操作系统无法访问 ASM 中存储的文件，因此对使用 ASM 文件的数据库执行备份和恢复操作的唯一途径就是使用恢复管理器(RMAN)。

ASM 作为单独的 Oracle 实例实施，只有它在运行时其他数据库才能访问它。ASM 需要的内存不多：对大部分系统来说只需 64MB。在 Oracle RAC 环境中，ASM 实例必须运行在每个集群节点上。

第二部分安装Redhat AS 4.7

本文档实例安装在联想R630G7服务器上，双网卡、每个节点通过光纤交换机连接FC

盘阵。安装过程中最好把连接节点和盘阵的光纤拔下；或者如果不拔下光纤，安装过程中分区时只选择本机硬盘，不要选择盘阵。

假设服务器全新安装redhat，并且服务器为oracle专用。

1.最小化安装系统

设定主机名分别为core01,core02

不启动防火墙及sElinux

2.设定本地yum库及安装oracle必要软件

#yum install binutils compat-db control-center compat-libstdc++* gnome-libs elfutils-libelf elfutils-libelf-devel gcc gcc-c++ glibc glibc-common glibc-devel glibc-headers libaio libaio-devel libgcc libstdc++ libstdc++-devel libXp make openmotif sysstat unixODBC unixODBC-devel ttfonts-zh_CN

3.设定多路径访问硬盘

# vi /etc/multipath.conf

defaults {

user_friendly_names yes

}

devnode_blacklist {

devnode "sda$"

devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"

devnode "^hd[a-z]"

devnode "^cciss!c[0-9]d[0-9]*"

}

devices {

device {

vendor "NETAPP"

product "LUN"

path_grouping_policy group_by_prio

path_grouping_policy failover

getuid_callout "/sbin/scsi_id -g -u -s /block/%n"

prio_callout "/sbin/mpath_prio_netapp /dev/%n"

hardware_handler "0"

path_checker readsector0

features "1 queue_if_no_path"

path_checker directio

rr_weight uniform

rr_min_io 128

failback immediate

}

}

# modprobe dm-multipath

# modprobe dm-round-robin

# chkconfig multipathd on

# multipath -v2

# service multipathd start

# dmsetup ls --target multipath

第三部分针对Oracle配置redhat

Linux 软件现已安装完毕，现在需要针对 Oracle 对其进行配置。

3.1 验证系统要求

要验证系统是否满足 Oracle 10g 数据库的最低要求，以 root 用户身份登录并运行以下命令。

要查看可用 RAM 和交换空间大小，运行以下命令：

grep MemTotal /proc/meminfo

grep SwapTotal /proc/meminfo

例如：

# grep MemTotal /proc/meminfo

MemTotal:512236 kB

# grep SwapTotal /proc/meminfo

SwapTotal:1574360 kB

所需最小 RAM 为 512MB，而所需最小交换空间为 1GB。对于 RAM 小于或等于 2GB 的系统，交换空间应为 RAM 数量的两倍；对于 RAM 大于 2GB 的系统，交换空间应为 RAM 数量的一到两倍。

Oracle 10g 软件还需要 2.5GB 的可用磁盘空间，而数据库则另需 1.2GB 的可用磁盘空间。/tmp 目录至少需要 400MB 的可用空间。

3.2 内核参数

1.内核参数

在/etc/sysctl.conf中编辑：

kernel.shmall = 6442450944

kernel.shmmax = 25769803776

kernel.shmmni = 4096

kernel.sem = 250 32000 100 128

fs.file-max = 65536

net.ipv4.ip_local_port_range = 1024 65000

net.core.rmem_default = 262144

net.core.rmem_max = 262144

net.core.wmem_default = 262144

net.core.wmem_max = 262144

然后用执行/sbin/sysctl -p

2.hangcheck-timer设置

RAC节点间通过CSS来判断通信状态，因此需要设定定时器来触发判断。该定时器就是linux内核自带的hangcheck-timer。

具体操作：

在/etc/rc.local中加入（数值以具体情况而定，以下是默认值）

modprobe hangcheck-timer hangcheck_tick=30 hangcheck_margin=180

表示，每隔30秒检查一下节点状态，如果180秒内仍没有反应，则重启该节点。这也就是说，检查的间隔最长为30＋180秒，如果超过这个时间，则系统重启。

Tip：如果系统尚不稳定，可将数值设置的大一些，这样可以有充分的时间来修复系统，否则系统会进入循环重启状态。

3.3 添加oracle用户和组

# groupadd -g 501 oinstall

# groupadd -g 502 dba

# useradd -m -u 501 -g oinstall -G dba,disk -d /home/oracle -s /bin/bash -c "Oracle Software Owner" oracle

# id oracle

uid=501(oracle) gid=501(oinstall) groups=501(oinstall),6(disk),502,(dba)

设置 oracle 帐户的口令：

# passwd oracle "hrbeu2009"

设置oracle的shell限制：

在/etc/security/limits.conf文件中加入：

oracle soft nproc 2047

oracle hard nproc 16384

oracle soft nofile 1024

oracle hard nofile 65536

3.4 网络设置

注：此处使用的公共地址为规划好后的地址，不能为临时地址（除非试验安装）

RAC要求机群内的每个节点至少有两块网卡，一个设置为公用（公网），对外提供服务；一个设置为私用（专用），提供节点内的告诉传输。此外还需要为公用网卡配置一个虚拟地址，oracle需要借此为用户提供透明的高可用服务。具体介绍如下：

专用网络

每个集群节点通过专用高速网络连接到所有其他节点，这种专用高速网络也称为集群互联或高速互联 (HSI)。 Oracle 的 Cache Fusion 技术使用这种网络将每个主机的物理内存 (RAM) 有效地组合成一个高速缓存。 Oracle Cache Fusion 通过在专用网络上传输某个 Oracle 实例高速缓存中存储的数据允许其他任何实例访问这些数据。它还通过在集群节点中传输锁定和其他同步信息保持数据完整性和高速缓存一致性。

专用网络通常是用千兆以太网构建的，但是对于高容量的环境，很多厂商提供了专门为 Oracle RAC 设计的低延迟、高带宽的专有解决方案。 Linux 还提供一种将多个物理 NIC 绑定为一个虚拟 NIC 的方法（此处不涉及）来增加带宽和提高可用性。

公共网络

为维持高可用性，为每个集群节点分配了一个虚拟 IP 地址 (VIP)。如果主机发生故障，则可以将故障节点的 IP 地址重新分配给一个可用节点，从而允许应用程序通过相同的 IP 地址继续访问数据库。

修改/etc/hosts加入下面内容，:

127.0.0.1 localhost.localdomain localhost

# public address

202.117.190.11 core01

202.117.190.12 core02

# private address

172.16.0.1 core01-priv

172.16.0.2 core02-priv

# virtual address

202.117.190.21 core01-vip

202.117.190.22 core02-vip

虚拟地址可以随便起一个（保证与公共网络同一个网段），在安装RAC的时候，vipca会自动将虚拟地址绑定在公共网卡上的。

3.5 为用户等效性设置SSH

以 oracle 用户身份登录：

$ mkdir ~/.ssh

$ chmod 755 ~/.ssh

$ /usr/bin/ssh-keygen -t rsa 注意：本例中此处一路按回车选择默认

$ /usr/bin/ssh-keygen -t dsa 注意：本例中此处一路按回车选择默认

$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

$ ssh oracle@core02 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

$ ssh oracle@core02 cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

$ chmod 644 ~/.ssh/authorized_keys

第四部分 ASM配置共享磁盘

配置共享磁盘的方法有三种：

1. Oracle 集群文件系统 (OCFS)

2. 自动存储管理器 (ASM)

3. 原始设备

从可扩展性和可管理性方面考虑，我们使用的是用ASM Library Driver配置ASM的共享磁盘。其他两种配置共享磁盘的方法将在最后面的附录部分介绍。

4.1安装ASM软件

从https://www.360docs.net/doc/9910173740.html,/technology/software/tech/linux/asmlib/rhel4.html找到要下载的三个RPM 软件包，注意，一定要与内核版本和系统平台相符。

oracleasm-support-version.arch.rpm

oracleasm-kernel-version.arch.rpm

oracleasmlib-version.arch.rpm

在我们系统中，为：

# yum install oracleasm*

对ASM进行配置：

# /etc/init.d/oracleasm configure

Default user to own the driver interface []:oracle

Default group to own the driver interface []:dba

Start Oracle ASM library driver on boot (y/n) [n]:y

Fix permissions of Oracle ASM disks on boot (y/n) [y]:y

Writing Oracle ASM library driver configuration done

Creating /dev/oracleasm mount point done

Loading module "oracleasm" done

Mounting ASMlib driver filesystem done

Scanning system for ASM disks done

ASM的命令如下所示：

oracle@core01:~> /etc/init.d/oracleasm

Usage: /etc/init.d/oracleasm

{start|stop|restart|enable|disable|configure|createdisk|deletedisk|querydisk|l istdisks|scandisks|status}

现在，如下所示启用 ASMLib 驱动程序。

# /etc/init.d/oracleasm enable

ASM的安装和配置是要在集群中的每个节点上执行的

4.2用ASM Library Driver配置ASM的共享磁盘

4.2.1磁盘分区（fdisk）

使用multipath软件后，安装中它认成/dev/mapper/mpath0等，进行fdisk操作，

#fdisk /dev/mapper/mpath0 （core01）

#kpartx -a /dev/mapper/mpath0 (all)

4.2.2创建ASM磁盘

以 root 用户身份仅从一个集群主机节点上执行此操作。提示：以大写字母输入

DISK_NAME。

# /etc/init.d/oracleasm createdisk VOL1 /dev/mapper/mpath0p1

Marking disk "/dev/mapper/mpath0" as an ASM disk [ OK ] ……

TIP：根据我们的安装经验，创建ASM disk时只能绑定一个分区，而不能是一个设备

以下示例演示了如何列出标记为由 ASMLib 使用的所有磁盘。

# /etc/init.d/oracleasm listdisks

VOL1

……

在各个节点重新扫描ASM磁盘

# /etc/init.d/oracleasm scandisks

这样其他节点上的ASM Disk才有效。

第五部分安装配置Oracle RAC

5.1 配置环境变量

5.1.1 编辑.bashrc设置 ORACLE_BASE 和 ORACLE_HOME 等环境变量

基本路径：

ORACLE_BASE=/orac/oracle

ORACLE_HOME=$ORACLE_BASE/product/10.2.0/db_1

ORA_CRS_HOME=/orac/crs

CRS的目录不能是ORACLE_BASE的子目录

用oracle帐号编辑

$ vi /home/oracle/.bashrc

# .bash_profile

# Get the aliases and functions

if [ -f ~/.bashrc ]; then

. ~/.bashrc

fi

export JAVA_HOME=/usr/local/java

# User specific environment and startup programs

export ORACLE_BASE=/orac/oracle

export ORACLE_HOME=$ORACLE_BASE/product/10.2.0/db_1

export ORA_CRS_HOME=/orac/crs

export ORACLE_PATH=$ORACLE_BASE/common/oracle/sql:.:$ORACLE_HOME/rdbms/admin export CV_JDKHOME=/usr/local/java

# Each RAC node must have a unique ORACLE_SID. (i.e. racdb1, racdb2,...) export ORACLE_SID=coredb1

export PATH=.:${JAVA_HOME}/bin:${PATH}:$HOME/bin:$ORACLE_HOME/bin

export PATH=${PATH}:/usr/bin:/bin:/usr/bin/X11:/usr/local/bin

export PATH=${PATH}:$ORACLE_BASE/common/oracle/bin

export PATH=${PATH}:$ORA_CRS_HOME/bin

export ORACLE_TERM=xterm

export TNS_ADMIN=$ORACLE_HOME/network/admin

export ORA_NLS10=$ORACLE_HOME/nls/data

export NLS_DATE_FORMAT="DD-MON-YYYY HH24:MI:SS"

export LD_LIBRARY_PATH=$ORACLE_HOME/lib

export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:$ORACLE_HOME/oracm/lib

export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:/lib:/usr/lib:/usr/local/lib

export CLASSPATH=$ORACLE_HOME/JRE

export CLASSPATH=${CLASSPATH}:$ORACLE_HOME/jlib

export CLASSPATH=${CLASSPATH}:$ORACLE_HOME/rdbms/jlib

export CLASSPATH=${CLASSPATH}:$ORACLE_HOME/network/jlib

export THREADS_FLAG=native

export TEMP=/tmp

export TMPDIR=/tmp

然后执行

$ source .bash_profile

使环境变量生效

注意：ORACLE_SID每台机器不一样，如core01的SID为coredb1，core02的SID为coredb2，以此类推。

对LD_ASSUME_KERNEL环境变量的说明：

这个参数实际上是为了避免Linux上的 NPTL (Native POSIX Thread Library) 和Oracle应用不兼容的问题. 设定 LD_ASSUME_KERNEL为2.4.1表示使用旧有的 "Linuxthreads with floating stacks"

5.1.2创建CRS安装路径

1.CRS安装路径的创建及授权

如下所示：(all)

# mkdir -p /orac/crs

# chown -R oracle:oinstall /orac/crs

# chmod -R 775 /orac/crs

2.安装ocfs2集群文件系统

# yum install ocfs2* (all)

$ su -# ocfs2console & (core01)

使用 ocfs2console GUI 工具执行以下步骤：

1、选择 [Cluster] -> [Configure Nodes...]。这将启动 OCFS2 集群堆栈并显示“Node Configuration”对话框。

2、在“Node Configuration”对话框上，单击 [Add] 按钮。

这将显示“Add Node”对话框。

在“Add Node”对话框中，输入集群中第一个节点的 Host name 和 IP address。保留 IP Port 的默认值 7777。在我的示例中，我添加了两个节点，即用 core01 / 172.16.0.1 表示第一个节点，用 core02 / 172.16.0.2表示第二个节点。

注：输入的节点名“必须”与计算机的主机名相匹配，IP 地址将使用专用互连。

单击“Node Configuration”对话框上的 [Apply] —所有节点现在将处于“Active”状态，如图 20 所示。

单击“Node Configuration”对话框上的 [Close]。

3、确认所有值均正确后，使用 [File] -> [Quit] 退出应用程序。需要在集群的两个 Oracle RAC 节点上执行该操作。

# cat /etc/ocfs2/cluster.conf

node:

ip_port = 7777

ip_address = 172.16.0.1

number = 0

name = core01

cluster = ocfs2

node:

ip_port = 7777

ip_address = 172.16.0.2

number = 1

name = core022

cluster = ocfs2

cluster:

node_count = 2

name = ocfs2

配置 O2CB 在引导时启动并调整 O2CB 心跳阈值

您现在需要配置 OC2B 驱动程序的引导属性，以便在每次引导时将启动集群堆栈服务。您还需要将 OCFS2 心跳阈值的默认设置从 31 修改为 61。在集群的两个 Oracle RAC 节点上执行以下命令：

# /etc/init.d/o2cb offline ocfs2

# /etc/init.d/o2cb unload

# /etc/init.d/o2cb configure

Configuring the O2CB driver.

This will configure the on-boot properties of the O2CB driver.

The following questions will determine whether the driver is loaded on

boot. The current values will be shown in brackets ('[]'). Hitting

without typing an answer will keep that current value. Ctrl-C

will abort.

Load O2CB driver on boot (y/n) [n]: y

Cluster to start on boot (Enter "none" to clear) [ocfs2]: ocfs2

Specify heartbeat dead threshold (>=7) [31]: 61

Specify network idle timeout in ms (>=5000) [30000]: 30000

Specify network keepalive delay in ms (>=1000) [2000]: 2000

Specify network reconnect delay in ms (>=2000) [2000]: 2000

Writing O2CB configuration: OK

Loading module "configfs": OK

Mounting configfs filesystem at /sys/kernel/config: OK

Loading module "ocfs2_nodemanager": OK

Loading module "ocfs2_dlm": OK

Loading module "ocfs2_dlmfs": OK

Mounting ocfs2_dlmfs filesystem at /dlm: OK

Starting O2CB cluster ocfs2: OK

格式化 OCFS2 文件系统

$ su -

# mkfs.ocfs2 -b 4K -C 32K -N 4 /dev/mapper/XXX

创建ocfs2文件系统挂载点

# mkdir /orac/ocfs2

挂载 OCFS2 文件系统

$ su -

# mount -t ocfs2 -o datavolume,nointr /dev/mapper/XXX /orac/ocfs2

将 OCFS2 配置为在启动时自动挂载

# vi /etc/fstab

/dev/mapper/XXX /orac/ocfs2 ocfs2 _netdev,datavolume,nointr 0 0

检查新 OCFS2 文件系统的权限

权限0775，所有者“oracle”，组“oinstall”

# ls -ld /orac/ocfs2

# chown oracle:oinstall /orac/ocfs2

# chmod 775 /orac/ocfs2

2.OCR及voting disk安装

先解释一下ocr和vote文件的用途，OCR（Oracle Cluster Registry）：它记录了机群配置和机群数据库的基本配置，默认大概需要100M的空间；Vote：它是CSS（Cluster Synchronization Services）需要的文件，用来判断机群内各个节点的状态，默认大概也需要100M的空间。

创建 Oracle 集群件文件目录

# mkdir -p /orac/ocfs2/oradata/racdb

# chown -R oracle:oinstall /orac/ocfs2/oradata

# chmod -R 775 /orac/ocfs2/oradata

# ls -l /orac/ocfs2/oradata

5.1.3创建oracle安装路径

# mkdir -p /orac/oracle

# chown -R oracle:oinstall /orac/oracle

# chmod -R 775 /orac/oracle

5.2安装和卸载CRS

5.2.1安装CRS

需要注意的问题：

1、每一步都要看清楚安装路径是否正确

2、分清虚拟地址和专用地址

3、脚本要一个节点一个节点的执行，切不可同时执行

4、如果安装过程中出现in future。。。之类错误，应为两台主机时间不一致导致，解决方法：

1〉用root执行net time -I TARGETIP命令同步

2〉如果net time同步仍然不成功，最好配置一台服务器（节点中的一台为ntp服务器），

具体配置方法见后面附录

在安装CRS之前，确认显示没有问题：

# xhost +

解压CRS软件:

# cp 10201_clusterware_linux_x86_64.cpio.gz /home/oracle

# gzip -d 10201_clusterware_linux_x86_64.cpio.gz

# cpio -idmv < 10201_clusterware_linux_x86_64.cpio

# chown -R oracle:oinstall /home/oracle

# su oracle

切换到oracle用户，建立安装目录(该命令需要在各个节点上执行)

$ mkdir -p /orac/oracle/oraInventory

进入解压路径/home/oracle/cluterware执行（在集群的一个节点上执行）：

$ ./runInstall

进入图形配置界面：

1.Welcome；单击 Next

2.Specify Inventory Directory and Credentials —默认值应该就是正确的；确保inventory 目录位于 ORACLE_BASE 目录中（例如： /orac/oracle/oraInventory）并且操作系统组是“oinstall”（确保在 /etc/hosts 中而不仅仅是在 DNS 中配置了您的主机）

3.Specify File Locations —修改安装路径/orac/oracle/product/10.2.0/db_1为

/orac/crs (不能是oracle软件的子目录)

https://www.360docs.net/doc/9910173740.html,nguage Selection —确认默认值后继续

5.Cluster Configuration —输入集群名（或接受默认的“crs”）；配置public和private 地址时，public地址即为主机名（与hostname命令所示相同即可），注意大小写；private 地址即为ip，与/etc/hosts中所列相同，virtual 地址填写/etc/hosts中virtual address 对应的主机名

6.Private Interconnect Enforcement —为每个接口指定接口类型（公共、专用或“不使用”）

7.Oracle Cluster Registry —选择默认在 clusterSpecify OCR Location 中输入ocr disk名

/orac/ocfs2/oradata/racdb/OCRFile

/orac/ocfs2/oradata/racdb/OCRFile_mirror

8.Voting Disk —输入 voting disk 名：

/orac/ocfs2/oradata/racdb/OCRFile

/orac/ocfs2/oradata/racdb/CSSFile_mirror1

/orac/ocfs2/oradata/racdb/CSSFile_mirror2

9.Summary —单击 Install，开始安装。在安装到最后的时候又会弹出对话框，提示分别

在各节点上以root执行orainstRoot.sh和root.sh。注意不要同时运行这些脚本，等一个脚本结束后再运行另一个。

执行最后一个root.sh的时候,可能会报""eth0" is not public.Public interfaces should be used to configure virtual IPs."这样的错误.这时候需要以root用户去执行

$ORA_CRS_HOME/bin/vipca。起来图形界面——next——Network Interfaces (只选择用于公共网络的接口，本示例中为eth0，集群中所有主机上的这个接口必须相同，即如果在安装主机上该接口是eth0，则在集群中所有其他主机上都必须是eth0)。——Virtual IPs for cluster nodes 在vipca的提示框中输入/etc/hosts中事先定义的虚拟ip地址，vipca会自动将虚拟ip对应的hostname显示出来。VIP 配置助手创建并启动 VIP、GSD 和 ONS 应用程序资源。配置完毕后，oracle会自动为public网卡绑定虚拟地址。

在vipca配置完毕后，最好做一下关于vip地址的用户等效性。如执行

# ssh core02-vip

提示后，输入yes。

CRS 安装结束

从 $ORACLE_BASE/product/10.2.0/crs_1/bin 目录中运行 olsnodes 验证安装已成功；例如：

$ cd $ORACLE_BASE/product/10.2.0/crs_1/bin

$ olsnodes

core01

core02

Once CRS 已安装并运行；现在可以安装 Oracle RAC 软件的其余部分了。

5.2.2卸载CRS

如果我们安装CRS出现了问题，就必须要卸载CRS了。而CRS是一个很令人头疼的服务，卸载CRS也是一个非常繁琐的工作。在目前的release1中，如果机群中的一个节点重启（无论什么原因，即使crs服务是正常的），机群中的所有节点都会随之重启。因为CSS服务会定期检查机群中所有节点的服务可用性，当有一个节点出现问题，系统为了保证数据一致性，就会令其他节点重启，重新检查服务，直到所有节点服务都正常。但是就我们现在遇到的情况而言，这种重启后自动回复正常的情况极少（目前还没有自动恢复过），经常会导致loopreboot。因此，在metalink上有很多关于这方面的介绍。这里，作者将实战经验与网上经验相结合，总结如下（目前的方法就是卸载所有oracle服务和CRS，然后重装）。

1.阻止循环重启的方法

方法一：将CRS服务禁止

在机器重启之间的那几秒中检测时间内，执行

# /etc/init.d/init.crs disable

禁止crs服务，在下一此重启后，系统将停止循环，但是要把握操作时机。

方法二：拔掉与共享设备的连线

ocr和voting disk文件是存放在共享设备中的，而CSS进程每次都要从这些文件中读取机群

的配置信息，因此，在机器重启时断掉与共享设备的连接，机器也将停止循环重启。该方法操作简单，但是由于读取数据不完整，对于接下来的修复可能会带来一些不便。

方法三：改写启动脚本

将/etc/inittab中的最后三行注释掉，如：

#h1:35:respawn:/etc/init.d/init.evmd run >/dev/null 2>&1

#h2:35:respawn:/etc/init.d/init.cssd fatal >/dev/null 2>&1

#h3:35:respawn:/etc/init.d/init.crsd run >/dev/null 2>&1

令机器在下一次重启时，不在启动服务。该方法的操作时机要把握好，否则没等文件修改完毕，机器就又要重启。

2.在机群中的所有节点上执行$ORA_CRS_HOME/install/rootdelete.sh；

3.在机群中的任意一个节点上执行$ORA_CRS_HOME/install/rootdeinstall.sh；

4.用图形界面OUI卸载crs；

a)执行./runInstall

b)在界面中选择Installed；

c)选择home1，一般要先安装CRS，所以CRS的home一般都是home。

5.在机群所有节点上执行

/bin/rm -f /etc/init.d/init.cssd

/bin/rm -f /etc/init.d/init.crs

/bin/rm -f /etc/init.d/init.crsd

/bin/rm -f /etc/init.d/init.evmd

/bin/rm -f /etc/rc2.d/K96init.crs

/bin/rm -f /etc/rc2.d/S96init.crs

/bin/rm -f /etc/rc3.d/K96init.crs

/bin/rm -f /etc/rc3.d/S96init.crs

/bin/rm -f /etc/rc5.d/K96init.crs

/bin/rm -f /etc/rc5.d/S96init.crs

/bin/rm -rf /etc/oracle

/bin/rm -f /etc/inittab.crs

/bin/rm -f /etc/oratab

/bin/rm -f /etc/oraInst.loc

/bin/cp /etc/inittab.orig /etc/inittab

/bin/rm -rf /var/tmp/.oracle

/bin/rm -rf /u01/crs/oracle/product/10.1.0/crs_1

6.清掉共享磁盘上的内容。

如果ocr和voting disk所在分区不大，可以直接用下面命令清除：

# dd if=/dev/zero of=/orac/ocfs2/oradata/racdb/OCRFile

# dd if=/dev/zero of=/orac/ocfs2/oradata/racdb/CSSFile

7.如果可以，重启机群内所有节点。

8.清理干净后，按照5.2.1的介绍，重新安装CRS。

5.3安装 Oracle 数据库软件RAC

5.3.1 图形界面配置

执行以下命令(在集群的一个节点上)：

# cp 10201_database_linux_x86_64.cpio.gz /home/oracle

# cd /home/oracle

# gzip -d 10201_database_linux_x86_64.cpio.gz

# cpio -idmv < 10201_database_linux_x86_64.cpio

# cd /home/oracle/database

# su oracle

$ ./runInstall

启动图形界面

1.Welcome —单击 Next

2.Specify File Locations —确认默认值后继续

3.Specify Hardware Cluster Installation Mode —选择 Cluster Installation 并选择集群中的其他节点

4.Select Installation Type — Enterprise Edition

5.选择数据库配置—选择“Do not create a starter database”。（我们将在一个单独的步骤中使用数据库配置助手 (DBCA) 来创建数据库。）在安装到最后的时候又会弹出对话框，提示执行root.sh，这时从安装节点开始，每次在一个节点上运行 Oracle主目录中的 root.sh（例如： /orac/oracle/product/10.2.0/db_1/root.sh）。不要同时运行这些脚本。等一个脚本结束后再启动另一个.

6.Configuration Results —检查结果并单击 Exit。在其他节点上依次运行 root.sh。

7.安装结束

注意：在安装到 65%时，有一个错误：

信息: 终止从衍生进程输出。

信息: ----------------------------------

信息: 操作中出现异常错误: make

异常错误名: MakefileException

异常错误字符串: 调用 makefile

'/oracle/product/10.2.0/db_1/rdbms/lib/ins_rdbms.mk' 的目标 'all_no_orcl' 时出错。请参阅 '/oracle/oraInventory/logs/installActions2005-12-29_10-44-31AM.log' 以了解详细信息。

异常错误严重级: 1

需要binutils-2.15.92.0.2-13.0.0.0.2.x86_64.rpm补丁

并用root用户按以下语法安装：

# rpm -Uvh --force binutils-2.15.92.0.2-13.0.0.0.2.x86_64.rpm

安装完给补丁后，点重试，oracle顺利的安装完成

5.4 卸载 Oracle 数据库软件RAC

如果我们安装RAC出现了问题，就必须要卸载RAC了。

1.停止database的一些活动；

2.通过oui卸载RAC

3.如果想卸载的再干净一点，可以清空db_1下的所有内容。

4.由于$ORACLE_BASE/Orainventory记录了所有oracle软件的安装信息，所以一般不建议删除，否则包括CRS等信息也会被删掉。

创建 TNS 监听器进程

仅在集群 (core01) 的一个 Oracle RAC 节点上执行下列配置过程！Network Configuration Assistant (NETCA) 将在集群的两个 Oracle RAC 节点上的集群化配置中设置 TNS 监听器。

DBCA 需要在 RAC 集群的所有节点上配置并运行 Oracle TNS 监听器进程，然后它才能创建集群化数据库。

只需在集群的一个节点上执行 TNS 监听器创建过程。执行所有更改并将这些更改复制到集群的所有节点上。在一个节点（我将使用 core01）上，启动 NETCA 并执行创建新 TNS 监听器进程的过程，同时配置节点的本地访问权限。

$ netca &

下表将引导您为我们 RAC 环境创建一个新的 Oracle 监听器。

屏幕名称答复

Select the Type of Oracle

Net Services Configuration 选择 Cluster Configuration

Select the nodes to configure 选择所有节点：core01 和 core02。

Type of Configuration 选择 Listener configuration。

Listener Configuration —接下来 6 个屏幕后续屏幕现在与其他常规监听器配置相似。您只需接受后续 6 个屏幕的默认参数即可：

What do you want to do： Add

Listener name：LISTENER

Selected protocols：TCP

Port number：1521

Configure another listener：No

Listener configuration complete![ Next ]

您将返回到此 Welcome (Type of Configuration) 屏幕。

Type of Configuration 选择 Naming Methods configuration。

Naming Methods Configuration 后续屏幕是：

Selected Naming Methods： Local Naming

Naming Methods configuration complete![ Next ]

您将返回到此 Welcome (Type of Configuration) 屏幕。

Type of Configuration 单击 Finish 退出 NETCA。

Oracle TNS 监听器进程现在应在 RAC 集群的所有节点上运行：

$ hostname

core01

$ ps -ef | grep lsnr | grep -v 'grep' | grep -v 'ocfs' | awk '{print $9}' LISTENER_core01

=====================

$ hostname

core02

$ ps -ef | grep lsnr | grep -v 'grep' | grep -v 'ocfs' | awk '{print $9}' LISTENER_core02

第六部分创建和删除数据库

更改 ASM寻盘路径，

# vi /etc/sysconfig/oracleasm

ORACLEASM_SCANORDER="dm sd"

6.1 创建数据库

在以 oracle 用户身份登录时，设置环境并运行 dbca。

$ dbca

图形界面起来以后：

1.Welcome —选择“Oracle Real Application Clusters database”

2.Operations —创建数据库

3.Node Selection —单击 Select All

4.Database Templates —选择general

5.Database Identification —全局数据库名：coredb；SID: coredb

6.Management Options —利用 Enterprise Manager 配置数据库；使用数据库控制进行数据库管理

7.Database Credentials —为所有帐户使用相同的口令；输入口令并再次确认

8.Storage Options —自动存储管理 (ASM)

9.Create ASM Instance —设置 SYS 口令并确认；创建初始化参数文件 (IFILE)

10.ASM Disk Groups — Create New>Create Disk Group>Disk Group Name (DATA)；冗余（external）；更改磁盘发现路径（ORCL:* —即使磁盘显示为已供应状态，仍然必须输入此项，否则会出错）；选择磁盘；输入故障组名；选择新创建的磁盘组

11.Database File Locations —使用 Oracle 管理的文件

12.Recovery Configuration —单击 Next

13.Database Content —示例模式

14.Initialization Parameters —内存:把默认的40％改为60％；字符集的设定:要选择ZHSGBK16和UTF8。

15.Database Storage —单击 Next

16.Create Options —选择“Create Database”

17.Summary —检查总结信息并单击 OK

根据经验，需要注意的有几下几点：

1.使用ASM管理共享磁盘的方法，将为数据库中的每个节点创建自己的ASM实例。如果系统中已存在ASM实例，可以继续使用，但需要输入ASM的管理密码；

2.使用ASM需要创建ASM DiskGroup，如果磁盘组存在，则可以选用现有的组；如果不存在，要创建一个。

a)点击“create new”，输入磁盘组的名称；

b)冗余程度。如果你的盘阵本身有raid保护，则可以选择external，这样的空间利用率最大；否则，normal的利用率是一半，因为是两个failure group做镜像；high的利用率是三分之一，因为是三个failure group做镜像；

c)磁盘候选。分为“show member”和“show all”两种，第一种显示尚未分配的磁盘，第二种显示所有磁盘。有时虽然已经删掉了以前的数据库，但是没有删掉磁盘组，所以磁盘仍会显示为已用，这是就需要show all。切记，一定要修改磁盘路径为ORCL:*，否则即使选中也会被视为无效。如果想选择那些已经被其他组用过的盘，则需要选择force，强制执行。

3.创建DB过程中会报错，点击确定即可。随后dbca会自动启动各个节点的instance，但是除了安装节点的正常，其他的都会报错。这是因为创建的ASM DiskGroup的时候，其他节点的ASM实例没有mount磁盘组。因此需要在其他节点上执行一下命令：

# srvctl stop asm -n hostname

# srvctl start asm -n hostname

# srvctl start instance -I instance_name on hostname-d database_name

最后用命令

# srvctl status database -d database_name

检查，是否所有节点的instance都已经running。