Oracle VM (Xen) 虛擬環境部署 Oracle Clusterware 11g RAC 完整實戰手冊

背景與優勢

缺乏實體多節點硬體時，可用 Oracle VM (基於 Xen) 建立虛擬機叢集，快速驗證/學習 RAC 架構。OVM 2.1.1 可從 OTN 免費下載，支援模板快速佈署、虛擬磁碟動態擴充。

1. 建立兩節點虛擬機

• 模板建立 RAC1_13、RAC2_13。
• 記憶體 ≥ 1 GB；雙網卡：
  eth0 = Public (10.182.108.x)；eth1 = Private Interconnect (192.168.0.x)。
• OS：Oracle Enterprise Linux 4 Update 5 (雙節點一致)。
• Power On 所有節點。

2. Clusterware 安裝前系統就緒清單

2.1 硬體門檻 (雙節點)

• RAM ≥ 1 GB、Swap ≥ 1.5 GB、/tmp ≥ 400 MB。
• CRS Home 650 MB + CRS Files 1 GB；DB Home ≥ 4 GB；不足掛載額外虛擬磁碟。

2.2 軟體套件 (RPM) 檢查

binutils-2.15.92.0.2-18  glibc-2.3.9.4-2.19  glibc-devel-2.3.9.4-2.19
gcc-3.4.5-2  gcc-c++-3.4.5-2  libaio-0.3.105-2  libaio-devel-0.3.105-2
make-3.80-5  ... (完整清單見正文)

模板可能缺套件，安裝前務必 rpm -q 逐一核對，缺漏用 rpm -ivh 補裝。

2.3 網路配置 (/etc/hosts)

127.0.0.1   localhost.localdomain localhost
10.182.108.86  rac1_13.cn.oracle.com rac1_13
10.182.108.87  rac1_13-vip.cn.oracle.com rac1_13-vip
192.168.0.11   rac1_13-priv.cn.oracle.com rac1_13-priv
192.168.0.12   rac2_13-priv.cn.oracle.com rac2_13-priv
10.182.108.88  rac2_13.cn.oracle.com rac2_13
10.182.108.89  rac2_13-vip.cn.oracle.com rac2_13-vip

修改 /etc/sysconfig/network 設定 hostname (RAC1_13/RAC2_13)。

2.4 核心參數 (/etc/sysctl.conf)

kernel.shmmax = 536934400
kernel.shmall = 3279547
kernel.shmmni = 4096
kernel.sem = 250 32000 100 142
fs.file-max = 327679
fs.aio-max-nr = 3145728
net.ipv4.ip_local_port_range = 1024 65000
net.core.rmem_default = 262144
net.core.rmem_max = 2097152
net.core.wmem_default = 262144
net.core.wmem_max = 262144
vm.lower_zone_protection = 100

生效：sysctl -p。

2.5 用戶/群組

groupadd -g 501 oinstall
groupadd -g 502 dba
useradd -g oinstall -G dba oracle

2.6 SSH 互信 (建議) / RSH

1. oracle 用戶建立 ~/.ssh (chmod 700)。
2. ssh-keygen -t rsa 產生金鑰對 (無密碼)。
3. 將所有節點 id_rsa.pub 彙總至 authorized_keys，scp 分發至各節點 ~/.ssh/。
4. 啟動 ssh-agent、ssh-add 載入金鑰。
5. 驗證：ssh rac1_13 date、ssh rac2_13-priv date 免密登入成功。

RSH 替代方案見正文 (需 rsh-server、hosts.equiv、關閉 SELinux)。

2.7 使用者環境資源限制

/etc/security/limits.conf:
oracle soft nproc 2047
oracle hard nproc 16384
oracle soft nofile 1024
oracle hard nofile 65536

/etc/pam.d/login: session required pam_limits.so

/etc/profile: if [ $USER = "oracle" ]; then ulimit -u 16384 -n 65536; umask 022; fi

2.8 NFS 共享儲存 (OCR / Voting Disk / DB Files)

• NFS Server: 10.182.108.27，匯出 /crs_13、/racdb_13 (rw,sync,no_root_squash)。
• 節點掛載 /etc/fstab：
  10.182.108.27:/crs_13 /crs_13 nfs rw,bg,hard,nointr,rsize=32768,wsize=32768,tcp,actimeo=0,vers=3,timeo=600
  同樣掛載 /racdb_13。
• 建立目錄權限：
  mkdir /crs_13 /racdb_13; chown root:oinstall /crs_13; chmod 775 /crs_13; chown oracle:dba /racdb_13; chmod 775 /racdb_13。

2.9 本地虛擬磁碟擴充 (CRS Home)

• OVM Console 為每節點新增 5GB 虛擬磁碟 (/dev/hdb)。
• fdisk /dev/hdb 建立 hdb1 → mkfs.ext3 -b 1024 -i 8192 /dev/hdb1 → 掛載 /data → /data/crs (oracle:oinstall 775)。

2.10 建立 OCR / Voting Disk 檔案

# 在節點 1 /crs_13
touch ocrfile votingfile
chown root:oinstall ocrfile; chmod 775 ocrfile
chown oracle:dba votingfile; chmod 775 votingfile

3. 安裝 Clusterware 11g

1. 解壓 Linux_11gR1_clusterware.zip 至 /stage。
2. ./runInstaller 圖形化安裝：
   ① Inventory 目錄 + oinstall 群組；
   ② CRS Home: /data/crs；
   ③ 節點清單 (與 /etc/hosts 一致)；
   ④ Public/Private 介面指派；
   ⑤ OCR 路徑: /crs_13/ocrfile；
   ⑥ Voting Disk: /crs_13/votingfile；
   ⑧ 開始安裝。
3. 所有節點**依序**以 root 執行 /data/crs/root.sh (節點 1 完成後再節點 2)。
4. 安裝結束驗證：
   crs_stat -t 顯示 GSD/ONS/VIP 全部 ONLINE；
   ps -ef | grep d.bin 見 ocssd.bin、crsd.bin、evmd.bin 進程。

4. 後續步驟 (不在本文範圍)

• 安裝 Oracle Database 11g RAC (Home: /racdb_13)。
• 使用 DBCA 建立 RAC 資料庫 (資料檔置於 /racdb_13 NFS)。

關鍵驗證指令速查

crs_stat -t          # 叢集資源狀態
ocrcheck             # OCR 完整性
crsctl check crs     # CRS 守護進程狀態
srvctl config database -d   # 資料庫配置