Oracle RAC 故障排查實戰：存儲鏈路故障導致雙節點 CRSD 同時重啟

Oracle RAC 故障排查實戰：存儲鏈路故障導致雙節點 CRSD 同時重啟

故障現象

• 環境：Oracle 11.2.0.4，雙節點 RAC
• CRSD 進程意外退出，集群未自動切換
• 短時間內多次發生

關鍵日誌分析

Clusterware Alert Log

節點1: 2016-03-18 23:25:38.643 [cssd] CRS-1615: No I/O completed after 50% max interval. Voting file /dev/raw/raw1 not functional in 99220ms
節點1: 23:26:58 CRSD REBOOT: Could not init OCR, code: 26

節點2: 2016-03-18 23:25:36.834 [cssd] CRS-1615: ... 99760ms
節點2: 23:26:59 CRSD REBOOT: Could not init OCR, code: 26

兩節點 CRSD 重啟僅差 1 秒，Voting file 不可用差 2 秒 → 極大概率非 RAC 自身問題。

作業系統日誌（關鍵突破口）

節點1: Mar 18 23:26:38 kernel: bfa ... Remote port (WWN=50:0b:34:20:0f:f4:f8:08) connectivity lost
節點2: Mar 18 23:26:48 kernel: bfa ... Remote port (WWN=50:0b:34:20:0f:f4:f8:08) connectivity lost

雙節點幾乎同時丟失對同一存儲端口（WWN）的連通性 → 確認為存儲鏈路故障。

根因結論

存儲光纖鏈路中斷導致 Voting Disk 與 OCR 不可讀，CSSD 心跳失敗觸發節點自我重啟（Reboot）以防腦裂。存儲廠商（宏杉）介入檢修後恢復。

運維經驗總結

1. RAC 異常不一定是數據庫問題：存儲、網絡、OS 層面同樣關鍵
2. 雙節點近同時故障：優先排查共享基礎設施（存儲/網絡）
3. OS 日誌是金鑰鑰：/var/log/messages 常比數據庫日誌更早揭示底層硬體故障
4. 建立全棧排查思維：DBA 需具備基本存儲/網絡/OS 故障判斷能力

原文：ChinaUnix 博客