Oracle GI Rebootless Fencing 失敗原因深度解析與日誌診斷指南

Oracle GI Rebootless Fencing 失敗原因深度解析與日誌診斷指南

Oracle Grid Infrastructure (GI) 11.2.0.2 引入 Rebootless Fencing 機制：當節點被驅逐時，嘗試優雅停止 GI 服務以避免強制重啟。若優雅停止失敗，則回退至傳統節點重啟。本文詳細分析失敗常見原因，並提供關鍵日誌診斷路徑。

Rebootless Fencing 工作原理

1. 叢集同步服務 (CSSD) 偵測到節點網路分區或心跳遺失。
2. 決定驅逐節點，觸發 Rebootless Fencing：通知該節點 cssdagent/cssdmonitor 優雅關閉 CRS 資源。
3. 若所有資源在時限內成功停止，節點存活但離開叢集；否則強制重啟節點。

失敗核心原因：資源無法優雅停止

最常見原因是 CRSD 管理的使用者資源 (如資料庫、Listener、自訂腳本) 停止超時或失敗，導致清理階段失敗，進而觸發節點重啟。

關鍵日誌分析實戰

1. 被驅逐節點的 alert.log ($GI_HOME/log//alert.log)

2012-09-11 12:04:36.586 [crsd(26115)] CRS-5833: Cleaning resource 'zDRMON.sh.racnode2 1 1' failed as part of reboot-less node fencing
2012-09-11 12:04:36.588 [cssd(18834)] CRS-1653: The clean up of the CRSD resources failed. ##>> user resource fails to be cleaned
2012-09-11 12:04:37.062 [ohasd(16821)] CRS-2765: Resource 'ora.crsd' has failed on server 'racnode2'. ##>> node rebooted after this message

關鍵證據：CRS-5833 指出具體資源清理失敗，CRS-1653 確認 CRSD 資源清理整體失敗，導致重啟。

2. cssdmonitor / cssdagent 日誌 ($GI_HOME/agent/ohasd/oracssdmonitor_root/oracssdmonitor_root.log)

2012-09-11 12:04:37.036 [CSSCLNT] clssgsGroupGetStatus: communications failed (0/3/-1)
2012-09-11 12:04:37.036 [USRTHRD] clsnomon_status: Communications failure with CSS detected. Waiting for sync to complete...
2012-09-11 12:04:37.139 [USRTHRD] clsnSyncComplete: posting omon

顯示 CSS 通訊中斷，監控進程嘗試同步後決定發起重啟。

3. crsd 日誌 ($GI_HOME/log//crsd/crsd.log)

由於使用者資源停止失敗，crsd.log 是進一步診斷的起點，可查看具體資源停止錯誤碼與堆疊追蹤。

診斷步驟建議

1. 在 alert.log 搜尋 CRS-5833 或 CRS-1653 定位失敗資源。
2. 檢查該資源對應的 Agent 日誌 ($GI_HOME/agent/crsd/...) 了解停止失敗細節。
3. 確認資源停止腳本/指令是否存在死循環、權限不足、相依服務未就緒等問題。
4. 評估是否調大 _rebootless_fencing_timeout 相關參數（需 Oracle 支援指導）。

預防最佳實踐

• 確保所有 CRS 資源的停止動作冪等、快速、可靠（< 30 秒）。
• 定期演練節點驅逐測試，驗證 Rebootless Fencing 成功率。
• 監控 crsd、cssd 關鍵進程健康狀態，預警異常。
• 保持 GI 版本更新，修復已知 Fencing 相關 Bug（如 11.2.0.3+ 多項增強）。