Oracle 11g 連接失敗 ORA-12537 + ORA-609 根因分析：監聽日志撐爆 4G 導致寫入阻塞

Oracle 11g 連接失敗 ORA-12537 + ORA-609 根因分析：監聽日志撐爆 4G 導致寫入阻塞

一套穩定運行一年的 Oracle 11g 應用系統突然無法連接，報錯 `ORA-12537: TNS:connection closed`、`ORA-609: TNS:protocol adapter error`。監聽狀態查詢卡頓 10 分鐘，`tnsping` 無響應，但本地 `sqlplus` 登錄正常。本文通過完整日志分析、進程追蹤、文件系統檢查，定位根因：**監聽日志文件 `listener.log` 達到 4GB 文件系統限制，無法寫入導致監聽進程阻塞，拒絕新連接**。

一、 故障現場與錯誤碼解碼

客戶端錯誤

Fatal NI connect error 12537, connecting to: (LOCAL=NO)
VERSION INFORMATION:
 TNS for 64-bit Windows: Version 11.2.0.1.0 - Production
...
Tns error struct:
 ns main err code: 12537
 TNS-12537: TNS:connection closed
 ns secondary err code: 12560
 TNS-12560: TNS:protocol adapter error
 nt main err code: 0
 nt secondary err code: 0
 nt OS err code: 0
opiodr aborting process unknown ospid (6052) as a result of ORA-609

• ORA-12537 / TNS-12537： 連接被關閉，通常因監聽端無法完成握手、寫入日志失敗、進程創建失敗。
• ORA-609： 由於協議適配器錯誤導致進程中止，這裡是監聽器派生服務進程 (`oracle` 影子進程) 失敗被中止。
• 關鍵線索： `LOCAL=NO` 表示遠程連接；`opiodr aborting process` 顯示服務進程被強制終止。

監聽器日志 (`$ORACLE_HOME/network/log/listener.log`) 關鍵片段

TNS-12560: TNS:protocol adapter error
TNS-00530: Protocol adapter error
64-bit Windows Error: 53: Unknown error
TNS-12518: TNS:listener could not hand off client connection
TNS-12571: TNS:packet writer failure
TNS-12560: TNS:protocol adapter error
TNS-00530: Protocol adapter error
64-bit Windows Error: 54: Unknown error

• TNS-12518： 監聽程序無法分發客戶機連接 (Handoff 失敗)。
• TNS-12571： 包寫入程序失敗 (監聽寫入網絡包/日志失敗)。
• Windows Error 53/54： 文件系統/網絡路徑相關錯誤，此處實為 **文件寫入失敗 (磁盤滿/文件大小限制)** 的映射。

二、 根因定位鏈路

1. 現象： `lsnrctl status` 卡頓 10 分鐘 → 監聽主進程主線程阻塞。
2. 排除連接數限制： `SHOW PARAMETER sessions/processes` vs `SELECT COUNT(*) FROM V$SESSION` → 連接數遠未達上限。
3. 檢查監聽日志文件大小： `ls -lh $ORACLE_HOME/network/log/listener.log` → **4.0 GB** (NTFS/FAT32 單文件 4GB 限制或磁盤配額)。
4. 驗證寫入阻塞： 監聽每接收一個連接請求需寫入日志，文件達上限 → `write()` 系統調用阻塞/失敗 → 監聽主線程卡死 → 無法處理新連接握手 (Handoff) → 客戶端收到 `TNS-12537/12518`。
5. 本地連接正常： `sqlplus / as sysdba` 使用 Bequeath 協議 (IPC/共享內存) 直連實例，**繞過監聽器**，故不受影響。

三、 解決方案與驗證

緊急處理：刪除/歸檔超大日志文件

# 1. 停止監聽 (可選，監聽會自動重建日志文件)
lsnrctl stop

# 2. 刪除或移動舊日志 (建議歸檔壓縮保留)
mv $ORACLE_HOME/network/log/listener.log $ORACLE_HOME/network/log/listener.log.20150616
gzip $ORACLE_HOME/network/log/listener.log.20150616

# 3. 啟動監聽
lsnrctl start

# 4. 驗證
lsnrctl status  # 秒級返回
tnsping   # 正常響應
# 遠程應用恢復連接

根治方案：監聽日志自動輪轉與大小限制 (11g+ 原生支援)

-- 修改 listener.ora，添加/修改以下參數
LISTENER =
  (DESCRIPTION_LIST =
    (DESCRIPTION =
      (ADDRESS = (PROTOCOL = TCP)(HOST = your_host)(PORT = 1521))
    )
  )

-- 日志控制參數 (11g 引入 ADR 自動診斷庫，但傳統 listener.log 仍受控於以下參數)
LOG_DIRECTORY_LISTENER = /u01/app/oracle/diag/tnslsnr/host/listener/alert  -- 建議指向 ADR 目錄 (無 4G 限制)
LOG_FILE_LISTENER = listener.log
LOGGING_LISTENER = ON
-- 關鍵：啟用自動輪轉 (11.2.0.2+)
LOGGING_LISTENER = ON
LOG_FILE_NUM_LISTENER = 10        -- 保留 10 個輪轉文件
LOG_FILE_SIZE_LISTENER = 100M     -- 每文件最大 100MB (觸發輪轉)

-- 或者完全切換到 ADR (Automatic Diagnostic Repository) 管理
-- ADR 基礎目錄: DIAGNOSTIC_DEST (默認 $ORACLE_BASE)
-- 監聽 ADR Home: $ADR_BASE/diag/tnslsnr//
-- ADR 內部自動管理 alert/log/trace，無單文件大小限制，支援自動清理 (SHORTP_POLICY/LOG_POLICY)
-- 確保 listener.ora 未硬編碼 LOG_FILE_LISTENER 到非 ADR 路徑

四、 同類文件「隱形炸彈」清單

五、 運維體系建設：日志管理自動化

1. 監控告警： 文件系統使用率 > 80% 告警；關鍵日志文件大小 > 1GB 告警 (腳本巡檢 `ls -lh`)。
2. 定期清理作業： `DBMS_SCHEDULER` / `crontab` 每日執行：

   find $ORACLE_BASE/diag -name "*.trc" -mtime +30 -delete
   find $ORACLE_BASE/diag -name "*.trm" -mtime +30 -delete
   find $ORACLE_HOME/network/log -name "*.log" -size +500M -exec mv {} {}.old \; -exec gzip {}.old \;

3. ADR 策略配置： `adrci> SET CONTROL (SHORTP_POLICY = 720, LONGP_POLICY = 8760)` (小時)，自動清理短期/長期文件。
4. 變更管理： 任何修改 `listener.ora`、`sqlnet.ora`、啟用追蹤事件，納入變更流程，評估日志增長影響。

這個「小文件大故障」案例深刻警示：**日志文件無限增長是定時炸彈**。現代 Oracle 運維必須將日志管理納入基礎設施自動化體系，利用 ADR 原生能力、文件系統配額、監控告警、定期清理，將風險消滅在萌芽狀態。細節決定成敗，日志管理不容忽視。