整合 IBM OmniFind 卸載 DB2 查詢與全文檢索壓力的替代架構

背景與動機

隨著資料量爆炸與用戶激增，傳統 Web 應用將查詢與全文檢索直接下推至 DB2，導致資料庫成為系統瓶頸。若引入外部搜尋引擎（如 Google 站內搜尋），又面臨結果不全、權限不可控、資安風險等問題。本文提出一種架構：讓 DB2 專注於即時性極強的核心交易（寫入、更新、強一致性查詢），將即時性要求較低的複雜查詢與全文檢索卸載給企業級搜尋平台 IBM OmniFind，從而大幅降低 DB2 壓力並提升查詢效能。

IBM OmniFind 簡介

OmniFind 是企業級資訊搜尋平台，支援多元資料源（檔案系統、資料庫、郵件、ECM 等），可整合 UIMA 第三方分析元件，滿足高安全性、高可用性、高效能與擴展性需求，提供彈性部署選項。

DB2 與 OmniFind 無縫整合架構

1. 爬取：依表結構，使用 OmniFind JDBC Crawler 將目標表資料爬取至 OmniFind 原始資料庫。可透過 JDBC Crawler Plug-in 定義多表關聯（類似 Hibernate 關聯查詢），在資料庫閒置時段（如凌晨 3 點）排程執行。
2. 解析：OmniFind Parser 解析原始資料，若需特殊文本分析或智慧查詢，可在解析階段整合 UIMA 自訂分析器。
3. 索引：OmniFind Indexer 建立索引，完成後即可用 OmniFind 進階查詢語法實現相當於 SQL 的查詢功能。若部分需求即時性較高，可建立獨立集合並縮短爬取/索引週期。

核心優勢：查詢完全在 OmniFind 索引上執行，零 DB2 負載；目標表可省去索引，提升寫入效能並節省儲存空間；OmniFind 次秒級查詢速度遠優於 DB2 全文檢索。

OmniFind 關鍵差異化功能

• 動態文件摘要：依搜尋詞自動生成摘要，讓使用者秒懂結果相關性。
• 匹配度評分與高亮：關鍵字高亮、拼字校正、模糊搜尋、同義詞擴展、語意搜尋。
• 多維排序：文字相關性動態評分、靜態排序（引用計數、時間戳）、欄位權重排序。
• 二次檢索：在首次結果集上疊加新條件，利用快取大幅縮短時間。
• 搜尋詞過濾：支援停用詞等過濾規則。

針對 DB2 的 JDBC Crawler 與 Plug-in 實作範例

環境與測試資料

DB2 V9.1、OmniFind Enterprise Edition V8.5、Windows Server 2003 同機部署。建立 PRODUCTINFO（商品主檔）與 SALESINFO（銷售明細）兩表，透過 PID 外鍵關聯，並灌入測試資料。

JDBC Crawler Plug-in 設定

Plug-in 為 XML 設定檔，定義表關聯與爬取規則。關鍵點：

• RelationMap 的 Root 必須是「含外鍵的表」（本例為 SALESINFO）。
• 主外鍵欄位名稱在兩表必須一致（皆為 PID）。
• Field 的 Name 屬性建議帶入表名標識（如 NAME_PRODUCTINFO），便於後續特定欄位查詢。

<Crawler Version="1.00">
  <DataSources>
    <Server DBURL="jdbc:db2://9.181.139.53:50000/liyulong">
      <JDBCDriver>com.ibm.db2.jcc.DB2Driver</JDBCDriver>
      <User>db2admin</User>
      <Password Encryption="False">search</Password>
      <RelationMap Root="ADMINISTRATOR.SALESINFO">
        <Relation Parent="ADMINISTRATOR.SALESINFO" ParentAlias="T0" ParentKey="PID"
          Child="ADMINISTRATOR.PRODUCTINFO" ChildAlias="T1" ChildKey="PID" />
      </RelationMap>
      <Target TableAlias="T1">
        <Field Name="PID" FieldName="PID" Enabling="False" Searchable="True" IsContent="True" />
        <Field Name="NAME" FieldName="NAME_PRODUCTINFO" Enabling="True" Searchable="True" IsContent="True" />
        <Field Name="DESCRIPTION" FieldName="DESCRIPTION_PRODUCTINFO" Enabling="True" Searchable="True" IsContent="True" />
      </Target>
    </Server>
  </DataSources>
</Crawler>

爬取完成後，多表關聯資料會合併為單一 Document 存放於 OmniFind 原始資料庫。

JDBC Crawler 部署步驟

1. 複製 crawler_rdb_plugin.xml 至 master_config 並依需求修改。
2. 重啟 OmniFind：esadmin system stop && esadmin system start。
3. 管理主控台建立 Collection → 新增 JDBC Crawler → 填入 Plugin 類別 com.ibm.es.plugin.rdb.RDBPlugin 與完整 Classpath（含 plugin_rdb.jar、db2jcc.jar、db2jcc_license_cu.jar）。
4. 設定 JDBC 連線資訊（Driver、URL、認證、排程）。
5. 選擇爬取表（僅需配置 Parent 表與 Plug-in 未出現的表）。
6. 停止並重新啟動 Crawler 開始爬取。
7. 主控台執行 Parser 與 Index（OmniFind 8.5 索引時需啟用模糊字元配置）。

SQL 查詢對應 OmniFind 查詢語法速查

前端應用可封裝 OmniFind 查詢語法，提供類似資料庫的查詢介面，使用者無需了解底層語法細節。

總結

DB2 + OmniFind 混合架構將「寫多讀少、強一致」交易留給 DB2，「讀多寫少、複雜檢索」交給 OmniFind，雙引擎各司其職，實現效能與成本的最佳平衡。對於即時性要求極高的少數查詢，可建立高頻爬取集合補足；其餘絕大多數報表、搜尋、分析查詢皆可安全卸載。