資料挖掘 從大量資料中自動發現模式、關聯與異常,核心步驟為統計與模式識別演算法。典型應用:零售業追蹤顧客購買歷程,發現「買真絲襯衫者常搭配領帶」,進而精準行銷。
關鍵環境:OLAP 與資料倉庫
- OLTP (聯機交易處理):高併發增刪改查 (訂票、存款),強調回應時間與一致性。
- OLAP (聯機分析處理):面向決策分析,核心操作為切片、切塊、鑽取、旋轉,需多維資料模型。
- 資料倉庫:整合 OLTP、異構來源、離線歷史資料,經清洗、轉換、載入 (ETL) 形成面向主題、非揮發、時變的資料集市,滿足 OLAP 與資料挖掘的查詢效能需求。
資料挖掘建立在 OLAP/資料倉庫之上,而非直接對 OLTP 操作,避免影響線上業務。
資料挖掘流程 (KDD)
- 資料選擇:從倉庫抽取相關資料集。
- 前處理:清洗 (缺失值、雜訊、不一致)、整合、轉換 (歸一化、離散化)。
- 挖掘:套用演算法 (分類、迴歸、聚類、關聯規則、序列模式)。
- 模式評估:以興趣度、信心度、提升度等指標篩選有用模式。
- 知識表示:視覺化、報表、規則部署至業務系統。
常見演算法分類
| 類別 | 代表演算法 | 應用 |
| 分類 | 決策樹 (C4.5, CART), 樸貝葉斯, SVM, 隨機森林 | 客戶流失預測, 信用評分 |
| 迴歸 | 線性迴歸, 決策樹迴歸 | 銷售額預測, 價格優化 |
| 聚類 | K-Means, DBSCAN, 階層聚類 | 客戶分群, 異常偵測 |
| 關聯規則 | Apriori, FP-Growth | 市場籃子分析, 推薦系統 |
| 序列模式 | GSP, PrefixSpan | 網頁點擊流分析, 故障預警 |
企業落地關鍵
- 資料品質決定成敗:Garbage In, Garbage Out。
- 業務理解優於演算法調參:先定義問題,再選工具。
- 模型部署與監控:建立 A/B 測試、模型漂移偵測、定期重訓練機制。