隨著資料庫技術普及,企業累積龐大資料資產。資料探勘 (Data Mining) 正是從這些「海量資料」中自動發掘隱藏模式、支援預測性決策的關鍵技術。本文梳理演進歷程、核心能力與主流演算法。
| 基石 | 現狀 |
|---|---|
| 海量資料蒐集 | 資料倉庫廣泛落地,商業資料庫空前增長 |
| 強大多處理器運算 | 平行運算 (MPP) 技術成熟,滿足高效能需求 |
| 資料探勘演算法 | 經 10+ 年發展,已成熟、穩定、易操作 |
| 階段 | 年代 | 商業問題範例 | 支援技術 | 代表廠商 | 資訊特性 |
|---|---|---|---|---|---|
| 資料蒐集 | 60年代 | 過去五年總營收? | 電腦、磁帶/碟 | IBM, CDC | 歷史、靜態 |
| 資料存取 | 80年代 | 新英格蘭分部去年三月銷售? | RDBMS, SQL, ODBC | Oracle, Sybase, IBM, Microsoft | 記錄級、動態 |
| 資料倉庫/決策支援 | 90年代 | 波士頓分部結論為何? | OLAP, 多維資料庫, 倉庫 | Pilot, Comshare, Arbor, Cognos | 多層次、回溯、動態 |
| 資料探勘 | 流行中 | 下月波士頓銷售如何?為何? | 高階演算法, MPP, 海量庫 | Pilot, Lockheed, IBM, SGI, 新創 | 預測性 |
第四階段為革命性突破:從「回顧過去」轉向「預測未來並解釋原因」。
搭配高效能關聯式引擎與廣泛資料整合,推進探勘進入實用階段。
| 能力 | 說明 | 商業範例 |
|---|---|---|
| 自動趨勢預測 | 大量資料中自動尋找預測訊號 | 目標行銷:找出最可能回應直銷的客戶 |
| 自動發現未知模式 | 掃描全庫辨識隱藏模式 | 市場籃子分析:表面無關商品實際常一起購買 |
| 深度擴展 (更多欄位) | 不再受限於變數子集,全變數納入運算 | 發現被捨棄變數中的隱藏價值 |
| 廣度擴展 (更多列/樣本) | 大樣本降低誤差機率 | 精確推導微小但關鍵結論 |
| 技術 | 原理 | 典型應用 |
|---|---|---|
| 類神經網路 | 模擬生理神經非線性預測,透過學習辨識模式 | 信用評分、詐騙偵測 |
| 決策樹 | 樹狀結構呈現決策規則集 | 客戶分群、風險分級 |
| 遺傳演算法 | 基於演化理論 (交叉、突變、自然選擇) 的優化搜尋 | 排程優化、參數調校 |
| 鄰近演算法 | 基於相似度的記錄分類 (KNN 等) | 推薦系統、異常偵測 |
| 規則推導 | 從統計意義挖掘「如果-那麼」關聯規則 | 市場籃子分析 (Apriori) |
早期專用分析工具面對較小資料量;現今上述技術已直接整合進主流工業級資料倉庫 (Teradata、Exadata、Snowflake 等) 與 OLAP 系統,實現原地探勘、即時評分。