機器學習讀書筆記（二）：概念學習與歸納偏置深度解析

核心觀點

概念學習雖在實際應用中較少直接使用，但它是理解歸納偏置的關鍵切入點。歸納偏置是機器學習算法能夠泛化的基石，本文將系統梳理概念學習定義、形式化表達及歸納偏置的核心作用。

概念學習的形式化定義

給定樣本集合及其屬於目標概念的標註，自動推導概念的通用定義。更精確地說：

概念學習是從某布爾函數的輸入輸出訓練樣本中推斷該函數。目標函數形式為 f: X → {0,1}，屬於監督學習中的分類問題。

經典案例：Aldo的游泳決策

目標：預測Aldo是否去海邊游泳（EnjoySport）。每個樣本包含6個屬性：Sky、AirTemp、Humidity、Wind、Water、Forecast。

假設空間表示

採用屬性值約束向量表示假設，每個屬性可取三類值：

• ?：接受任意值（最寬鬆）
• 具體值（如Warm）
• ∅：不接受任何值（最嚴格）

例如「僅在寒冷潮濕天游泳」表示為：<?, Cold, High, ?, ?, ?>

歸納偏置的關鍵作用

假設空間雖大，但未包含所有可能的布爾函數（如析取正規形式）。學習算法必須預設某種偏好——即歸納偏置——才能從有限數據泛化到未見樣本。常見偏置包括：

• 假設空間限制（如僅考慮合取假設）
• 偏好簡單假設（奧卡姆剃刀）
• 偏好平滑決策邊界

沒有歸納偏置，學習系統無法在未見數據上做出合理預測，這是機器學習「免費午餐定理」的核心含義。

總結

概念學習雖屬基礎，但通過它可清晰看到：學習的本質是在假設空間中搜索，而歸納偏置決定了搜索的方向與邊界。後續將探討版本空間、候選消除算法等進階主題。