經典公開資料集(適合畢業設計/研究)
| 名稱 | 規模 | 特點 | 下載連結 |
| NASA HTTP Logs | ~3M 行 / 兩個月 | 真實伺服器存取日誌,含 GET/POST、狀態碼、User-Agent | ITA Archive |
| ClarkNet Access Logs | ~1.2M 行 / 一個月 | ISP 用戶瀏覽日誌,適合用戶行為分析 | ITA Archive |
| ECML PKDD 2005 Discovery Challenge | 多站點合集 | 含會話標識,適合推薦系統/序列挖掘 | KDD Cup |
| W3C Log Format Sample | 小型教學用 | 標準 CLF/ELF 格式範例 | W3C |
日誌格式說明(Common Log Format)
60.208.6.156 - - [18/Sep/2013:06:49:48 +0000] "GET /wp-content/uploads/2013/07/rcassandra.png HTTP/1.0" 200 185524 "https://referer" "Mozilla/5.0 ..."
- IP、身份、用戶、時間、請求行、狀態碼、傳輸位元組、Referer、User-Agent。
處理建議
- 使用
awk/Python/Spark 解析結構化(正則或現成庫 apache-log-parser)。
- 會話切分:30 分鐘無活動視為新會話,或依 Cookie/Session ID。
- 特徵工程:URL 路徑深度、靜態/動態資源、響應時間(若有)、User-Agent 解析裝置/瀏覽器。
- 隱私合規:公開資料集已脫敏,自行收集務必遵循 GDPR/個資法。