首頁
編程語言
C語言|JAVA編程
Python編程
網頁編程
ASP編程|PHP編程
JSP編程
數據庫
MYSQL數據庫|SqlServer數據庫
Oracle數據庫|DB2數據庫
您现在的位置: 程式碼之家 >> 編程語言 >  >> 更多程式語言 >> 程式設計疑難解答

Web 日誌資料集公開來源推薦:NASA、ClarkNet、ECML PKDD 等經典資料集

     編輯:程式設計疑難解答

經典公開資料集(適合畢業設計/研究)

名稱規模特點下載連結
NASA HTTP Logs~3M 行 / 兩個月真實伺服器存取日誌,含 GET/POST、狀態碼、User-AgentITA Archive
ClarkNet Access Logs~1.2M 行 / 一個月ISP 用戶瀏覽日誌,適合用戶行為分析ITA Archive
ECML PKDD 2005 Discovery Challenge多站點合集含會話標識,適合推薦系統/序列挖掘KDD Cup
W3C Log Format Sample小型教學用標準 CLF/ELF 格式範例W3C

日誌格式說明(Common Log Format)


60.208.6.156 - - [18/Sep/2013:06:49:48 +0000] "GET /wp-content/uploads/2013/07/rcassandra.png HTTP/1.0" 200 185524 "https://referer" "Mozilla/5.0 ..."
  • IP、身份、用戶、時間、請求行、狀態碼、傳輸位元組、Referer、User-Agent。

處理建議

  1. 使用 awk/Python/Spark 解析結構化(正則或現成庫 apache-log-parser)。
  2. 會話切分:30 分鐘無活動視為新會話,或依 Cookie/Session ID。
  3. 特徵工程:URL 路徑深度、靜態/動態資源、響應時間(若有)、User-Agent 解析裝置/瀏覽器。
  4. 隱私合規:公開資料集已脫敏,自行收集務必遵循 GDPR/個資法。
  1. 上一篇文章:
  2. 下一篇文章:
Copyright © 程式碼之家 All Rights Reserved