使用 asql 以 SQL 查詢分析 Apache Access Log 完整教學

使用 asql 以 SQL 查詢分析 Apache Access Log 完整教學

Linux 系統管理核心技能之一是日誌分析。Apache HTTP Server 產生的 access.log 記錄所有請求，傳統用 grep/awk/sort 處理雖強大但語法繁瑣。asql 將非結構化日誌轉為 SQLite 資料庫，讓你用熟悉的 SQL 語法靈活查詢分析。

一、Apache 日誌基礎知識

預設 Access Log 格式 (Combined Log Format)：

192.168.0.101 - - [22/Aug/2014:12:03:36 -0300] "GET /icons/unknown.gif HTTP/1.1" 200 519 "https://referer" "Mozilla/5.0 ..."

欄位對應：Remote IP - Request Time - Request Line - Status Code - Response Size - Referer - User-Agent

二、asql 安裝

Debian/Ubuntu 系列

sudo aptitude update && sudo aptitude install asql

依賴 perl-DBD-SQLite、perl-Term-Readline-Gnu 會自動解決。

RHEL/CentOS/Fedora 系列

# 啟用 EPEL (CentOS/RHEL)
sudo yum install epel-release

# 安裝 Perl 依賴
sudo yum install perl-DBD-SQLite perl-Term-Readline-Gnu

# 下載編譯 asql (無現成 RPM)
wget https://www.steve.org.uk/Software/asql/asql-1.7.tar.gz
tar xzf asql-1.7.tar.gz
cd asql
sudo make install

三、asql 核心運作機制

• 啟動時解析指定的 Access Log 檔案 (支援 access.log* 萬用字元、.gz 壓縮檔)。
• 在記憶體中建立臨時 SQLite 資料庫，單表 logs，欄位對應日誌結構。
• 提供互動式 Shell，接受標準 SQL 查詢。
• 退出時臨時資料庫銷毀，除非使用 save 持久化。

四、快速上手流程

# 1. 啟動
asql

# 2. 載入日誌 (Debian 範例)
asql> load /var/log/apache2/access.*

# 3. 查看表結構
asql> schema logs

# 4. 執行 SQL 查詢
asql> SELECT source, date, status FROM logs WHERE date >= '2014-10-01' ORDER BY source;

# 5. 持久化資料庫 (避免下次重新解析)
asql> save apache_logs.db

# 6. 退出
asql> quit

# 7. 下次直接還原
asql> restore apache_logs.db

五、實戰 SQL 查詢範例

範例 1：指定月份的來源 IP、時間、狀態碼

SELECT source, date, status
FROM logs
WHERE date >= '2014-10-01T00:00:00'
ORDER BY source;

範例 2：客戶端總傳輸量降序 (Top 流量來源)

SELECT source, SUM(size) AS total_bytes
FROM logs
GROUP BY source
ORDER BY total_bytes DESC;

範例 3：儲存/還原資料庫

asql> save my_apache_analysis.db
asql> restore my_apache_analysis.db

範例 4：透過 Access Log 找出 403 Forbidden 錯誤請求

SELECT source, date, status, request
FROM logs
WHERE status = '403'
ORDER BY date;

關鍵洞察：雖然 asql 僅解析 Access Log，但狀態碼欄位已包含錯誤資訊，無需額外解析 Error Log 即可定位權限/不存在資源問題。

六、進階技巧

• 虛擬主機日誌：各虛擬主機通常有獨立 Access Log，載入時指定對應路徑 load /var/log/apache2/vhost_*.log。
• 命令歷史：~/.asql 自動記錄，支援上下鍵瀏覽重跑。
• 複雜條件：支援 SQLite 所有 SQL 功能 (子查詢、JOIN 多個載入的日誌表、日期運算等)。
• 自動化報表：結合 Shell 腳本批次執行 asql -c "QUERY" 產出每日/每小時統計報表。

七、總結

asql 以 SQL 統一介面 橋接系統管理與資料分析，將日誌分析門檻大幅降低。對比傳統管道指令，asql 優勢在於：

1. 語法直觀，資料人員零學習成本。
2. 複雜聚合/分組/排序單條 SQL 搞定。
3. 支援歷史日誌、壓縮日誌統一載入。
4. 臨時/持久化資料庫靈活切換。

下次面對幾 GB 的 Access Log 需快速定位異常流量、Top URL、錯誤分布時，請嘗試 asql —— 你的瑞士軍刀。