Java 實現 HTTP 多線程斷點續傳下載完整指南

前言

在網絡編程中，實現高效、穩定的文件下載功能一直是開發者關注的重點。本文將深入解析一個基於 Java 的 HTTP 多線程斷點續傳下載器的完整實現，涵蓋核心原理、關鍵代碼結構以及關鍵技術細節，幫助開發者快速掌握這項實用技術。

核心功能特性

• 多線程並發下載：支援配置多線程同時下載不同文件塊，大幅提升下載速度
• 斷點續傳支援：網絡中斷或程序異常退出後，可從上次中斷位置繼續下載
• 臨時文件機制：下載過程使用 .tmp 臨時文件，完成後自動重命名，避免文件損壞
• 防盜鏈破解：通過設置 Referer 和 User-Agent 模擬瀏覽器行為，繞過簡單防盜鏈限制

架構設計解析

主控制類：HTTPDownloader

作為下載任務的總調度中心，負責：

1. 建立 HTTP 連接獲取文件總大小
2. 根據文件大小和最小塊大小（默認 10KB）動態計算最優線程數（上限 10 個）
3. 將文件劃分為多個連續區塊，為每個區塊創建下載線程
4. 管理線程池，監控下載進度，處理線程完成/失敗事件
5. 實現動態負載均衡：當某線程提前完成，自動分割其他繁忙線程的剩餘任務

工作線程類：HTTPDownloaderThread

每個線程獨立負責一個字節區間的下載：

• 使用 Socket 直接發送 HTTP/1.1 請求，包含 Range: bytes=start-end 頭實現斷點續傳
• 解析 HTTP 響應頭，跳過頭部直接讀取實體內容
• 使用 RandomAccessFile 在臨時文件指定位置寫入數據
• 異常自動重試機制：網絡超時或異常時，從當前位置重新創建線程繼續下載

關鍵技術實現細節

HTTP Range 請求與響應處理

// 構建 Range 請求頭
b.append("Range: bytes=" + startPos + "-" + endPos + "\r\n");

// 發送請求後讀取響應頭（雙換行符結束）
while (true) {
    ch = bis.read();
    if (ch == 0xD) { ch = bis.read(); if (ch == 0xA) { if (foundBR) break; foundBR = true; } }
    else { foundBR = false; }
}

文件隨機讀寫與進度持久化

雖然示例代碼中未展示完整的進度持久化邏輯，但 RandomAccessFile.seek(position) 是實現斷點續傳的關鍵。實際生產環境建議：

• 定期將各線程的 curPos 寫入配置文件或數據庫
• 程序啟動時讀取進度文件，恢復 startPos 繼續下載
• 下載完成後刪除進度文件，將 .tmp 重命名為目標文件

動態線程調度算法

// 尋找剩餘任務最重的線程
for (HTTPDownloaderThread thread : threadPool.values()) {
    if (thread.endPos - thread.curPos > size) {
        size = thread.endPos - thread.curPos;
        o = thread;
    }
}
// 分割其後半部分任務給新線程
if (size > MIN_BLOCK * 2 && o.isAlive()) {
    int beginPos = o.endPos - ((o.endPos - o.curPos) / 2);
    o.endPos = beginPos;
    // 創建新線程下載 [beginPos, endPos]
}

代碼優化建議

1. 升級至 HttpURLConnection / HttpClient

原代碼手動構建 Socket 請求，現代開發建議使用 HttpURLConnection 或 Apache HttpClient，自動處理重定向、壓縮、連接池等複雜情況。

2. 增加進度持久化存儲

引入 Properties 或 SQLite 存儲各線程下載位置，實現真正的斷點續傳。

3. 完善異常處理與重試策略

• 區分網絡異常、服務端錯誤（4xx/5xx）、文件 IO 錯誤
• 實現指數退避重試算法
• 添加下載速度限制、暫停/恢復控制接口

4. 線程安全優化

使用 ConcurrentHashMap 替代 HashMap，AtomicInteger 管理線程計數，減少 synchronized 鎖粒度。

總結

本文分析的下載器雖屬教學示例，但完整展示了多線程下載、斷點續傳、動態負載均衡的核心邏輯。理解這些原理對於開發生產級下載組件、爬蟲系統、大文件傳輸工具具有重要參考價值。建議開發者在掌握基礎原理後，結合成熟庫（如 OkHttp、ResumableDownload）構建健壯的下載解決方案。