PHP 按行讀取大型 CSV 檔案：分批處理與指定行範圍讀取實作

處理百萬行級 CSV 檔案 (數百 MB) 時，一次性載入會導致記憶體耗盡或超時。本文提供分批讀取、指定行範圍讀取的實用函數，並分析效能瓶頸與改進方向。

核心問題

• file() 載入全檔 → 記憶體爆炸 ❌
• fgetcsv() 逐行處理 → 慢、易超時 ❌
• 需求：隨機存取指定行範圍、分批處理、記憶體恆定

基礎函數：讀取指定行範圍

<?php
/**
 * 讀取 CSV 檔案指定行範圍
 * @param string $csvfile CSV 檔案路徑
 * @param int $lines 讀取行數
 * @param int $offset 起始行號 (0-based，即跳過前 $offset 行)
 * @return array|false 解析後的 CSV 資料陣列
 */
function csv_get_lines($csvfile, $lines, $offset = 0) {
    $fp = fopen($csvfile, 'r');
    if (!$fp) return false;
    
    // 快速跳過前 $offset 行
    $i = 0;
    while ($i++ < $offset && !feof($fp)) {
        fgets($fp);  // 只讀取行不解析，較 fgetcsv 快
    }
    
    // 讀取目標行並解析 CSV
    $data = [];
    $j = 0;
    while ($j++ < $lines && !feof($fp)) {
        $row = fgetcsv($fp);
        if ($row !== false) $data[] = $row;
    }
    
    fclose($fp);
    return $data;
}

// 使用範例：讀取第 2,000,001 行起的 10 行 (即 offset=2000000)
$data = csv_get_lines('path/bigfile.csv', 10, 2000000);
print_r($data);

進階封裝：CsvBatchReader 類

<?php
class CsvBatchReader {
    private $filepath;
    private $fp;
    private $total_lines = -1;
    
    public function __construct($filepath) {
        if (!is_file($filepath) || !is_readable($filepath)) {
            throw new Exception("檔案不存在或不可讀: $filepath");
        }
        $this->filepath = $filepath;
    }
    
    /**
     * 獲取總行數 (快速模式：僅掃描換行符)
     */
    public function getTotalLines() {
        if ($this->total_lines >= 0) return $this->total_lines;
        
        $fp = fopen($this->filepath, 'r');
        $count = 0;
        while (!feof($fp)) {
            // 使用 fgets 只計數，不解析 CSV，速度最快
            fgets($fp);
            $count++;
        }
        fclose($fp);
        
        // CSV 通常有標題行，實際資料行 = 總行 - 1
        $this->total_lines = max(0, $count - 1);
        return $this->total_lines;
    }
    
    /**
     * 讀取指定批次
     * @param int $batch_size 批次大小
     * @param int $batch_num 批次編號 (0-based)
     * @return array
     */
    public function readBatch($batch_size, $batch_num = 0) {
        $offset = $batch_num * $batch_size;
        // +1 跳過標題行
        return csv_get_lines($this->filepath, $batch_size, $offset + 1);
    }
    
    /**
     * 迭代器模式：逐批次處理 (記憶體友善)
     */
    public function eachBatch($batch_size, callable $callback) {
        $batch_num = 0;
        while (true) {
            $batch = $this->readBatch($batch_size, $batch_num);
            if (empty($batch)) break;
            
            $callback($batch, $batch_num);
            $batch_num++;
            
            // 釋放記憶體
            unset($batch);
            gc_collect_cycles();
        }
    }
    
    /**
     * 獲取標題行
     */
    public function getHeader() {
        $fp = fopen($this->filepath, 'r');
        $header = fgetcsv($fp);
        fclose($fp);
        return $header;
    }
}

// 使用範例
$reader = new CsvBatchReader('huge_data.csv');
echo "總資料行數: " . $reader->getTotalLines() . "\n";
echo "標題: " . implode(', ', $reader->getHeader()) . "\n";

// 方式一：指定批次讀取
$batch = $reader->readBatch(1000, 5);  // 第 6 批 (5001-6000 行)

// 方式二：迭代器逐批處理 (推薦大檔案)
$reader->eachBatch(5000, function($batch, $batch_num) {
    echo "處理批次 $batch_num: " . count($batch) . " 行\n";
    // 這裡執行資料庫批次 INSERT
    // $db->insertBatch('table', $batch);
});

效能優化關鍵點

大檔案 (500MB+) 測試結果

常見陷阱與解決

• 編碼問題：CSV 為 Big5/GBK 時，fgetcsv 會產生亂碼。解決：讀取後 iconv('GBK', 'UTF-8', $field) 轉碼
• 欄位包含換行：標準 CSV 允許欄位內含換行 (雙引號包裹)。fgetcsv 可正確處理
• 超大欄位：PHP 5.1+ fgetcsv 無長度限制，舊版需設定 ini_set('auto_detect_line_endings', true)
• Windows 換行符：\r\n 會被正確識別，無需額外處理

替代方案：SplFileObject (PHP 5.1+)

<?php
// 使用 SplFileObject 實現同樣功能，支援 seek 隨機存取
$csv = new SplFileObject('bigfile.csv', 'r');
$csv->setFlags(SplFileObject::READ_CSV | SplFileObject::SKIP_EMPTY);

// 直接跳到第 100 萬行 (0-based，+1 跳過標題)
$csv->seek(1000000);

$batch = [];
for ($i = 0; $i < 1000; $i++) {
    if ($csv->eof()) break;
    $batch[] = $csv->current();
    $csv->next();
}
print_r($batch);

對於 500MB 以上檔案，建議結合 SplFileObject::seek() 隨機存取與分批處理。若需極致效能，可考慮 LOAD DATA INFILE 直接匯入 MySQL/PostgreSQL，繞過 PHP 層。