Shell 大文件字符串替換：sed 性能優化與正確用法

處理無換行符的大文件（如 10MB 單行）時，sed 預設按行讀入內存導致極慢甚至 OOM。本文分析原因，給出正確用法與替代工具。

問題原因

# 錯誤用法：管道輸入導致 sed 按行處理，單行 10MB 直接撐爆內存
cat aaa | sed 's/stra/strb/g' > bbb

• sed 核心機制：逐行讀取 → 模式空間處理 → 輸出
• 無換行符 = 單行 = 整個 10MB 進模式空間 = 內存壓力大、處理慢
• 管道 cat | sed 額外增加進程間拷貝開銷

正確用法：直接操作文件

1. 非就地替換（生成新文件）

sed 's/stra/strb/g' aaa > bbb

• 直接讀取 aaa，避免管道開銷
• 輸出重定向到 bbb

2. 就地替換（修改原文件）

sed -i 's/stra/strb/g' aaa

• -i 就地編輯（BSD sed 需 -i ''）
• 內部實現：臨時文件寫入 → 原子替換

3. 關鍵：去除錯誤的引號與分隔符

# 錯誤
sed -s "/s/stra/strb/g" aaa > bbb
# 正確（無 -s，無雙引號包裹腳本，斜槓作分隔符）
sed 's/stra/strb/g' aaa > bbb

大文件/無換行符場景的替代方案

方案一：tr 字符級替換（單字符極快）

# 僅適合單字符替換，如 a->b
tr 'a' 'b' < aaa > bbb

方案二：perl 強大正則、流式處理

# 流式處理，不載入整文件，支持複雜正則
perl -pe 's/stra/strb/g' aaa > bbb
# 就地修改
perl -pi -e 's/stra/strb/g' aaa

方案三：awk 靈活字段處理

awk '{gsub(/stra/, "strb"); print}' aaa > bbb

方案四：Python 腳本（最靈活、可控內存）

# replace.py
import sys
CHUNK = 1024 * 1024  # 1MB 塊

with open(sys.argv[1], 'r') as fin, open(sys.argv[2], 'w') as fout:
    while True:
        chunk = fin.read(CHUNK)
        if not chunk:
            break
        fout.write(chunk.replace('stra', 'strb'))

# 使用
python3 replace.py aaa bbb

性能對比（10MB 無換行文件，替換 1000 次）

最佳實踐清單

1. 拒絕管道輸入大文件給 sed：直接指定文件參數
2. 就地修改用 sed -i：原子性、無臨時文件殘留
3. 超大文件（>100MB）用 Python 分塊：可控內存、邏輯靈活
4. 複雜正則用 Perl：PCRE 支持、流式處理
5. 單字符用 tr：極致性能
6. 預備份：cp aaa aaa.bak 再操作

總結

sed 本身不慢，慢在錯誤的管道用法和無換行符導致單行過大。正確用法 sed 's/old/new/g' file 或 sed -i 's/old/new/g' file 即可解決 90% 場景。極端大文件轉用 Python 分塊或 Perl 流式處理。