百萬級資料導入 SQL Server 極限挑戰：五種方案實測對比與最佳實踐

實驗環境

• 硬體：Dell 2850，雙 2.0GHz CPU，2GB RAM
• 資料庫：SQL Server 2000 / SQL Server 2008
• 目標表：TableB (Value1 VARCHAR)
• 資料量：1,000,000 筆
• 框架：IsLine Framework DataProvider 模組

五種方案與實測耗時 (毫秒)

關鍵發現

1. SQL 2000 表現驚人：BULK INSERT 單執行緒僅 4 秒，遠快於 SQL 2008（10 秒+）
2. 多執行緒非必然加速：SQL 2000 多執行緒反而變慢（鎖競爭、日誌爭用）；SQL 2008 差異不明顯
3. SqlBulkCopy 記憶體壓力大：需先將 100 萬筆載入 DataTable，大欄位/寬表易致 OOM，64 位元進程緩解
4. BULK INSERT 最輕量：直接讀檔流式寫入，無記憶體緩衝，效能最穩健

生產環境最佳實踐建議

1. 首選 BULK INSERT / bcp.exe：無 managed 記憶體壓力，支援錯誤檔、格式檔、檢查點續傳
2. 批次大小 50,000~100,000：平衡交易日誌與鎖升級
3. 最小記錄模式：資料庫設 SIMPLE 或 BULK_LOGGED，配合 TABLOCK 提示
4. 索引策略：匯入前刪除非叢集索引，匯入後重建；叢集索引鍵若為遞增可保留
5. 平行度控制：MAXDOP 限制並行，避免排序/日誌爭用
6. SqlBulkCopy 適用場景：資料來源已在記憶體 (DataTable/IDataReader)、需程式邏輯轉換、跨異構資料庫

結論

百萬級導入單執行緒 BULK INSERT 是效能與穩定性的最佳平衡點。SQL 2008 在此場景未展現優勢，提醒我們：版本升級 ≠ 所有負載自動變快，需針對具體工作負載基準測試。