並行計算 vs 分布式計算：一張表看懂核心差異

兩者都旨在「加快計算」，但架構層級、通訊方式、擴展模型截然不同。

核心對比表

通俗類比

• 並行計算 = 一間廚房，多位廚師共用同一張案板、同一組刀具，配合做一桌菜。
• 分布式計算 = 多間廚房，各有各的案板刀具，透過外送/訊息傳遞食材半成品，最後拼盤上桌。

邊界模糊地帶

• 單機多 GPU + NVLink → 介於並行與分布式之間。
• 叢集上跑 MPI 且共享平行檔案系統 → 分布式硬體跑並行程式模型。
• 現代雲原生常將兩者結合：節點內並行 (多執行緒/GPU)，節點間分布式 (K8s 調度)。

選型原則：資料能放進單機記憶體且強一致性需求高 → 並行；資料量超單機、需線性擴展、容錯優先 → 分布式。