談談我的理解．分散式計算強調分佈，通常指的的多臺機器或者節點幹一件事情．典型的例子就是mapreduce, spark之流．當然現在比較火的tensorflow, mxnet 如果是多機做訓練也可歸入分散式計算．

平行計算的概念比分散式計算大的多，簡單來說，並行的做一件事情就可以理解成平行計算．一定要理解並行可不一定要分佈．舉個例子，mapreduce, spark可以看作平行計算．同一臺機器上的multi-core上跑的multi-thread程式也可以看作平行計算．GPU利用processing unit也是平行計算．

當然給人的感覺，工業界喜歡強調分散式計算，前面的回答也提到了fault-tolerance是分散式計算裡的一個最重要的feature.　學術界尤其是做HPC的喜歡強調平行計算，比如我們的超級計算機就是平行計算的代表，但是不一定會有人說超算是分散式的．

並行工程(Concurrent Engineering)是對於產品和其有關的過程(包括製造和保障過程)進行並行設計的一種系統的綜合方法，它要求研製者從一開始就考慮整個產品壽命週期(從概念形成到產品報廢處置)中的全部要素，包括質量、成本、進度及顧客需求。並行工程要求特別重視源頭設計，在設計的開始階段，就設法把產品開發所需的所有資訊進行綜合考慮，把許多學科專家的經驗和智慧彙集在一起，融為一體。