結論
多層神經網路mlp是深度神經網路DNN的子集，DNN 可以有環路，MLP 總是前饋的。
多層感知機(MLP)是一個有限的非迴圈圖。
多層感知機是一個特定的前饋神經網路架構，你堆疊多個完全連線的層，其中的啟用功能的隱藏單位往往是一個 sigmoid或 tanh。 輸出層的節點通常具有softmax啟用函式(用於分類)或線性啟用函式(用於迴歸)。
典型的 MLP 架構並不"深" ，也就是說，我們沒有很多隱藏層。 你通常有1到5個隱藏層。 這些神經網路在80年代很常見，並通過反向傳播進行訓練。
對於深層神經網路，我們指的是一個有許多層次的網路(19,22,152，... ... 甚至 > 1200，儘管公認這是非常極端的)。
當你開始堆疊越來越多的層時，你實際上需要使用新的技術(新的啟用函式、新的層、新的優化策略，甚至是新的硬體)來訓練你的模型，使它適用於新的情況。
例如，假設你用一個經典的 MLP 進行10類分類，tanh 啟用函式，輸入層和隱藏層都有32個單元，輸出層是一個10維的softmax，32 * 32 + 32 * 10 = 1344個權重。
如果我們新增到10層，那麼就變成了11584個引數。 按照今天的標準，這是一個很小的 NN。
然而，當我們使用它進行大型資料集的訓練時，會發現收斂速度大大放慢。
這不僅是因為權重的數量較大，而且還因為梯度消失問題——反向傳播通過在每個圖層之間乘以誤差來計算損失函式的梯度，誤差隨著新增的圖層數量的增加而呈指數級地減小。 因此，誤差不會沿網路傳播(或非常緩慢地傳播) ，而且似乎訓練集上的誤差會隨著訓練epoch的不斷增加而停止減少。
因此，深度學習可以理解為一套工具，用於訓練具有大量層次和權重的神經網路，實現低泛化誤差。 你當然可以建立一個深度學習多層感知機並訓練它——但是(除了它不是現在使用深度學習的許多工的最佳架構這一事實之外)你可能會使用一些不同於過去網路“淺層”時使用的工具。 例如，您可能更喜歡 ReLU 啟用單位而不是 sigmoid 或 tanh，因為它們可以一定程度上解決梯度消失問題。
結論
多層神經網路mlp是深度神經網路DNN的子集，DNN 可以有環路，MLP 總是前饋的。
多層神經網路mlp多層感知機(MLP)是一個有限的非迴圈圖。
多層感知機是一個特定的前饋神經網路架構，你堆疊多個完全連線的層，其中的啟用功能的隱藏單位往往是一個 sigmoid或 tanh。 輸出層的節點通常具有softmax啟用函式(用於分類)或線性啟用函式(用於迴歸)。
典型的 MLP 架構並不"深" ，也就是說，我們沒有很多隱藏層。 你通常有1到5個隱藏層。 這些神經網路在80年代很常見，並通過反向傳播進行訓練。
深度神經網路對於深層神經網路，我們指的是一個有許多層次的網路(19,22,152，... ... 甚至 > 1200，儘管公認這是非常極端的)。
網路的體系結構可能是前饋的、迴圈的，等等連線層的性質可以有完全連線的層，卷積層，迴圈等等談論深度學習的意義當你開始堆疊越來越多的層時，你實際上需要使用新的技術(新的啟用函式、新的層、新的優化策略，甚至是新的硬體)來訓練你的模型，使它適用於新的情況。
例如，假設你用一個經典的 MLP 進行10類分類，tanh 啟用函式，輸入層和隱藏層都有32個單元，輸出層是一個10維的softmax，32 * 32 + 32 * 10 = 1344個權重。
如果我們新增到10層，那麼就變成了11584個引數。 按照今天的標準，這是一個很小的 NN。
然而，當我們使用它進行大型資料集的訓練時，會發現收斂速度大大放慢。
這不僅是因為權重的數量較大，而且還因為梯度消失問題——反向傳播通過在每個圖層之間乘以誤差來計算損失函式的梯度，誤差隨著新增的圖層數量的增加而呈指數級地減小。 因此，誤差不會沿網路傳播(或非常緩慢地傳播) ，而且似乎訓練集上的誤差會隨著訓練epoch的不斷增加而停止減少。
因此，深度學習可以理解為一套工具，用於訓練具有大量層次和權重的神經網路，實現低泛化誤差。 你當然可以建立一個深度學習多層感知機並訓練它——但是(除了它不是現在使用深度學習的許多工的最佳架構這一事實之外)你可能會使用一些不同於過去網路“淺層”時使用的工具。 例如，您可能更喜歡 ReLU 啟用單位而不是 sigmoid 或 tanh，因為它們可以一定程度上解決梯度消失問題。