深度神經網路（DNN）目前是許多人工智慧應用的基礎 。由於 DNN 在語音識別和影象識別上的突破性應用，使用 DNN 的應用量有了爆炸性的增長。這些 DNN 被部署到了從自動駕駛汽車、癌症檢測到複雜遊戲等各種應用中。在這許多領域中，DNN 能夠超越人類的準確率。而 DNN 的出眾表現源於它能使用統計學習方法從原始感官資料中提取高層特徵，在大量的資料中獲得輸入空間的有效表徵。這與之前使用手動提取特徵或專家設計規則的方法不同。其開發歷史如下：

1940 年代 - 神經網路被提出1960 年代 - 深度神經網路被提出1989 年 - 識別數字的神經網（LeNet）出現1990 年代 - 淺層神經網硬體出現（Intel ETANN）2011 年 - DNN 語音識別取得突破性進展（Microsoft）2012 年 - 用於視覺的 DNN 開始替代人工放大（AlexNet）2014 年+ - DNN 加速器研究興起（Neuflow、DianNao 等等）

在過去的二十多年裡出現了很多種 DNN 模型。每一種都稱其擁有不同的「網路架構」，因為他們依據不同層級數量、濾波器形狀（如過濾尺寸，濾波器和通道的數量）、層級型別以及連線方式而劃分。正確地理解這些不同的方法和它們發展的趨勢對於提高 DNN 引擎的效率至關重要。其中包括：

LeNet [9] 於 1989 年提出，是最早的 CNN 方式之一。其中最為人熟知的是第八版的 LeNet-5，其中包含兩個卷積層和兩個全連線層 [45]。AlexNet[3] 是第一次贏得 ImageNet 挑戰賽的 CNN 網路（2012 年）。它由五個卷積層和三個全連線層組成。Overfeat [46] 與 AlexNet 具有非常相似的架構：五個卷積層和三個全連線層。VGG-16 [47] 更進一步，使用了 16 層的深度神經網路，其中包含 13 個卷積層，3 個全連線層。GoogLeNet[48] 更深，有 22 個層，它首次引入了起始模組（見下圖）。ResNet [11]，即殘差網路（Residual Net），使用殘差連線可以讓層級更加深入（34 層以上）。該網路第一次讓 DNN 在 ImageNet 挑戰賽中的表現超過了人類，top-5 錯誤率在 5% 以下。

當然，深度神經網路也在蓬勃發展，新成果在不斷湧現，下面舉兩個例子：

新論文提出深度複數網路：用複數構建深度神經網路

論文地址：https://arxiv.org/abs/1705.09792程式碼地址：https://github.com/ChihebTrabelsi/deep_complex_networks

深度學習的絕大多數構建模組、技術和架構都基於實數值的運算和表徵。但是，近來在迴圈神經網路和其它更古老的基礎理論上的分析表明複數可以有更加豐富的表徵能力，也可以促進對噪聲魯棒的記憶檢索機制。儘管它們在帶來全新的神經架構上有引人注目的性質和潛力，但由於缺少設計這種模型所需的構建模組，複數值的深度神經網路一直處於邊緣化的狀態。這項研究提供了可用於複數值深度神經網路的關鍵基本元件，並將它們應用到了卷積前饋網路中。更準確地說，依靠複數卷積，該論文提出了可用於複數值深度神經網路的複數批規範化、複數權重初始化策略，並且我們還在端到端的訓練方案中對它們進行了實驗。論文表明，這樣的複數值模型可以實現與其對應的實數值模型相媲美或更好的表現。論文在一些計算機視覺任務和使用 MusicNet 資料集的音樂轉錄任務上對深度複數模型進行了測試，實現了當前最佳的表現。

瀏覽器上最快的DNN執行框架WebDNN：從基本特性到效能測評

深度神經網路（DNN）在很多領域吸引了大量的關注，比如影象和影片識別、自然語言處理和遊戲 AI 等。很多這些領域的產品都應用了 DNN。然而，DNN 計算成本很高，而且其執行也普遍需要硬體加速。所以在終端使用者裝置比如膝上型電腦或智慧手機上執行 DNN 也變得不現實。解決這個問題的其中一條方案是雲計算。而 WebDNN，作為另一條解決方案，高度優化了 DNN 模型，令其可在終端使用者裝置的網頁瀏覽器上執行它們。WebDNN 的關鍵特徵如下：

免安裝零開銷介面（Non overhead）針對推理階段的專門最佳化（Inference-phase-specialized）

簡單的來說，就是模仿人腦神經系統，層數很深，就像大腦中一個個神經元連線起來。眼睛視覺在收集外部世界萬物樣本，外界的教育認知進行反饋更新，從而完成學習認知功能。每層神經元完成的功能不一樣，接近眼睛部位的神經元只能解析到簡單的物體結構，越往後的神經元就能學習分辨出這個物體是什麼了。

這個過程我們自身是感覺不到的，這也是實驗得出的結論，然後應用到深度學習。

有人已經介紹了DNN，單DNN只是最最基本的模型，還有CNN RNN LSTM MDN 等等很多，這些是主要使用的

唉！恕筆者直言，神經網路實在不是理工男的強項，還是先弄明白人腦的神經網路再說吧！至於神經網路在語音識別上取得突破，那簡直是個笑話!迄今為止，聽覺語音感知研究已停滯不前數十年了，不知道語音感知機理，語音識別能突破嗎？

深度學習的概念

深度學習是神經網路的一個分支，深度學習的基本結構是深度神經網路。

深度神經網路是一種具備至少一個隱含層的神經網路。與淺層神經網路相比，深度神經網路也能為複雜非線性系統建模，但多出的層次為模型提供了更高的抽象層次，因而提高了模型的擬合能力。

深度神經網路通常是前饋型神經網路。多層前饋型神經網路都是深度神經網路，但是深度神經網路不都是多層前饋型神經網路,因為深度神經網路還包含了遞迴神經網路和卷積神經網路等

深度神經網路說的是一種結構，而不是一種演算法

深度學習與神經網路

深度學習網路與神經網路的相同之處在於具有相似的分層結構，系統由包括輸入層、隱層（多層）、輸出層組成的多層網路，只有相鄰層節點之間有連線，同一層以及跨層節點之間相互無連線，這種分層結構比較接近人類大腦的結構。

傳統的的神經網路一般只有2-3層隱含層，引數和計算單元有限，對複雜函式的表示能力有限，學習能力也有限，而深度神經網路隱藏層層數可以達到5-10層，甚至更多，並且引入了更高效的演算法，深度神經網路的分層結構更接近於人類大腦的結構。

區別於傳統的淺層學習，深度學習的不同在於：

強調了模型結構的深度，通常有5層、6層，甚至10多層的隱層節點

明確突出了特徵學習的重要性，也就是說透過逐層特徵變換，將樣本在原空間的特徵表示變換到一個新特徵空間，從而使分類或預測更加容易

與人工規則構造特徵的方法相比，利用大資料來學習特徵，更能夠刻畫資料的豐富內在資訊

深度神經網路的訓練

傳統神經網路中，採用的是BP誤差反向傳播演算法的方式進行，簡單來講就是採用迭代的演算法來訓練整個網路，隨機設定初值，計算當前網路的輸出，然後根據當前輸出和真實值之間的差利用梯度下降法去改變前面各層的引數，直到模型收斂。

深度學習不能採用BP演算法：

如果採用BP演算法，對於一個深度神經網路（7層以上），誤差傳播到最前面的層已經變得太小，出現所謂的梯度擴散

深度神經網路的目標函式往往是非凸的，採用BP演算法容易陷入區域性最優問題

深度學習訓練過程具體如下：

step1 使用自下而上的非監督學習過程（就是從底層開始，一層一層的往頂層訓練）：

採用無標定資料（有標定資料也可）分層訓練各層引數，這一步可以看作是一個無監督訓練過程，是和傳統神經網路區別最大的部分（這個過程可以看作是特徵學習過程）。

具體的，先用無標定資料訓練第一層，訓練時先學習第一層的引數（這一層可以看作是得到一個使得輸出和輸入差別最小的三層神經網路的隱層），由於模型能力的限制以及稀疏性約束，使得得到的模型能夠學習到資料本身的結構，從而得到比輸入更具有表示能力的特徵；在學習得到第n-1層後，將n-1層的輸出作為第n層的輸入，訓練第n層，由此分別得到各層的引數。

step2 自頂向下的監督學習過程（就是透過帶標籤的資料去訓練，誤差自頂向下傳輸，對網路進行微調/fine-tune）：

基於第一步得到的各層引數進一步fine-tune整個多層模型的引數，這一步是一個有監督訓練過程；第一步類似神經網路的隨機初始化初值過程，由於深度學習的第一步不是隨機初始化，而是透過學習輸入資料的結構得到的，因而這個初值更接近全域性最優，從而能夠取得更好的效果；所以深度學習效果好很大程度上歸功於第一步的feature learning過程。