人工智慧發展至今已有61年，期間三起兩落，我們現在見證的是最新的一次興起，深度學習的爆發居功甚偉。人工智慧和機器學習中有多個流派，深度學習只是其一（關於這方面的介紹推薦 Pedro Domingos 的《The Master Algorithm》，中譯本為《終極演算法》，但翻譯欠佳）。它在有監督學習方面表現出了強大威力，甚至在諸多領域正在趕超或超越人類，但它其本身已然存在著不少無法克服的缺陷（將它們匯聚成表，有利於指導未來的演算法發展）：

在既定的基礎上哪怕是輸入一些小變動，深度學習方法也無法學習到。想象一下當顏色調轉之後物體識別系統崩潰的樣子吧。

基於梯度的學習相當慢，需要很多，很多的梯度下降才能獲取模式。對於高維預測很困難。

深度學習處理引數很糟糕。不可能像線性程式設計那樣找到滿意的處理引數的方案。

複雜模型的訓練不穩健。神經圖靈機和GAN時常訓練不好。 並且嚴重依賴於 rand seed。

與圖模型不同，深度網路並不擅長解決實際問題，也不能提取因果結構。

比如，影響者檢測的問題。以參議員投票資料集為例，如果想要檢測關鍵影響者，DNN目前還不清楚如何解決這個問題。

強化學習方法過於資料過於挑剔。效能很大程度上依賴於調參技巧。儘管這一問題只存在於這一方面。

深度學習不能容易地推理未知實體。比如根據影片中的棒球擊球手，DNN技術無法推斷出螢幕之外的投球手。

實時線上訓練深度網路也不現實，因此動態的互動性非常困難。

通常來講，智慧辨識必須線下學習進行。

人們經常從理論方面闡釋深度網路。這個問題並沒有想象中的嚴重，真正的問題在人。

深度網路非常難監管。我們如何確保它不會學習偏見性或種族主義的東西，看一看word2vec的種族主義的文章就知道了。

DNN很難解決邏輯問題。 3SAT解決器能力強大，但很難用於深度網路。

DNN在處理寬泛的特徵資料方面表現糟糕。不同於穩健的隨機森林，DNN需要大量的特徵調整。

超引數搜尋依然很糟糕。從業人員需要完成大量計算或者手動調整架構。

一、需要大量標註資料。比如ILSVRC競賽裡1000類的分類任務，訓練的時候用到了100萬張標註圖片，而標註圖片耗費人力物力。

二、目前深度學習可以認為是一種基於統計相關性的模型，還不能進行推理。

三、雖然深度學習在計算機視覺領悟和語音識別領域做到同類模型中效果最好，但是在自然語言理解方面還沒啥突破。

四、對抗性問題。在影象分類任務中，修改影象幾個畫素點的值，就能改變模型的預測值。這個問題不解決，大家對深度學習的安全性的擔憂不能消除。

五、無法理解模型。眾所周知，深度學習模型現在是一個黑盒模型，它只能給你預測結果，但是並不能告訴你為啥它這麼預測，比如我們判斷一張圖片裡動物是熊貓，我們可以給出理由“它在吃竹子，它渾身只有黑白兩色，體態圓潤，眼睛有大大的黑眼圈”。雖然現在有很多研究人員試圖理解深度學習模型，但是進展甚微。

關於目前深度學習所面臨的障礙，鎂客君為大家找來了斯坦福大學在讀博士Bharath Ramsundar列出的15個深度學習現在有的問題~

1．眾所周知，深度學習方法很難學習到輸入樣本的微小變化。當樣本的顏色交換時，所構建的目標識別系統可能會完全崩潰。2．基於梯度的網路訓練過程相當緩慢。一般按照固定模式來實現多種梯度下降方法，但是這種方法很難用於高維資料的預測。3．深度學習方法在處理條件約束方面的效果也不佳，不能像線性規劃方法那樣，能快速找到滿足約束的解決方案。4．在訓練複雜模型時，網路相當不穩定。通常不能很好地訓練神經圖靈機和GAN網路，嚴重依賴網路的初始化方式。5．深層網路能較好地應用於影象處理和自然語言分析中，但是不適合現實世界的實際問題，如提取因果結構等等。6．在實際應用中，要考慮關鍵影響者檢測的問題。在參議員參議員投票的資料集中，應該如何檢測出關鍵影響者，深度神經網路DNN還不能應用於此方面。7．強化學習（Reinforcement learning）方法對輸入資料非常挑剔，實際效能主要取決於調參技巧，雖然這個特殊問題僅存在於這個方面。8．深度學習方法不容易理解未知實體，比如說當棒球擊球手在影片中，深度學習不知道如何推斷出螢幕外還有個投手。9．實時訓練深層網路幾乎不可能，因此很難進行動態調整，上文已經提到網路訓練緩慢的問題。10．一般來說，網路需透過離線訓練後才能進行智慧辨識。11．人們經常提出一些對深層網路的理論解釋。但這可能不是一個大問題，人們才是一個真正的大問題。12．目前很難確定深層網路學習到了什麼。作為工程師的我們，怎樣才能確保在網路訓練過程中不存在偏見和種族歧視？13．深度神經網路很難用來解決邏輯問題。3SAT求解器具有很強的能力，但是很難應用到深層網路。14．深度神經網路在處理大維度的特徵資料方面效果不佳。這種方法與強大的隨機森林方法不同，在訓練前需要大量的特徵調整。15．深度網路的超引數最佳化研究仍然處於起步階段。研究者需要完成大量的計算或是手動調整許多網路結構。

總結起來是以下幾個主要問題：

1. 深度網路壓縮：目的是將權值引數進行量化或者壓縮儲存，進而減少引數規模。

2. 模型加速：現在出現了更深的網路，但帶來的問題是計算效率的下降。這個方向主要從網路架構和實現的角度對模型的計算效率進行提升。

3. 最佳化： 現在在ICML上邊關於DL最佳化的文章很多，如何避免overfiting? 如何加速訓練？產生初始引數？這些都是比較熱門的研究點。

4. 應用：包括檢測、分割、人臉、NLP等，一個好的工作會綜合考慮各種各樣的因素。

5. 遷移：在CV領域work的模型是否可以應用到其他領域？在一個新領域中基本想法有了，但具體做起來需要解決各種各樣的實際問題。

深度學習最難的是黑盒推理。即構建了模型，你在模型訓練過程中所有資料的變化過程是你不能從理論上進行推理的，即你不能從理論上推理出模型輸入什麼模型可以輸出什麼結果。模型的一切變化我們都不知，更不能用數學的方式進行推理。

比如你說cnn比lstm要好？能用數學推理證明麼？如果不好，你也能證明麼？目前理論還做不到。只能透過實驗驗證，從實驗結果上去說明，但不能從數學去說明。