深度學習

1依需要

就像去另一個地方。有步行，騎行，駕乘，飛行等。

2依能力

包括自己的能力，環境的供給力，自己的智慧程度等。

3創造力

4發現把握時機

就像蘋果從樹上掉下來，砸到牛頓頭上。不是誰都可以發現萬有引力。

5運氣

6堅持，忍耐。

7人類大腦極限

人類所能理解的與人類沒有理解及不能理解的比。如同芝麻與浩瀚宇宙相比！

之所以是深度網路學習，是因為其是相對於淺層網路學習來說的。2006年以前，隨著層數的增加神經網路訓練有兩個嚴重問題：梯度消失或梯度爆炸，這就導致2006年以前的神經網路均在3層以內。直到2006年，Hinton及其學生藉助自編碼器，layer wise地進行訓練，基本解決了神經網路梯度消失和爆炸的問題，這是理論的突破。但在接下來的兩年，神經網路受限於計算資源的限制，依然無法承載超深度網路數量巨大的引數訓練，接下來GPU的出現解決了這個問題。後面，李飛飛組創辦ImageNet比賽，開啟了資料驅動深度學習解決現實任務的時代，2012年Alex及其導師共同開發的AlexNet一舉在ImageNet上將分數提升了10多個點，引爆了深度學習熱潮；接下來到現在的6年就是各種深度學習解決問題的研究不斷湧現。

總結起來，深度學習的深具有歷史的意義，是理論的突破，算力的突破，也是資料量的突破。順便提一句，深度學習在特徵表達上效果很好，但在推理以及視覺結構等高層任務上依然表現不好，這些領域並沒有因為深度學習的出現而得到質的飛躍。當然，深度學習的出現，確實解決了很多以前認為的難題，促進了社會向前發展和進步。