問世10年，有待商榷！
深度學習技術最初開始於20世紀40年代，深度學習是為了模擬大腦中發現的神經網路，但在過去的十年中，3個關鍵發展釋放了它的潛力。
深度學習正在爆炸式增長。據Gartner稱，深度學習專家的開放職位數量從2014年的幾乎為零增加到今天的41000。這種增長的大部分是由Facebook，蘋果，Netflix，微軟，谷歌和百度等高科技巨頭推動的。
這些大玩家和其他人在深度學習專案上投入巨資。除聘請專家外，他們還資助深度學習專案和實驗，並收購深度學習相關公司，而這些投資只是開始。Gartner預測，到2018年，80％的資料科學家將使用深度學習工具。
深度學習技術是為了模擬大腦中的生物神經網路，於20世紀50年代與第一臺計算機一起出現。因此，如果計算機和深度學習一起開始發展，為什麼深度學習現在才到達主流計算機使用者？
圖形處理單元（GPU）提供的處理能力增加，大量可用資料以及更高階演算法的開發，導致了深度學習的興起。
深入的學習就在我們身邊。它用於確定要實時顯示哪些線上廣告，識別和標記照片中的朋友，將語音翻譯為文字，將文字翻譯成網頁上的不同語言，並驅動自動駕駛車輛等等。
深入學習也可在不太明顯的地方找到。銀行使用深度學習進行欺詐檢測；企業用它來預測你是否會取消訂閱並提供個性化的客戶推薦；銀行利用它來預測破產和貸款風險；醫院使用它來檢測，診斷和治療疾病。
應用範圍幾乎是無限的。其他選項包括文字分析，影象標題，影象著色，X射線分析，天氣預報，財務預測等。深度學習已被廣泛用於自動化流程，提高效能，檢測模式並解決問題。
深度學習屬於人工智慧（AI）子集的機器學習領域。鬆散定義的人工智慧包含模擬人類能力的技術，而機器學習演算法學習並適應新事件。
深度學習是使用人工神經網路（ANN）演算法的技術術語。專家認為深度學習和人工神經網路是相同的，並且可以互換使用這些術語。就像大腦中的神經網路一樣，人工神經網路具有透過突觸（連結）相互連線的神經元（節點）。每個節點接收資料，執行操作，並透過連結將新資料傳遞給另一個節點。連結包含影響下一個節點操作的權重或偏差。
為了說明節點和連結的作用，想象一家公司想要預測客戶是否會根據兩個預測因素（性別和年齡）續訂訂閱。該公司的神經網路有兩個輸入節點，一個用於每個預測器，透過單獨的鏈路連線到一個輸出節點。性別和年齡值被輸入到輸入節點。這些值在連結中乘以預設權重。如果年齡恰好是比性別更好的預測指標，那麼傳送年齡資料的連結將具有更高的權重。
輸出節點新增來自輸入節點的加權資料並生成一個值，這相當於一個預測。在這個簡化的示例中，該值可以介於0和1之間。值越接近1，客戶更有可能續訂訂閱。
在一個真實的專案中，人工神經網路可能包含數千個節點和數十億個連結。每個節點屬於一個層，它是一組節點。輸入圖層，輸出圖層和兩者之間的圖層被稱為隱藏圖層。新增節點，連結和圖層可提高ANN的準確性。
培訓的作用。人工神經網路一旦建成，就需要大量的“訓練”才能很好地工作。未經訓練的人工神經網路將永遠失敗。這是深度學習中的“學習”發揮作用的地方。
資料科學家可以使用有監督或無監督的培訓。在監督訓練下，人工神經網路處理來自測試資料的輸入值併產生輸出值（預測），將其與來自測試資料的實際輸出值進行比較。然後，應用專門設計用於訓練人工神經網路的訓練演算法。有幾種型別的訓練演算法存在，但使用最廣泛的型別稱為反向傳播。反向傳播演算法透過跟蹤輸出節點中的誤差，透過ANN返回隱藏層和輸入層，並相應地改變權重，來識別負責不準確預測的ANN的部分。這個過程一遍又一遍地重複，直到人工神經網路用測試資料產生一致的，準確的預測。然後，ANN準備好處理新的輸入值並預測未知的輸出值。
無監督訓練的目的是模擬資料的結構或分佈，而不是產生預測。因此，在無監督訓練下，一旦ANN處理輸入資料，權重不需要改變，因為沒有相應的輸出資料來比較ANN的預測。
啟動AI和深度學習故事的最佳節點是William McCulloch和Walter Pitts。1943年，他們發表了“神經活動內在觀點的邏輯演算”，其中他們概述了神經網路的第一個計算模型。本文作為第一批人工神經網路的藍圖。
六年後，Donald Hebb發表了行為組織，該組織認為神經元之間的聯絡隨著使用而加強。這個概念被證明是理解人類學習和如何培訓人工神經網路的基礎。
1954年，Belmont Farley和Wesley Clark利用McCulloch和Pitts所做的研究，開展了人造神經網路的首次計算機模擬。這些多達128個神經元的網路被訓練來識別簡單的模式。
在1956年夏天，計算機科學家遇到了一個猜測，即學習或任何其他智慧特徵的每個方面原則上都可以被精確地描述，以便機器可以被模擬出來。這個被稱為達特茅斯會議的活動被認為是人工智慧的發源地。
在達特茅斯會議之後，人工智慧領域起飛。1957年， Frank Rosenblatt開始研究一種他稱為感知器的神經網路，並能夠將Farley和Clark在他們的雙層網路上使用的訓練方法應用於多層網路。
1959年，Bernard Widrow和Marcian Hoff開發了一種單層神經網路，他們稱ADALINE為自適應線性元素的縮寫，它可以根據先前的位預測來電的下一位資訊。他們的下一個發展，稱為MADALINE的多層神經網路，消除了電話呼叫的迴響，據說是ANN的第一個實際應用。
創新在六十年代一直持續，但在七十年代，資金，研究和進步緩慢。人工智慧科學家的成就未能滿足媒體的炒作和政府的期望。接下來的所謂“AI winter”，AI沒有多少資金和研究。
從1986年開始，在Geoff Hinton發表了“反向傳播錯誤的學習表示法”後，幾年後的研究興起，它描述了反向傳播學習過程。然而，真正的復甦直到21世紀中葉才出現。今天，深度學習和人工智慧正在綻放。
有三個因素激發了深度學習的潛力：
1.可用資料的指數爆炸
據思科稱，1992年全球網際網路流量為每天100GB。在2015年，這一數字高達1750萬倍，達到每秒20235 GB。現在，全球90％的資料都是在過去兩年內建立的。
如果沒有這些資料，那麼包含數百萬個連線和數千個節點的訓練ANN就不會發生。對於ANN來識別臉部，檢測信用欺詐或在嘈雜的房間中將語音轉換為文字，它需要的不僅僅是測試資料，以便進行一致，準確的預測。這就是為什麼ANN在大資料時代蓬勃發展的原因。
資料實現人工神經網路的最好和最明顯的例子是由Google X領導的一個專案，它是一個有點秘密的研究和開發團隊。最早由吳恩達（Andrew Ng，後來他加盟百度，任首席科學家；後來離開百度創業）領導，該團隊組裝了16000箇中央處理器（CPU），為超過10億個連線的ANN提供動力。
然後，ANN接受了培訓，處理了隨機選擇的YouTube影片中的1000萬張圖片。據許多訊息人士透露，人工神經網路訓練自己識別貓。實際上，ANN中只有一個節點負責識別貓的影象。其他節點可以識別人體和臉部。二十年前，要收集1000萬張影象來訓練人工神經網路是不可能的。
2.圖形處理器（GPU）的興起
讓神經網路快速執行是困難的。成千上萬的神經元必須平行相互作用。根據任務的不同，傳統CPU可能需要幾周才能從ANN生成預測。使用GPU時，花費數週的相同任務可能只需幾天或幾小時。
GPU最初是由NVIDIA製造的，用於處理影片遊戲需要每秒數百次渲染影象以進行流暢影片顯示的大規模並行操作。2009年，吳恩達和其他幾個人發現他們可以使用GPU進行大規模的深度學習。
為了說明GPU的強大功能，吳恩達將Google X專案與一個擁有110億個連線的網路一起復制，該網路執行在只有64個GPU的16臺計算機上。而以前的專案使用1000臺帶有16000個CPU的計算機。新專案沒有跑得太快或表現更好，但吳表達了他的觀點。64個GPU可以在大致相同的時間內處理與16000個CPU相同的工作量。
3.先進演算法的發明
儘管一系列發現提高了人工神經網路的能力，但許多人認為2006年Geoffrey Hinton和他的同事們所做的發現是人工神經網路的轉折點。
Hinton引入了一種演算法，可以微調用於訓練具有多個隱藏層的ANN的學習過程。關鍵是使用“貪婪”演算法或梯度下降演算法，它可以分別微調ANN的每一層。
另一個關鍵發現優化了權重的初始設定。這允許高維資料或具有許多特徵的資料轉換成低維資料，從而提高預測能力。
深度學習技術正在解決高度複雜的問題，由於處理能力更強大，大量可用資料以及更先進的神經網路演算法，這些問題幾十年來一直困擾著計算機科學家。
例如，深度學習被用來改進自然語言處理工具，以便始終理解句子的含義，而不僅僅是單個單詞。所以如果有人想要翻譯"徒步旅行"或"迷路"，它不會從字面上理解表達。它會將表示式翻譯成其他語言的相應表示式。
物體識別軟體將變得更加普遍和準確。例如，面部識別軟體已經在高水平執行。科學家們現在正在訓練深度學習演算法來區分類似的物體，比如茶杯和碗，房子和小木屋，鞋子和靴子。這種精度允許計算機區分街道上的行人，檢測普通物體的異常情況，拼接全景照片，索引影象等等。
缺點
使用人工神經網路有幾個缺點，即黑盒問題和過度擬合。
黑盒問題是無法知道ANN如何達到預測。使用者可以在輸入和輸出層看到資料，它提供了一個它認為重要的輸入變數的提示。但是，隱藏層掩蓋了預測背後的潛在推理。因此，商業領袖不太可能信任未經測試的人工神經網路，因為他們無法看出它如何得出結論，而不像其他演算法的過程清晰可見。
過擬合（Overfitting）也是人工神經網路常見的問題。過擬合發生在演算法非常適合一組測試資料，以至於無法準確執行非測試資料時發生。這個問題並不是深度學習所特有的，可以在其他型別的機器學習演算法中看到。
應用
資料科學家可以使用許多演算法來檢測底層資料中的模式和關係。深度學習演算法是最強大的演算法，因為它們可以適應各種各樣的資料，需要很少的統計培訓，可以使用簡單的演算法進行學習，並可以擴充套件到大型資料集。
問世10年，有待商榷！
深度學習技術最初開始於20世紀40年代，深度學習是為了模擬大腦中發現的神經網路，但在過去的十年中，3個關鍵發展釋放了它的潛力。
深度學習正在爆炸式增長。據Gartner稱，深度學習專家的開放職位數量從2014年的幾乎為零增加到今天的41000。這種增長的大部分是由Facebook，蘋果，Netflix，微軟，谷歌和百度等高科技巨頭推動的。
這些大玩家和其他人在深度學習專案上投入巨資。除聘請專家外，他們還資助深度學習專案和實驗，並收購深度學習相關公司，而這些投資只是開始。Gartner預測，到2018年，80％的資料科學家將使用深度學習工具。
深度學習技術是為了模擬大腦中的生物神經網路，於20世紀50年代與第一臺計算機一起出現。因此，如果計算機和深度學習一起開始發展，為什麼深度學習現在才到達主流計算機使用者？
圖形處理單元（GPU）提供的處理能力增加，大量可用資料以及更高階演算法的開發，導致了深度學習的興起。
深度學習的現狀深入的學習就在我們身邊。它用於確定要實時顯示哪些線上廣告，識別和標記照片中的朋友，將語音翻譯為文字，將文字翻譯成網頁上的不同語言，並驅動自動駕駛車輛等等。
深入學習也可在不太明顯的地方找到。銀行使用深度學習進行欺詐檢測；企業用它來預測你是否會取消訂閱並提供個性化的客戶推薦；銀行利用它來預測破產和貸款風險；醫院使用它來檢測，診斷和治療疾病。
應用範圍幾乎是無限的。其他選項包括文字分析，影象標題，影象著色，X射線分析，天氣預報，財務預測等。深度學習已被廣泛用於自動化流程，提高效能，檢測模式並解決問題。
什麼是深度學習？深度學習屬於人工智慧（AI）子集的機器學習領域。鬆散定義的人工智慧包含模擬人類能力的技術，而機器學習演算法學習並適應新事件。
深度學習是使用人工神經網路（ANN）演算法的技術術語。專家認為深度學習和人工神經網路是相同的，並且可以互換使用這些術語。就像大腦中的神經網路一樣，人工神經網路具有透過突觸（連結）相互連線的神經元（節點）。每個節點接收資料，執行操作，並透過連結將新資料傳遞給另一個節點。連結包含影響下一個節點操作的權重或偏差。
為了說明節點和連結的作用，想象一家公司想要預測客戶是否會根據兩個預測因素（性別和年齡）續訂訂閱。該公司的神經網路有兩個輸入節點，一個用於每個預測器，透過單獨的鏈路連線到一個輸出節點。性別和年齡值被輸入到輸入節點。這些值在連結中乘以預設權重。如果年齡恰好是比性別更好的預測指標，那麼傳送年齡資料的連結將具有更高的權重。
輸出節點新增來自輸入節點的加權資料並生成一個值，這相當於一個預測。在這個簡化的示例中，該值可以介於0和1之間。值越接近1，客戶更有可能續訂訂閱。
在一個真實的專案中，人工神經網路可能包含數千個節點和數十億個連結。每個節點屬於一個層，它是一組節點。輸入圖層，輸出圖層和兩者之間的圖層被稱為隱藏圖層。新增節點，連結和圖層可提高ANN的準確性。
培訓的作用。人工神經網路一旦建成，就需要大量的“訓練”才能很好地工作。未經訓練的人工神經網路將永遠失敗。這是深度學習中的“學習”發揮作用的地方。
資料科學家可以使用有監督或無監督的培訓。在監督訓練下，人工神經網路處理來自測試資料的輸入值併產生輸出值（預測），將其與來自測試資料的實際輸出值進行比較。然後，應用專門設計用於訓練人工神經網路的訓練演算法。有幾種型別的訓練演算法存在，但使用最廣泛的型別稱為反向傳播。反向傳播演算法透過跟蹤輸出節點中的誤差，透過ANN返回隱藏層和輸入層，並相應地改變權重，來識別負責不準確預測的ANN的部分。這個過程一遍又一遍地重複，直到人工神經網路用測試資料產生一致的，準確的預測。然後，ANN準備好處理新的輸入值並預測未知的輸出值。
無監督訓練的目的是模擬資料的結構或分佈，而不是產生預測。因此，在無監督訓練下，一旦ANN處理輸入資料，權重不需要改變，因為沒有相應的輸出資料來比較ANN的預測。
深度學習是老技術啟動AI和深度學習故事的最佳節點是William McCulloch和Walter Pitts。1943年，他們發表了“神經活動內在觀點的邏輯演算”，其中他們概述了神經網路的第一個計算模型。本文作為第一批人工神經網路的藍圖。
六年後，Donald Hebb發表了行為組織，該組織認為神經元之間的聯絡隨著使用而加強。這個概念被證明是理解人類學習和如何培訓人工神經網路的基礎。
1954年，Belmont Farley和Wesley Clark利用McCulloch和Pitts所做的研究，開展了人造神經網路的首次計算機模擬。這些多達128個神經元的網路被訓練來識別簡單的模式。
在1956年夏天，計算機科學家遇到了一個猜測，即學習或任何其他智慧特徵的每個方面原則上都可以被精確地描述，以便機器可以被模擬出來。這個被稱為達特茅斯會議的活動被認為是人工智慧的發源地。
在達特茅斯會議之後，人工智慧領域起飛。1957年， Frank Rosenblatt開始研究一種他稱為感知器的神經網路，並能夠將Farley和Clark在他們的雙層網路上使用的訓練方法應用於多層網路。
1959年，Bernard Widrow和Marcian Hoff開發了一種單層神經網路，他們稱ADALINE為自適應線性元素的縮寫，它可以根據先前的位預測來電的下一位資訊。他們的下一個發展，稱為MADALINE的多層神經網路，消除了電話呼叫的迴響，據說是ANN的第一個實際應用。
創新在六十年代一直持續，但在七十年代，資金，研究和進步緩慢。人工智慧科學家的成就未能滿足媒體的炒作和政府的期望。接下來的所謂“AI winter”，AI沒有多少資金和研究。
從1986年開始，在Geoff Hinton發表了“反向傳播錯誤的學習表示法”後，幾年後的研究興起，它描述了反向傳播學習過程。然而，真正的復甦直到21世紀中葉才出現。今天，深度學習和人工智慧正在綻放。
那麼，為什麼ANN現在變得有用呢？有三個因素激發了深度學習的潛力：
1.可用資料的指數爆炸
據思科稱，1992年全球網際網路流量為每天100GB。在2015年，這一數字高達1750萬倍，達到每秒20235 GB。現在，全球90％的資料都是在過去兩年內建立的。
如果沒有這些資料，那麼包含數百萬個連線和數千個節點的訓練ANN就不會發生。對於ANN來識別臉部，檢測信用欺詐或在嘈雜的房間中將語音轉換為文字，它需要的不僅僅是測試資料，以便進行一致，準確的預測。這就是為什麼ANN在大資料時代蓬勃發展的原因。
資料實現人工神經網路的最好和最明顯的例子是由Google X領導的一個專案，它是一個有點秘密的研究和開發團隊。最早由吳恩達（Andrew Ng，後來他加盟百度，任首席科學家；後來離開百度創業）領導，該團隊組裝了16000箇中央處理器（CPU），為超過10億個連線的ANN提供動力。
然後，ANN接受了培訓，處理了隨機選擇的YouTube影片中的1000萬張圖片。據許多訊息人士透露，人工神經網路訓練自己識別貓。實際上，ANN中只有一個節點負責識別貓的影象。其他節點可以識別人體和臉部。二十年前，要收集1000萬張影象來訓練人工神經網路是不可能的。
2.圖形處理器（GPU）的興起
讓神經網路快速執行是困難的。成千上萬的神經元必須平行相互作用。根據任務的不同，傳統CPU可能需要幾周才能從ANN生成預測。使用GPU時，花費數週的相同任務可能只需幾天或幾小時。
GPU最初是由NVIDIA製造的，用於處理影片遊戲需要每秒數百次渲染影象以進行流暢影片顯示的大規模並行操作。2009年，吳恩達和其他幾個人發現他們可以使用GPU進行大規模的深度學習。
為了說明GPU的強大功能，吳恩達將Google X專案與一個擁有110億個連線的網路一起復制，該網路執行在只有64個GPU的16臺計算機上。而以前的專案使用1000臺帶有16000個CPU的計算機。新專案沒有跑得太快或表現更好，但吳表達了他的觀點。64個GPU可以在大致相同的時間內處理與16000個CPU相同的工作量。
3.先進演算法的發明
儘管一系列發現提高了人工神經網路的能力，但許多人認為2006年Geoffrey Hinton和他的同事們所做的發現是人工神經網路的轉折點。
Hinton引入了一種演算法，可以微調用於訓練具有多個隱藏層的ANN的學習過程。關鍵是使用“貪婪”演算法或梯度下降演算法，它可以分別微調ANN的每一層。
另一個關鍵發現優化了權重的初始設定。這允許高維資料或具有許多特徵的資料轉換成低維資料，從而提高預測能力。
影響是什麼？深度學習技術正在解決高度複雜的問題，由於處理能力更強大，大量可用資料以及更先進的神經網路演算法，這些問題幾十年來一直困擾著計算機科學家。
例如，深度學習被用來改進自然語言處理工具，以便始終理解句子的含義，而不僅僅是單個單詞。所以如果有人想要翻譯"徒步旅行"或"迷路"，它不會從字面上理解表達。它會將表示式翻譯成其他語言的相應表示式。
物體識別軟體將變得更加普遍和準確。例如，面部識別軟體已經在高水平執行。科學家們現在正在訓練深度學習演算法來區分類似的物體，比如茶杯和碗，房子和小木屋，鞋子和靴子。這種精度允許計算機區分街道上的行人，檢測普通物體的異常情況，拼接全景照片，索引影象等等。
缺點
使用人工神經網路有幾個缺點，即黑盒問題和過度擬合。
黑盒問題是無法知道ANN如何達到預測。使用者可以在輸入和輸出層看到資料，它提供了一個它認為重要的輸入變數的提示。但是，隱藏層掩蓋了預測背後的潛在推理。因此，商業領袖不太可能信任未經測試的人工神經網路，因為他們無法看出它如何得出結論，而不像其他演算法的過程清晰可見。
過擬合（Overfitting）也是人工神經網路常見的問題。過擬合發生在演算法非常適合一組測試資料，以至於無法準確執行非測試資料時發生。這個問題並不是深度學習所特有的，可以在其他型別的機器學習演算法中看到。
應用
資料科學家可以使用許多演算法來檢測底層資料中的模式和關係。深度學習演算法是最強大的演算法，因為它們可以適應各種各樣的資料，需要很少的統計培訓，可以使用簡單的演算法進行學習，並可以擴充套件到大型資料集。