近期在公司內部做了一個關於人工智慧/深度學習相關的主題分享講座，為了準備這個演講，我花了100個小時左右，接下來就把精心準備的內容分享給大家。有一個好訊息是，考慮文章比較長和文字本身表達的侷限性，同時為了解答大家的疑問，我近期會完全免費開一個影片直播，具體內容如下。1. 深度學習入門到晉級2. 深度學習模型解析和程式碼實現展示3. 答疑環節-------------分割線---------------好，內容正式開始。一提到人工智慧和深度學習，很多人覺得比較難，其實那只是因為沒有遇到能夠講的清楚的人而已。很多人喜歡把簡單的事情說得玄乎，以顯示自己很厲害，但其實真正厲害的人，是能夠把複雜的事情講解的很深入淺出、通俗易懂的，這也是我一直努力的方向。看這篇文章的讀者，估計大多數可能之前沒有深入瞭解過深度學習，這麼說來，我有幸成為各位在深度學習方面的啟蒙老師了（笑）。分享的內容分四部分，分別是入門、基礎、進階和發展趨勢。
深度學習簡單入門2016年3月份，AlphaGo以4：1戰勝南韓圍棋手李世石，一舉震驚了世界。人工智慧一下就引爆了整個世界。有種趨勢就是，不談人工智慧，就落伍了。以前資本圈融資都談的是“網際網路+”，現在都在談“AI+”了。有人說，馬上人工智慧時代就要來了，甚至有人宣揚人工智慧威脅論。那麼，當我們談論人工智慧的時候，我們究竟在談論什麼呢？ 我們先來討論下“人工智慧”的定義。什麼叫做智慧呢？所謂智慧，其實就是對人某些高階功能的模擬，讓計算機去完成一些以前只有人才能完成的工作，比如思考、決策、解決問題等等。比如以前只有人可以進行數學計算，而現在計算機也可以進行計算，而且算的比人還準，還快，我們說計算機有一點智慧了。人工智慧的發展經歷了好幾個發展階段，從最開始的簡單的邏輯推理，到中期的基於規則（Rule-based）的專家系統，這些都已經有一定的的智慧了，但距離我們想象的人工智慧還有一大段距離。直到機器學習誕生以後，人工智慧界感覺終於找到了感覺。基於機器學習的影象識別和語音識別在某些垂直領域達到了跟人相媲美的程度。人工智慧終於能夠達到一定的高度了。 當前機器學習的應用場景非常普遍，比如影象識別、語音識別，中英文翻譯，資料探勘等，未來也會慢慢融入到各行各業。 雖然都是機器學習，但是背後的訓練方法和模型是完全不同的。根據訓練的方法不同，機器學習演算法可以大致分類為監督學習、無監督學習和強化學習三種。 監督學習，就是訓練資料是有標籤的，也就是每個資料都是標註過的，是有正確答案的。訓練的時候會告訴模型什麼是對的，什麼的錯的，然後找到輸入和輸出之間正確的對映關係，比如物體種類的影象識別，識別一張圖片內容是隻狗，還是棵樹。非監督學習，就是訓練資料沒有標籤的，只有部分特徵。模型自己分析資料的特徵，找到資料別後隱含的架構關係，比如說自己對資料進行學習分類等等，常見的演算法有聚類演算法，給你一堆資料，將這資料分為幾類。比如在銀行的資料庫中，給你所有客戶的消費記錄，讓你挑選出哪些可以升級成VIP客戶，這就是聚類演算法。還有一種是強化學習，目標是建立環境到行為之間的最佳對映。強化學習的訓練是不需要資料的，你告訴他規則或者給他明確一個環境，讓模型自己透過不斷地嘗試，自己根據結果來自己摸索。Deep Mind的AlphaGo Zero就是透過強化學習訓練的,號稱花了3天的訓練時間就能100：0打敗AlphaGo。比較適合強化學習的一般是環境到行為之間的結果規則比較明確，或者環境比較單一、不太容易受噪音干擾等等，比如下圍棋的輸贏等等，還可以模擬直升機起降、雙足機器人行走等等。我們今天討論的就是基於監督學習在影象識別領域的應用。
接下來我們再看下人工智慧的歷史。雖說我們感覺人工智慧最近幾年才開始火起來，但是這個概念一點也不新鮮。起源於上世紀五、六十年代就提出人工智慧的概念了，當時叫感知機（perceptron），擁有輸入層、輸出層和一個隱含層。輸入的特徵向量透過隱含層變換達到輸出層，在輸出層得到分類結果，當時的人們對此非常樂觀，號稱要在10年內解決所有的問題。但是，單層感知機有一個嚴重得不能再嚴重的問題，即它對稍複雜一些的函式都無能為力（比如最為典型的“異或”邏輯），連異或都不能擬合。當時有一個專家叫明斯基，號稱人工智慧之父，在一次行業大會上公開承認，人工智慧連一些基本的邏輯運算（比如異或運算）都無能為力，於是政府所有的資助全部都停掉了，於是進入人工智慧的第一個冬天。隨著數學的發展，這個缺點直到上世紀八十年代才發明了多層感知機克服，同時也提出了梯度下降、誤差反向傳播（BP）演算法等當前深度學習中非常基礎的演算法。之前被人詬病的問題已經被解決了，希望的小火苗又重新點燃了，於是人工智慧開始再次興起。但是沒過多久大家發現了，雖然理論模型是完善了，但是並沒有實際用途，還不能解決實際問題，於是又冷下去了，人工智慧的第二個冬天降臨。直到2012年開始第三次興起，也就是最近幾年人工智慧的熱潮。 下面我們就來第三次熱潮是如何興起的。在這之前，我們先介紹一個比賽。這個比賽是一項影象識別的挑戰賽，給你大量圖片去做影象識別，比賽看誰的識別錯誤低。在2012年之前，錯誤率降低到30%以後，再往下降就很難了，每年只能下降個2，3個百分點。直到2012年，有一個哥們叫Alex，這哥們在寢室用GPU死磕了一個卷積神經網路的模型，將識別錯誤率從26%下降到了16%，下降了10%左右，一舉震驚了整個人工智慧界，當之無愧的獲得了當年的冠軍。從此之後，卷積神經網路一炮而紅。之後每年挑戰賽的冠軍，勝者都是利用卷積神經網路來訓練的。2015年，挑戰賽的錯誤率已經降低到3.5%附近，而在同樣的影象識別的任務，人眼的辨識錯誤率大概在5.1%，也就是目前的深度學習模型的識別能力已經超過了人眼。下圖是最近幾年比較有代表性的模型的架構。大家可以看出來，深度學習的模型的發展規律，深，更深。沒有最深，只有更深。
近期在公司內部做了一個關於人工智慧/深度學習相關的主題分享講座，為了準備這個演講，我花了100個小時左右，接下來就把精心準備的內容分享給大家。有一個好訊息是，考慮文章比較長和文字本身表達的侷限性，同時為了解答大家的疑問，我近期會完全免費開一個影片直播，具體內容如下。1. 深度學習入門到晉級2. 深度學習模型解析和程式碼實現展示3. 答疑環節-------------分割線---------------好，內容正式開始。一提到人工智慧和深度學習，很多人覺得比較難，其實那只是因為沒有遇到能夠講的清楚的人而已。很多人喜歡把簡單的事情說得玄乎，以顯示自己很厲害，但其實真正厲害的人，是能夠把複雜的事情講解的很深入淺出、通俗易懂的，這也是我一直努力的方向。看這篇文章的讀者，估計大多數可能之前沒有深入瞭解過深度學習，這麼說來，我有幸成為各位在深度學習方面的啟蒙老師了（笑）。分享的內容分四部分，分別是入門、基礎、進階和發展趨勢。
深度學習簡單入門2016年3月份，AlphaGo以4：1戰勝南韓圍棋手李世石，一舉震驚了世界。人工智慧一下就引爆了整個世界。有種趨勢就是，不談人工智慧，就落伍了。以前資本圈融資都談的是“網際網路+”，現在都在談“AI+”了。有人說，馬上人工智慧時代就要來了，甚至有人宣揚人工智慧威脅論。那麼，當我們談論人工智慧的時候，我們究竟在談論什麼呢？ 我們先來討論下“人工智慧”的定義。什麼叫做智慧呢？所謂智慧，其實就是對人某些高階功能的模擬，讓計算機去完成一些以前只有人才能完成的工作，比如思考、決策、解決問題等等。比如以前只有人可以進行數學計算，而現在計算機也可以進行計算，而且算的比人還準，還快，我們說計算機有一點智慧了。人工智慧的發展經歷了好幾個發展階段，從最開始的簡單的邏輯推理，到中期的基於規則（Rule-based）的專家系統，這些都已經有一定的的智慧了，但距離我們想象的人工智慧還有一大段距離。直到機器學習誕生以後，人工智慧界感覺終於找到了感覺。基於機器學習的影象識別和語音識別在某些垂直領域達到了跟人相媲美的程度。人工智慧終於能夠達到一定的高度了。 當前機器學習的應用場景非常普遍，比如影象識別、語音識別，中英文翻譯，資料探勘等，未來也會慢慢融入到各行各業。 雖然都是機器學習，但是背後的訓練方法和模型是完全不同的。根據訓練的方法不同，機器學習演算法可以大致分類為監督學習、無監督學習和強化學習三種。 監督學習，就是訓練資料是有標籤的，也就是每個資料都是標註過的，是有正確答案的。訓練的時候會告訴模型什麼是對的，什麼的錯的，然後找到輸入和輸出之間正確的對映關係，比如物體種類的影象識別，識別一張圖片內容是隻狗，還是棵樹。非監督學習，就是訓練資料沒有標籤的，只有部分特徵。模型自己分析資料的特徵，找到資料別後隱含的架構關係，比如說自己對資料進行學習分類等等，常見的演算法有聚類演算法，給你一堆資料，將這資料分為幾類。比如在銀行的資料庫中，給你所有客戶的消費記錄，讓你挑選出哪些可以升級成VIP客戶，這就是聚類演算法。還有一種是強化學習，目標是建立環境到行為之間的最佳對映。強化學習的訓練是不需要資料的，你告訴他規則或者給他明確一個環境，讓模型自己透過不斷地嘗試，自己根據結果來自己摸索。Deep Mind的AlphaGo Zero就是透過強化學習訓練的,號稱花了3天的訓練時間就能100：0打敗AlphaGo。比較適合強化學習的一般是環境到行為之間的結果規則比較明確，或者環境比較單一、不太容易受噪音干擾等等，比如下圍棋的輸贏等等，還可以模擬直升機起降、雙足機器人行走等等。我們今天討論的就是基於監督學習在影象識別領域的應用。
接下來我們再看下人工智慧的歷史。雖說我們感覺人工智慧最近幾年才開始火起來，但是這個概念一點也不新鮮。起源於上世紀五、六十年代就提出人工智慧的概念了，當時叫感知機（perceptron），擁有輸入層、輸出層和一個隱含層。輸入的特徵向量透過隱含層變換達到輸出層，在輸出層得到分類結果，當時的人們對此非常樂觀，號稱要在10年內解決所有的問題。但是，單層感知機有一個嚴重得不能再嚴重的問題，即它對稍複雜一些的函式都無能為力（比如最為典型的“異或”邏輯），連異或都不能擬合。當時有一個專家叫明斯基，號稱人工智慧之父，在一次行業大會上公開承認，人工智慧連一些基本的邏輯運算（比如異或運算）都無能為力，於是政府所有的資助全部都停掉了，於是進入人工智慧的第一個冬天。隨著數學的發展，這個缺點直到上世紀八十年代才發明了多層感知機克服，同時也提出了梯度下降、誤差反向傳播（BP）演算法等當前深度學習中非常基礎的演算法。之前被人詬病的問題已經被解決了，希望的小火苗又重新點燃了，於是人工智慧開始再次興起。但是沒過多久大家發現了，雖然理論模型是完善了，但是並沒有實際用途，還不能解決實際問題，於是又冷下去了，人工智慧的第二個冬天降臨。直到2012年開始第三次興起，也就是最近幾年人工智慧的熱潮。 下面我們就來第三次熱潮是如何興起的。在這之前，我們先介紹一個比賽。這個比賽是一項影象識別的挑戰賽，給你大量圖片去做影象識別，比賽看誰的識別錯誤低。在2012年之前，錯誤率降低到30%以後，再往下降就很難了，每年只能下降個2，3個百分點。直到2012年，有一個哥們叫Alex，這哥們在寢室用GPU死磕了一個卷積神經網路的模型，將識別錯誤率從26%下降到了16%，下降了10%左右，一舉震驚了整個人工智慧界，當之無愧的獲得了當年的冠軍。從此之後，卷積神經網路一炮而紅。之後每年挑戰賽的冠軍，勝者都是利用卷積神經網路來訓練的。2015年，挑戰賽的錯誤率已經降低到3.5%附近，而在同樣的影象識別的任務，人眼的辨識錯誤率大概在5.1%，也就是目前的深度學習模型的識別能力已經超過了人眼。下圖是最近幾年比較有代表性的模型的架構。大家可以看出來，深度學習的模型的發展規律，深，更深。沒有最深，只有更深。