可以參考Yann LeCun在IJCAI 2018上的演講。今年的人工智慧頂會 IJCAI 2018 在瑞典首都斯德哥爾摩舉辦。期間，Facebook 首席人工智慧科學家、紐約大學教授 Yann LeCun 在會上發表了近一個小時，以《Learning World Models: the Next Step towards AI》為主題的演講，引起了人們的廣泛關注。本文將對 LeCun 的演講進行簡要介紹。

完整演講影片：https://www.facebook.com/ijcaiecai18/videos/2184672041673770/

Yann LeCun 開場介紹說，當前幾乎所有的機器學習從業者在實踐中使用的都是監督式學習：向機器展示大量的樣本，然後告訴機器正確的答案與內部引數，然後就能做影象識別之類的任務。而過去幾年，監督式學習有了極大的成功，應用也非常廣泛。下圖對比了傳統機器學習與深度學習各自的特點。

深度學習的演講回溯到 20 世紀 50 年代，當時 AI 社群嘗試構建神經網路。建立這樣略為複雜的系統，你需要兩個基礎的運算：線性的加權和與非線性的啟用函式。這裡，Yann LeCun 回顧了他們在 80 年代末期提出的用來識別數字的卷積神經網路 LeNet5，從最初的識別單個目標發展到了識別多個目標。

很快，他們就建立了一個識別手寫檔案的系統。在 1995 年，他們在 AT&T 完成了一個商業系統來讀取支票賬號。經歷瞭如下圖展示的過程。Yann LeCun 介紹了，這是上一波人工智慧浪潮下的極大成功示例。之後，人們就對神經網路的研究失去了興趣。一方面是準確率的原因，還因為很多領域當時沒有足夠多的資料來訓練學習系統。

接著，Yann LeCun 介紹說，實際上在 1996-2001 年這段時間內，他並沒有研究機器學習，而是在研究其它東西，尤其是影象壓縮。

下圖是在 21 世紀初加入 NYU 之後用模仿學習做的研究。這個研究激發了 DARPA 的 LAGR 專案。

Yann LeCun 隨後回顧了卷積神經網路在不同任務中的應用，包括用於自動駕駛汽車的目標檢測與語義分割等。這些基於視覺的任務絕大部分都需要卷積神經網路的支援，當然也離不開平行計算裝置的支援。

第一個得到廣泛關注與應用的卷積神經網路是 2012 年提出來的 AlexNet，它相比於 LeNet-5 最大的特點是使用更深的卷積網路和 GPU 進行並行運算。AlexNet 還應用了非常多的方法來提升模型效能，包括第一次使用 ReLU 非線性啟用函式、第一次使用 Dropout 以及大量資料增強而實現網路的正則化。除此之外，AlexNet 還使用了帶動量的隨機梯度下降、L2 權重衰減以及 CNN 的整合方法，這些方法現在都成為了卷積網路不可或缺的模組。

隨後在 ImageNet 挑戰賽中，卷積網路的深度與效能都逐年提升。從 12 年到 16 年，參賽者使用的卷積神經網路不斷加深，錯誤率也逐年下降。

如下所示，牛津大學 2014 年提出了另一種深度卷積網路 VGG-Net，與 AlexNet 相比，它的卷積核更小，層級更深。谷歌同年提出了 GoogLeNet（或 Inception-v1），該網路共有 22 層，且包含了非常高效的 Inception 模組。後來到了 15 年，何愷明等人提出的深度殘差網路驟然將網路深度由十幾二十層提升到 152 層，且效能大幅提高。

此外，去年提出的 DenseNet 進一步解決了 ResNet 遺留下的梯度問題，並獲得了 CVPR 2017 的最佳論文。DenseNet 的目標是提升網路層級間資訊流與梯度流的效率，並提高參數效率。它也如同 ResNet 那樣連線前層特徵圖與後層特徵圖，但 DenseNet 並不會像 ResNet 那樣對兩個特徵圖求和，而是直接將特徵圖按深度相互拼接在一起。

那麼為什麼卷積神經網路在計算機視覺任務上如此高效？Yann LeCun 隨後就對深度卷積網路的表徵方式做了介紹。他表明對於影象資料來說，資料的資訊與結構在語義層面上都是組合性的，整體影象的語義是由區域性抽象特徵組合而成。因此深度網路這種層級表徵結構能依次從簡單特徵組合成複雜的抽象特徵，如下我們可以用線段等簡單特徵組合成簡單形狀，再進一步組合成影象各部位的特徵。

卷積神經網路在目標識別、目標檢測、語義分割和影象描述等領域都有非常多的應用，而這些實現很多都依賴於深度學習框架。LeCun 隨後重點介紹了 PyTorch 與 Detectron，其中 PyTorch 因為採用了動態計算圖而受到了廣泛的關注，它也是當前發展最快的框架之一。

如下所示，Facebook AI 研究院開源的 Detectron 基本上是業內最佳水平的目標檢測平臺。據 LeCun 介紹，該專案自 2016 年 7 月啟動，構建於 Caffe2 之上，目前支援目標檢測與語義分割演算法，其中包括 Mask R-CNN（何愷明的研究，ICCV 2017 最佳論文）和 Focal Loss for Dense Object Detection（ICCV 2017 最佳學生論文）等優秀的模型。

最後，作為對卷積神經網路的總結，LeCun 帶我們回顧了卷積神經網路的應用，包括醫療影像分析、自動駕駛、機器翻譯、文字理解、影片遊戲和其它學科研究。

Yann LeCun 談到當前深度學習缺乏推理能力，因此未來的一個重點發展方向就是深度學習和推理的結合。

人們已經在多個方向上進行嘗試。例如，在網路中增加記憶增強模組，典型的工作在下圖中列出，這是實現推理的第一步。在對話模型中，由於對話的輪換和非連續的特點，透過增強記憶，有助於預測能力的提高，進而能實現長期而有效的對話。

為什麼要強調記憶建模的重要性呢？在強化學習中，無模型的強化學習訓練需要大量的嘗試才能學會一項任務。

因此此類方法在遊戲中表現良好，如 FAIR、DeepMind、OpenAI 等之前都已在許多遊戲上實現接近甚至超越人類的 AI 系統，但這些系統並沒有達到現實應用的水平。

因為現實環境遠遠比遊戲中的環境要複雜得多，無論是變數複雜度還是不確定性方面，對此，無模型的強化學習系統面對的探索空間是相當巨大的。而且，不像 AlphaGo 那樣可以在計算機上模擬成千上萬次比賽，現實世界環境是無法被「加速」的，有些試驗還涉及很大的風險，這也大大限制了系統的訓練資源。

那麼目前來看，人工智慧到底缺少了什麼？監督學習需要太多的樣本，強化學習需要太多的嘗試，AI 系統缺乏常識。

Yann LeCun 總結了一下這兩類系統的缺點：缺乏獨立於任務的背景知識；缺乏常識；缺乏預測行為後果的能力；缺乏長期規劃和推理的能力。簡言之就是：沒有世界模型；沒有關於世界執行的通用背景知識。用更一般的語言來講就是，目前的機器無法在心裡想象（表徵）世界，而只是像殭屍一樣被氣味驅使著（無意識地）行動。記憶建模只是一方面，建立完整的世界表徵才是我們真正需要的。

在現實應用層面，Yann LeCun 總結道，利用現有的監督學習和強化學習技術，我們可以在自駕汽車、醫療影象分析、個性化醫療、語言翻譯、聊天機器人（有用但還很蠢）、資訊搜尋、資訊檢索、資訊過濾以及其它領域中取得不錯的進展，但仍然無法實現常識推理、智慧個人助理、智慧聊天機器人、家庭機器人以及通用人工智慧等。

然後，Yann LeCun 指出我們可以從嬰兒的學習方式上獲得啟發。嬰兒對外部世界的概念學習大部分是透過觀察，僅有小部分是透過互動，而視覺比觸覺、體感等能捕獲更多、更完整的外部資訊。那麼機器如何做到這一點？其實，這種情況不止發生在人身上，動物也是如此。LeCun 隨後展示了一幅嬰兒和大猩猩觀看魔術的圖，並解釋說，當違反世界模型，也就是當我們觀察到一些不尋常、與世界模型不匹配的東西時，我們的注意力就會被調動（如嬰兒和大猩猩看到魔術表演會大笑就是因為世界模型被違反了）。

接下來，LeCun 解釋了突破強化學習現狀的解決方法：自監督學習，它能透過輸入的某一部分預測其它部分。在空間層面上包括影象補全、影象變換等，在時間層面上包括時序資料預測、影片幀預測等。

Yann LeCun 總結了三類學習正規化，分別是強化學習、監督學習和自監督學習，相比於強化學習和監督學習，自監督學習將輸入和輸出當成完整的整體。它們的區別和聯絡在於反饋資訊的逐漸增多，模型表徵複雜度、適用任務型別也大幅增加，同時任務中涉及的人類工程比重也大大減少，意味著自動化程度的增加。

LeCun 還用之前經常使用的蛋糕比喻來說明三者的關係，之前蛋糕胚代表的是無監督學習，現在則被換成自監督學習。

Hinton 在自監督學習領域探索了多年，LeCun 之前一直持懷疑態度，現在終於認可了這個方向。

機器學習的未來不會是監督學習，當然也不會純粹是強化學習，它應該是包含了深度模組的自監督學習。

那麼下一個問題是，自監督學習能夠產生一般的背景知識嗎？這裡重點是模型需要推斷出背景知識，它需要從真實世界收集的背景知識推理出當前它希望預測的任務。如下 LeCun 舉了一個例子，如果接收到一個自然語句，模型應該推斷出當前場景的各種背景知識。

對於基於模型的經典最優控制，我們可能需要初始化一個序列來模擬世界，並透過梯度下降調整控制序列來最最佳化目標函式。而目前我們可以透過強化學習的方式模擬世界，這些模型不僅需要預測下一個可能的動作，同時還需要預測一系列可能的未來。

接下來 Yann LeCun 介紹了使用對抗訓練的影片預測。他首先展示了預測無監督學習。人類是很擅長預測的，然而機器很難預測未來會發生什麼。近年來的研究中出現了一些使用「對抗訓練」的成功案例，但是仍有很長的路要走。Yann LeCun 用一個紐約公寓的影片示例進行舉例說明。

語義分割空間的影片預測

這部分 Yann LeCun 介紹了當前語義分割預測的現狀。

Latent-Variable Forward Models for Planning and Learning Policies

下圖展示了用於推斷動作和潛在變數的模型架構。

然後 Yann Lecun 展示了一個現實世界的真實案例。

最後，Yann Lecun 總結了技術和科學之間的互相驅動和促進，如望遠鏡和光學、蒸汽機和熱力學、計算機和計算機科學等。並提出了疑問：什麼相當於智慧的「熱力學」？

人工智慧和自然智慧背後是否存在底層原則？

學習背後是否存在簡單的準則？

大腦是否是進化產生的大量「hack」的集合？

各個行業逐步被人工智慧取代，出現大量的新演算法，人們的衣食住行空前的改變，智慧城市，無人汽車等全覆蓋。

再下一階段，出現新的演算法甚至系統，可以實現不知單一的或者幾少的功能，如無人駕駛等單一功能，新算法系統可實現更多的複雜功能，可集多功能與一個人工智慧實體。

再下一階段，出現更智慧的演算法，可集合各個方面可充分適應與學習各種情況，綜合各智慧演算法，最終可產生思維，想象力等

未來的分展方向是在需要的地方越來越智慧化，自動化，在不需要的地方越沒有身影，比如餐館吃飯的你，肯定是不用別人代勞的。機械化程度高的地方，如工廠，可能沒有人。

可以將人工智慧產業劃分為三層，分別為基礎層、技術層和應用層，常見的機器學習、自然語言處理、語音識別等都屬於技術層。

1、基礎層是推動人工智慧發展的基石，主要包括資料、晶片和演算法三個方面，基礎層方面，中國的實力還比較弱，尤其是晶片領域，玩家多為創業公司，而美國在這一領域英偉達、英特爾等重量級玩家，同時創業公司也層出不窮。

2、技術層主要分為三個領域：機器學習、語音識別和自然語言處理、計算機視覺。其中除了bat 等大玩家之外，語音識別和自然語言處理領域的代表公司有科大訊飛、雲知聲、思必馳等，計算機視覺領域的代表公司有商湯科技、曠世科技、依圖科技等。他們中有很多已經成為新興的獨角獸，融資額度甚至超過美國同行。

3、ai 應用領域方面，中國呈現爆發的趨勢，目前主要集中在安防、金融、醫療、教育、零售、機器人以及智慧駕駛等領域。其中安防領域的代表公司有海康威視、大華等；金融領域的有螞蟻金服、眾安科技等；醫療領域有匯醫慧影、醫渡雲等；教育領域有科大訊飛；零售領域有阿里、京東等；機器人領域有大疆創新、優必選等；智慧駕駛領域有百度、馭勢等。