其實自從2018年三大佬靠深度學習拿了圖靈獎之後，基本宣告深度學習容易解決的問題做的差不多了，這兩年這個領域沒有太大的突破，因為剩下的問題都是硬核問題，想要比較好的解決很困難，這個可以從這幾年的頂會NeurIPS, ICML和 ICLR 可以看出來。我大體列一下自己認為值得 follow 的幾個大方向。

深入反思和理解深度學習的行為: Understanding deep learning, 包括理論和完整的實驗分析。比如深度學習獲得泛化能力的來源：資料、模型和訓練演算法技巧的分析；還有深度學習學到的特徵表示究竟是什麼，寬度、深度、跳連等究竟在 representation learning 上所起的作用；深度學習穩健性，包括對噪聲變化、對結構變化、對對抗樣本的穩健性；從不同視角建模深度學習等。

新模型的構建方面，主要目的是希望深度學習滿足某種性質或要求，比如可解釋性強、可信能力強的模型的構建；比如具有因果推斷能力的模型，這其實是個很重要的方向，深度學習很大的成功在於模式識別和函式擬合，其他能力很弱；比如小容量計算友好的模型等。

新的資料場景或資料結構中的深度學習模型，比如semi-supervised, self-supervised或大家也稱unsupervised, transfer learning ，meta-learning等。因為已有的深度學習的成功展現在大資料的有監督上，目前關於這些挑戰場景上的理解還很少，雖然大家一頓猛發文章，本質是什麼尚不清晰，尤其是背後的設計模型的核心 principle 是什麼還是很模糊的。新的資料結構下的問題，典型代表是graph，大型 table及結構化的資料上。

Learning-enhanced algorithms，我自己起的名字，主要指如何利用資料驅動的方式，尤其是深度學習強大表達能力和靈活性，來解決一些傳統演算法的瓶頸問題，比如如何用learning的思路來解決一些組合問題中的搜尋策略；如何從解決多個問題中總結資料或者問題的經驗，來拓展到解決類似問題上。

對應用友好的模型和演算法，尤其是精細場景以及實際落地應用中。畢竟深度學習的很多問題是應用驅動的，如何更好的解決實際應用問題也極其關鍵。這裡涉及很多，比如模型動態更新（包括類別，資料的分佈變化，資料的異質，多模態等），快速部署（衍生很多加速演算法等），便捷部署（衍生 automl），視覺化，模組化等。

還有一個是和硬體結合的方向，這個也很重要，自己不是很懂。

當然隨著逐漸發展，還有不同新的有意思的新方向、新應用出現。 不過最終深度學習這個框架和方法最終會像最小二乘法一樣，被廣泛應用，成為標準工具，但會不斷的有新的東西能挖出來。

深度學習有哪些值得追蹤的前沿研究？首先我們要知道什麼是深度學習，深度學習與機器學習和人工智慧的區別。深度學習從名字上也可以看出是更深層次的技術，那就先從人工智慧入手，通俗點說，人工智慧如同我們看的科幻電影駭客帝國中的人類同人工智慧Matrix對抗的故事，亦或是現實世界中谷歌AlphaGo，第一個戰勝圍棋世界冠軍的人工智慧機器人。圍棋作為最古老的一項運動被機器打敗，標誌著人工智慧離我們越來越近。

人工智慧(Artificial Intelligence，AI)：就是根據對環境的感知，做出合理的行動，並獲得最大收益的計算機程式，這個定義是不是太抽象。換個說法，AI就是與人類行為相似的計算機程式，可以完成人們不認為機器能勝任的事。

圖：人工智慧應用場景

機器學習(Machine Learning，ML)：一種實現人工智慧的方法

機器學習最基本的做法，是使用演算法來解析資料、從中學習，然後對真實世界中的事件做出決策和預測。與傳統的為解決特定任務、硬編碼的軟體程式不同，機器學習是用大量的資料集來“訓練”，透過各種演算法從訓練資料集中學習出一套判決準則，當有新的資料出現時它就可以利用訓練好的模型去完成任務。

舉個簡單的例子，但我們手機上購物時，我們買了什麼東西，或者經常瀏覽那些商品，在那些商品上瀏覽的時間長，那麼後臺的機器學習演算法就會記錄並分析你這些喜好的資料，然後推薦給你商品。

深度學習(Deep Learning，DL)：一種實現機器學習的技術

深度學習的實質，是透過構建具有很多隱層的機器學習模型和海量的訓練資料，來學習更有用的特徵，從而最終提升分類或預測的準確性。因此“深度模型”是手段，“特徵學習”是目的。區別於傳統的淺層學習，深度學習的不同在於：

強調了模型結構的深度，通常有5層、6層，甚至10多層的隱層節點；

明確突出了特徵學習的重要性，也就是說，透過逐層特徵變換，將樣本在原空間的特徵表示變換到一個新特徵空間，從而使分類或預測更加容易。與人工規則構造特徵的方法相比，利用大資料來學習特徵，更能夠刻畫資料的豐富內在資訊。

圖：含多個隱層的深度學習模型

三者的區別和聯絡：機器學習是一種實現人工智慧的方法，深度學習是一種實現機器學習的技術。我們就用最簡單的方法視覺化地展現出它們三者的關係。

下面我們分析深度學習值得追蹤的領域。

計算機視覺領域(Computer Vision，CV)

深度學習之所以能在 CV 領域火起來，除了減少了特徵提取的麻煩外，還有其他的優勢。比如它是端到端模型；訓練中的特徵提取器，甚至於訓練出的模型都可以用於其他任務；它可以獲得相較於傳統方法更好的效果；同時它還是由極其簡單的元件組成的。

儘管深度學習有很多優勢，也取得了不小的成績，也具有侷限性，Gary Marcus 曾經說過，深度學習是貪婪，脆弱，不透明和淺薄的。

這些系統很貪婪，因為它們需要大量的訓練資料；

它們是脆弱的，因為當神經網路應用在一些不熟悉的場景時，面對與訓練中使用的示例不同的場景，它並不能很好的完成任務；

它們是不透明的，因為與傳統的可除錯程式碼不同，神經網路的引數只能根據它們在數學中的權重來解釋，因此，它們是黑盒子，其輸出很難解釋；

它們是淺薄的，因為它們的訓練缺乏先天知識，對世界沒有常識。可以想象，一輛自動駕駛汽車可以行駛數百萬英里，但它最終會遇到一些沒有經驗的新事物；一個機器人可以學會拿起一個瓶子，但如果讓他拿起一個杯子，它就得從頭學起。

仔細觀察上述缺點的話，不難發現深度學習目前能解決的就是資料的問題，而至於其「智慧」的問題，可能需要一個新的框架來實現了。當下深度學習有自己的優勢，也有一定的侷限性，而深度學習專家們也在盡力解決這些侷限性。對於深度學習的未來，我相信除了它自己的改進外，還會在計算機視覺領域有較大的發展。

自然語言處理(Natural Language Processing，NLP)領域

提高NLP大家可能覺得有點陌生，其實有很多應用場景就在我們身邊。比如搜尋引擎、文字主題/標籤分類、文字創作與生成、機器翻譯、情感分析、語音識別系統、對話機器人。有個網站輸入關鍵詞就可線上生成一篇文章NLP的文字創作與生成。屬於人工智慧的一個子領域，是指用計算機對自然語言的形、音、義等資訊進行處理，即對字、詞、句、篇章的輸入、輸出、識別、分析、理解、生成等的操作和加工。它對計算機和人類的互動方式有許多重要的影響。目前該方面還有很多課題值得研究。

醫學資訊處理領域

傳統的醫學上看病都是病人去抽血體檢化驗等，然後回去等通知。醫院拿到這些樣本去化驗分析，資料出來之後在交由醫生進行診斷分析。這大大浪費了病人的治療時間，近年來，深度學習在醫學領域有較多的應用。今年疫情的原因，武漢封城，全國各地醫生飛去志願。急需各種醫療物資，而且對於肺炎的診斷需要各種醫療器械，通常都是機器拍片，醫生來人眼去看病診斷，其實這也可以利用深度學習技術，來利用計算機實現醫學資訊處理，進而給出片子的診斷資訊和建議。未來人們在醫學領域的重視，必定離不開深度學習技術的發展。

5G通訊領域

隨著5G通訊技術的商用，基於5G通訊的應用場景越來越多。最近幾年，有學者開始研究深度學習技術在通訊領域的應用。如訊號檢測與估計，通道分配，波束賦形，基站天線的動態切換與分配等。無線通訊中的訊號檢測與估計主要研究內容為凸最佳化、貝葉斯估計、統計訊號處理、壓縮感知等。這與深度學習中的貝葉斯理論相似，因此可以結合深度學習與通訊領域進行研究，為5G通訊技術的應用落地提供更多理論支撐。

自動駕駛領域

自動駕駛其實包含了眾多技術的整合，最重要的還是通訊技術和基於機器學習的計算機視覺。自動駕駛技術的關鍵技術可以分為：環境感知，行為決策，路徑規劃和行為控制。智慧駕駛系統基於環境感知技術對車輛周圍環境進行感知，並根據感知所獲得的資訊，透過車載中心電腦自主地控制車輛的轉向和速度，使車輛能夠安全、可靠地行駛，併到達預定目的地。無人駕駛是汽車智慧化追求的終極目標，是資訊通訊等先進技術在汽車上的深度應用，體現了更便捷、更簡單的人車互動方式，是對人的更大程度的「解放」。智慧駕駛的整個流程歸結起來有三個部分：

首先，是透過雷達、像機、車載網聯絡統等對外界的環境進行感知識別；

然後，在感測感知融合資訊基礎上，透過智慧演算法學習外界場景資訊，規劃車輛執行軌跡，實現車輛擬人化控制融入交通流中；其次，跟蹤決策規劃的軌跡目標，控制車輛的油門、剎車和轉向等駕駛動作，調節車輛行駛速度、位置和方向等狀態，以保證汽車的安全性、操縱性和穩定性。

下圖基本包含了自動駕駛研究所需要的各種硬體。

總結：隨著5G技術的落地，大資料，雲計算，邊緣計算等計算算力的提高，深度學習技術將有較大的用武之地，也需要有更進一步的發展。目前值得追蹤的前沿方向有：CV、NLP、醫學資訊處理、5G通訊和自動駕駛領域。