近期深度學習有很多發展，沒法在這裡一一描述。有些想法吸引了我的注意，我也參與了其中一些研究專案。

在我看來，最重要的進展是對抗訓練，也叫做生成式對抗網路。對抗訓練最初由伊恩·古德費洛提出，當時他在蒙特利爾大學，師從約舒亞·本希奧。從蒙特利爾大學畢業之後，古德費洛加入了谷歌大腦團隊，最近又加入了OpenAI團隊。

我認為對抗訓練及其近期發展是過去十年來機器學習最有趣的想法。

對抗訓練即同時訓練兩個神經網路。第一個是鑑別器，表示為D（Y）。舉例來說，鑑別器輸入影象，然後輸出衡量該影象Y看起來是否“自然”的標量。進行對抗訓練時，可以把D（Y）看作當Y是實際樣本（例如來自資料庫的影象）時取較低值（例如接近0）以及Y不是實際樣本時取正值（例如如果它是嘈雜或奇怪的影象）的某種能量函式。第二網路是生成器，表示為G（Z），其中Z通常是指簡單分佈（例如高斯分佈）中的隨機抽樣向量。生成器的作用是生成影象以便訓練D（Y）函式生成正確的形狀。真實影象實像的D（Y）值較低，其他任何影象的D（Y）比較高。在訓練期間，D顯示的是真實影象實像，並且可以調整引數使輸出值更低。然後D會顯示G生成的影象，並且調整引數使其輸出的D（G（Z））值較大（遵循一些客觀預定義函式的梯度）。但G（Z）會訓練自己生成影象來愚弄D，讓D以為那些影象是真實的。G（Z）透過使其生成的每個樣本獲得D相對於Y的梯度來實現的。換句話說，G（Z）試圖最小化D的輸出，而D卻試圖把它最大化。因此訓練的名稱是對抗訓練。

最初的公式使用了一個相當複雜的機率框架，這是對抗訓練的要點。

為什麼對抗訓練這麼有趣呢？因為它允許我們將鑑別器作為無監督的“密度估計器”來訓練，即對比度函式給出低值資料和高值輸出。這種鑑別器必須開發出良好的內部資料表示才能解決好這個問題。例如可以把鑑別器用作分類器的特徵提取器。

但也許更有趣的是，生成器可以被視為引數化實際資料的複雜表面：給它一個向量Z，將它對映到資料歧管上的一個點。有記錄證明確實有人實施了它，例如生成臥室的照片，在Z向量空間中的臉上做算術：[戴眼鏡的男人] - [沒眼鏡的男人] + [沒有眼鏡的女人] = [戴眼鏡的女人] 。

《人工智慧研究基礎》上已經發表了一系列有趣的論文：

l 馬修等。深度卷積多尺度影片預測框架：https://scholar.google.com/citat...

最後一篇是利用對抗訓練的影片預測。它解決了一個非常重要的問題，即當你訓練神經網路或任何其他模型來預測未來時，如果會出現幾個可能的未來，以傳統方式（如最小二乘法）訓練的網路將預測可以預測這幾個可能的未來的平均值。在進行影片預測時，傳統的訓練方式會產生模糊的混亂。而對抗訓練可以讓系統生成任何它想要的結果，只要這種結果位於鑑別器喜歡的集合內。這就解決了在不確定條件下進行預測的“模糊性”問題。

FaceBook推出開源軟體平臺PairAI。OpenAI釋出開源軟體RoboSchool，模擬機器人控制訓練。。。

最乾貨：FaceBook提出基於CNN的seq2seq翻譯模型，超越了Google採用的基於LSTM的機器翻譯模型。

想了解深度學習最近有哪些突破，一個最簡便的辦法就是去瀏覽一下人工智慧巨頭公司的各個研究部落格（比如谷歌、Facebook、微軟、IBM），以及還有OpenAI的官方部落格，上面深度學習的最新進展就會一目瞭然。連結如下：

OpenAI：https://openai.com/blog/

谷歌：http://googleresearch.blogspot.com/

百度：http://research.baidu.com/baidu-tech-blog/

Facebook：https://research.facebook.com/blog

/IBM：https://www.ibm.com/blogs/watson/

DeepMind:https://www.deepmind.com/blog

亞馬遜：https://aws.amazon.com/cn/blogs/ai/

微軟：http://blogs.microsoft.com/next/#sm.00000p17bc4jt8fmrrawc04ec9c5m

另外一些大牛的動態你也可以關注一下，比如深度學習三巨頭Yann LeCun、Yoshua Bengio和Geoffrey Hinton的動態，比如在Facebook、推特或者arXiv上，下面本文列舉一個 Yoshua Bengio 在arXiv 上發表論文的例子。

Yoshua Bengio團隊在2017年 2 月下旬一連在 arXiv 上釋出了三篇相關論文（其中一篇為論文修正），提出了三種不同的 GAN——邊界尋找生成對抗網路（BS-GAN）、最大似然增強的離散生成對抗網路（MaliGAN）和模式正則化的生成對抗網路（Regularized-GAN），每一個都是深度學習領域的重大突破：

論文 1：邊界尋找生成對抗網路（Boundary-Seeking Generative Adversarial Networks）

摘要：本文介紹了一種全新的用於訓練生成對抗網路的方法——訓練一個生成器來匹配一個目標分佈，該分佈會收斂到處於完美鑑別器的極限的資料分佈。這個目標可被視為訓練一個生成器來在每次更新的訓練中產生在當前鑑別器的決策邊界（decision boundary）之上的樣本，我們把使用這種演算法訓練的 GAN 稱為邊界尋找 GAN（BS-GAN：boundary-seeking GAN）。這種方法可被用於訓練帶有離散輸出的生成器——該生成器可以輸出一個引數條件分佈（parametric conditional distribution）。本文透過使用離散影象資料表明演算法的有效性。和提出的演算法相反，本文觀察到最近提出的用於重新引數化（re-parametrizing）離散變數的 Gumbel-Softmax 技術不能用於訓練帶有離散資料的 GAN。最後，本文注意到提出的邊界尋找演算法甚至可以用於連續變數，而且透過兩個被廣泛使用的影象資料集 SVHN 和 CelebA 證明了其有效性。

論文 2：最大似然增強的離散生成對抗網路（Maximum-Likelihood Augmented Discrete Generative Adversarial Networks）

摘要：儘管生成對抗網路（GAN）在獲取連續分佈上已經取得了成功，但其在離散背景（比如自然語言任務）上的應用卻相當有限。主要的原因是透過離散變數的反向傳播很困難，而且 GAN 訓練目標還具有固有的不穩定性。為了解決這些問題，我們提出了最大似然增強的離散生成對抗網路（Maximum-Likelihood Augmented Discrete Generative Adversarial Networks）。我們沒有直接最佳化該 GAN 目標，而是使用遵循對數似然的對應的輸出而推匯出了一種全新的且低方差的目標。和原來的相比，事實證明這種新的目標在理論上是一致的，且在實踐中也是有益的。在多種離散資料集上的實驗結果表明了我們提出的方法的有效性。

論文 3：模式正則化的生成對抗網路（Mode Regularized Generative Adversarial Networks）

摘要：儘管生成對抗網路（GAN）在許多不同的生成任務上都實現了當前最佳的結果，但它們被認為是高度不穩定的且容易出錯。我們認為 GAN 的這些糟糕行為是由於在高維空間中訓練過的鑑別器的非常特定的函式形狀，這可以輕鬆使得訓練陷入困境或將機率質量（probability mass）推向錯誤的方向，導致集中度（concentration）比其資料生成分佈（data generating distribution）更高。我們介紹了幾種對其目標進行正則化的方法，它們可以極大地穩定 GAN 模型的訓練。我們還表明我們的正則化器（regularizer）可以在訓練的早期階段幫助在資料生成分佈的模式上實現公平的機率質量分佈，從而能為該模式缺失問題（missing modes problem）提供一種統一的解決方案。

IBM公司上週宣佈已成功開發出了一種可以大幅縮短處理海量資料，並得出有用結論時間的全新深度學習技術。

截至目前，深度學習主要依靠單一伺服器執行，因為在不同計算機之間移動大量資料非常複雜。而且，如何處理在不同伺服器和處理器之間的資料同步也是一個問題。

IBM的新技術能夠將這些任務分配到64臺伺服器的軟體，而這些伺服器最高配置有256個處理器，可在資料處理速度方面取得巨大進步。而且，只要是使用IBM Power系統伺服器的客戶以及其他參與測試的技術人員，均可獲得這一技術的使用許可權。

理論上將裝置的處理器擴容100%應該獲得100%的等量效能提升。但實際上，由於複雜的流量管理和連線問題，這種等量增長的效益永遠不會發生。

IBM表示，自己研發的這一軟體系統藉助 “加州大學伯克利分校”（University of California at Berkeley）建立的“咖啡因深度學習框架”（the Caffe deep learning framework），成功在256個處理器之間實現了95%的擴充套件效率。在此之前，這一等量擴容的記錄是由Facebook人工智慧研究公司創造的，其擴充套件效率達到了89%。

具體來說，IBM的資料顯示該軟體可以在7個小時內識別750萬張圖片，準確率為33.8%。在此之前，微軟保持的最高準確率記錄是29.8%，但用時則達到了10天。換句話說就是，IBM已經開發出了比現有深度學習技術更快、更精確的技術。當然，這一系統也需要同IBM的Power系統硬體和叢集軟體配合使用。

手機圈的話，華為也算一個吧，麒麟970晶片一出，華為正式進入手機行列的第一梯隊，深度學習或者說AI的能量可想而知。

簡單說一下最重要的NPU吧。

首先，NPU是華為AI戰略的一個基礎部件而已。未來的AI無處不在，而無處不在的AI需要晶片、終端、行動網路、雲的聯動支援，比如晶片提供本地的實時能力和隱私保護、終端提供良好的人機介面、行動網路提供優良的頻寬和時延、雲端提供足夠的深度和廣度。從這個緯度來看，全球我只看好華為的Mobile AI戰略。其次，即使這代的NPU有可能達不到理想，但是，作為Mobile AI戰略的關鍵節點，我認為，未來還是大有前途的。

換個角度來看，一段時間內，專業的單元做專業的事，應該是個趨勢。就像攝像頭的ISP一樣，現在都獨立出來了。