利用CPU最佳化神經網路精度。小時候，我曾經抱怨過自己想玩的遊戲居然需要一個專門的圖片處理器才能執行。現在，研究人員們開始利用同一個CPU內的多個核心同時加快運算速度，從而提高神經網路的預測準確度。這一突破首先出現在2010年的Imagenet影象識別大賽上。來自多倫多大學的亞力克斯·克里澤夫斯基帶領自己的團隊展示瞭如何利用個CPU來訓練他們的卷積神經網路。我必須指出，在機器學習演算法的發展領域，這一發現已經算得上是古董了。無論如何，它最近還是帶來了許多新的突破，因此值得一提。

深度強化學習。這是我個人的最愛，因此特意留到了最後。神經強化學習從上世紀80年代左右就已經開始出現，但卻沒能掀起大的波瀾。直到2015年，在人工智慧公司Deepmind的大衛·西爾弗和其他人提出了深度強化學習框架之後，這一演算法才引起了業界的極大關注。圍棋人工智慧是他們最主要的成就。它打敗了國際排名第二的九段圍棋高手李世石。與此同時，深度強化學習的概念也被用於普通遊戲的人工智慧，同樣也取得了不俗的成績。概念本身也相當簡單。先將一個RL演算法與一個神經網路連線起來，並將神經網路用作演算法的函式逼近器。再用一個類似梯度下降的損失函式減少演算法來訓練神經網路。Deepmind引入的主要變化是引入了經驗回放的小批次更新，以減少更新步驟之間的時間相關性。