MILA 2018 夏季課程包括深度學習夏季課程（DLSS）和強化學習夏季課程（RLSS），並主要由以下機構支援。Yoshua Bengio 等人組織的夏季課程每年都非常受關注，每一個主題及講師都是該領域的資深研究者，今年包括 Yoshua Bengio 和 Richard Sutton 在內的講師大多來自常青藤院校、谷歌大腦、VECTOR INSTITUTE 和 MILA 實驗室等知名的研究機構。
在這節課中，來自谷歌大腦的 Hugo Larochelle 從神經網路的一般結構開始，過渡到深度學習。神經網路的介紹部分除了基本的前向傳播、初始化、啟用函式、反向傳播過程的解釋；和上一節課程的基本概念相對應，涉及損失函式和正則化方法的實現，以及如何防止過擬合的方法，模型選擇的方法；此外還有一些神經網路訓練中常用的最佳化技巧，例如歸一化、學習率調整等。
來自 CMU 的 Graham Neubig 主講這門課《自然語言理解》，共分為三部分：語言建模、序列傳導（sequence transduction）和語言分析。從現象到原理到解決方案，由淺入深，圖文並茂。語言建模部分介紹了 NLP 中的一些基本知識：詞袋模型（BOW）、連續詞袋模型（CBOW）、Deep CBOW、Bag of n-grams、池化、NLP 預測任務中的神經網路基本思路等。此外，這部分還介紹了用於 NLP 任務時 CNN、RNN 的優缺點。序列傳導部分介紹了條件語言模型（Conditioned Language Model）、生成問題、句子表徵和注意力機制。第三部分語言分析介紹了三個分析任務：標註、句法分析和語義分析。
多模型學習
Google AI 研究科學家 Jamie Kiros 主講這門課，主要介紹 Grounded Language Learning，共分為三個部分：Grounding and Scope、構造塊（包括當前最佳實踐），以及與其他研究之間的關係。第一部分介紹了 natural language grounding 的發展歷史以及兩種主要方法：Tie training and evaluation scopes、Grow training scope, evaluate in world scope。第二部分介紹了五個通用元件：編碼、解碼、互動（interaction）、預測／控制、目標函式；三種互動方式：Scoring、Fusion 和 Modulation。第三部分介紹了與 Grounded Language Learning 相關的研究領域：Contextualization 、Multi-apt representations、Relevance Realization、Specificity、自然語言生成和對話。
計算神經科學
主題為「大腦中的深度學習」。這門課從「為什麼深度學習不止用於 AI？」這個問題入手，指出深度學習研究的目標之一是理解大腦的執行原理。然後指出深度學習需要什麼：根據隱藏層對網路輸出的貢獻向神經突觸分配信用（credit）。接著介紹解決方案——反向傳播，以及原版反向傳播的生物問題。最後介紹了四個問題：error term、下游權重（downstream weight）、derivatves of spikes 和前向／反向傳輸。
MILA 2018 深度學習與強化學習夏季課程目前已經開放了教學資源，機器之心簡要介紹了該課程所開放的資源與課程主題，讀者可參考這些主題選擇合適的課程。
課程地址：https://dlrlsummerschool.ca/
影片地址：http://videolectures.net/DLRLsummerschool2018_toronto/
MILA 2018 夏季課程包括深度學習夏季課程（DLSS）和強化學習夏季課程（RLSS），並主要由以下機構支援。Yoshua Bengio 等人組織的夏季課程每年都非常受關注，每一個主題及講師都是該領域的資深研究者，今年包括 Yoshua Bengio 和 Richard Sutton 在內的講師大多來自常青藤院校、谷歌大腦、VECTOR INSTITUTE 和 MILA 實驗室等知名的研究機構。
深度學習夏季課程
深度神經網路學習在多層抽象網路中呈現資料，這極大地提升了語音識別、目標識別、目標檢測、預測藥物分子活動和其他多項任務的水平。深度學習透過監督學習、無監督學習和強化學習構建分散式表徵，在大型資料集中構建複雜的結構。DLSS 將涵蓋深度神經網路的基礎和應用，從基本概念到尖端研究結成果。
深度學習夏季課程（DLSS）面向已具備機器學習（也可以是深度學習，但不是必須）領域基礎知識並有志於進一步深入學習 的碩士研究生、工程師和研究者。今年的 DLSS 課程由 Graham Taylor、Aaron Courville 、Roger Grosse 和 Yoshua Bengio 共同組織。
強化學習夏季課程
RLSS 會覆蓋強化學習的基礎知識，並且展示其最前沿的研究方向和新發現，還會提供與研究生和業內高階研究人員進行交流的機會。值得注意的是，今年 Richard Sutton 會先給我們上一次強化學習「啟蒙課」：《Introduction to RL and TD》。
本課程主要面向機器學習及其相關領域的研究生。參加者應該有過計算機科學和數學方面的進階預訓練的經驗，今年強化學習夏季課程的組委會成員有 Amir-massoud Farahmand、Joelle Pineau 和 Doina Precup。
DLSS深度學習夏季課程一共包含 12 個主題，它從機器學習基本概念與理論開始介紹了深度學習常見的方法與理論。包括可學習理論、最最佳化理論以及迴圈和卷積神經網路等。如下所示為各位講師及他們帶來的課程主題，我們將簡要介紹每一個課程講了些什麼。
深度學習夏季課程
機器學習導論
機器學習一般分為三大類別：監督學習、強化學習和無監督學習。來自杜克大學的 Katherine Heller 講師會對這三種學習方式給出基本定義和區分，並輔以具體例項和演算法示例的展示；以監督學習的角度，逐步引入線性擬合、誤差估計、損失函式、過擬合、欠擬合、正則化等基本概念；從貝葉斯定理的角度重新理解過擬合問題；將線性擬合方法推廣，以處理更加複雜的線性擬合問題，最經典的演算法為 Logistic 迴歸。
神經網路 I
在這節課中，來自谷歌大腦的 Hugo Larochelle 從神經網路的一般結構開始，過渡到深度學習。神經網路的介紹部分除了基本的前向傳播、初始化、啟用函式、反向傳播過程的解釋；和上一節課程的基本概念相對應，涉及損失函式和正則化方法的實現，以及如何防止過擬合的方法，模型選擇的方法；此外還有一些神經網路訓練中常用的最佳化技巧，例如歸一化、學習率調整等。
深度學習部分強調了訓練困難的問題，主要分為兩個類別，分別是欠擬合與過擬合。講師針對這兩類問題分別對可能的原因和解決方法進行了深入的討論，其中欠擬合問題一般和最佳化方法、計算硬體等有關，過擬合問題一般需要用正則化方法來解決，並介紹了一種有趣的正則化方法——無監督預訓練；之後在介紹批歸一化方法時，講師強調，這種正則化方法可以同時改善上述兩個訓練難題。
神經網路 II
在這節課中，Hugo Larochelle 會解釋和對比多種機器學習方式，包括監督學習、無監督學習、半監督學習、遷移學習、多工學習、域適應、one-shot 學習、zero-shot 學習等；然後講師會介紹如何根據具體問題設計神經網路的架構。最後，講師會介紹神經網路研究中出現的奇異或難以理解的現象，包括對抗樣本、損失函式非凸性、資料記憶能力、資料壓縮能力、初始化方法的影響甚至第一個訓練樣本的顯著影響，以及災難性遺忘現象等。
CNN 導論
在這節課中，來自谷歌研究院的 Jonathon Shlens 首先探討了計算機視覺面臨的主要挑戰，簡言之就是：我們不清楚人類視覺系統是怎麼工作的，而現在我們也不清楚計算機視覺系統是怎麼工作的，但這個領域的確在進步。卷積神經網路就是受到了生物視覺系統的工作方式的啟發而提出來的。講師強調了自然影象的統計需要遵循不變性，即對影象變換包括平移、剪裁、旋轉、縮放等的不變性。這也正是卷積神經網路能成功的一大原因之一，它天然地引入了平移不變性，從而相對於全連線網路能顯著減少引數數量；並且其架構和輸入影象尺寸是無關的，因而更容易擴充套件。
在解釋了基本概念的基礎上，講師進一步介紹了幾個經典的卷積神經網路架構，比如 LeNet。計算機視覺的進步也離不開大規模資料集和算力的發展，尤其是 ImageNet 資料集的提出。講師還強調了歸一化方法的規範和穩定作用，並概述了多種歸一化方法，包括批歸一化、層歸一化、實力歸一化、組歸一化等。然後講師從增加深度的角度探討了卷積架構的演變，並從影象特徵不變性的角度探討了遷移學習方法的發展，尤其是目標檢測和分割任務上的架構演變。
理論基礎
普林斯頓大學的 Sanjeev Arora 著重介紹了深度神經網路的理論基礎，很多讀者可能首先想到的就是萬能近似定理，即足夠寬的單層感知機可以擬合任意函式。但 Arora 更關注於最最佳化效能、泛化效能、深度法則和其它有可能代替神經網路的簡單方法。
最最佳化
多倫多大學的 Jimmy Ba 介紹了最最佳化基礎的第一部分，他主要介紹了隨機搜尋與梯度下降、如何搜尋更好的下降方向以及如何設計一個「白盒」的最最佳化方法。這些主題都是從神經網路的角度來探討的，甚至還介紹瞭如何採用隨機搜尋的方式學習神經網路的引數。
在整個課程中，他介紹的梯度下降是比較重要的話題，包括梯度下降為什麼能朝著更好的方向學習引數、它又如何遭受極值點和鞍點的困擾等。當然既然有這些問題，Jimmy Ba 也會介紹比較好的解決方法，即將物理學中動量的概念引入梯度下降，這樣就能克服這些問題。
美國西北大學 Jorge Nocedal 隨後介紹了最最佳化的第二部分，他主要從理論的角度解釋瞭如何理解隨機梯度下降及擬牛頓法等其它最最佳化方法，並提出了很多能獲得更快下降速度的技巧。
RNN
主講人 Yoshua Bengio 首先介紹了迴圈神經網路及其變體，如生成 RNN（Generative RNN）、雙向 RNN、遞迴網路、多維 RNN 等，並詳細介紹了 RNN 中涉及的基本概念和原理，如條件分佈、最大似然、透過增加深度來提升 RNN 的表達能力等。然後，Bengio 介紹了 RNN 中的梯度問題，包括梯度消失、梯度爆炸及其解決方案。還介紹了多種 RNN trick，如梯度裁剪、跳過連線、Momentum、初始化、稀疏梯度等。此外，這節課還介紹了注意力方面的知識，如基於注意力的神經機器翻譯、圖注意力網路、多頭注意力、自注意力和 Transformer 等。
語言理解
來自 CMU 的 Graham Neubig 主講這門課《自然語言理解》，共分為三部分：語言建模、序列傳導（sequence transduction）和語言分析。從現象到原理到解決方案，由淺入深，圖文並茂。語言建模部分介紹了 NLP 中的一些基本知識：詞袋模型（BOW）、連續詞袋模型（CBOW）、Deep CBOW、Bag of n-grams、池化、NLP 預測任務中的神經網路基本思路等。此外，這部分還介紹了用於 NLP 任務時 CNN、RNN 的優缺點。序列傳導部分介紹了條件語言模型（Conditioned Language Model）、生成問題、句子表徵和注意力機制。第三部分語言分析介紹了三個分析任務：標註、句法分析和語義分析。
多模型學習
Google AI 研究科學家 Jamie Kiros 主講這門課，主要介紹 Grounded Language Learning，共分為三個部分：Grounding and Scope、構造塊（包括當前最佳實踐），以及與其他研究之間的關係。第一部分介紹了 natural language grounding 的發展歷史以及兩種主要方法：Tie training and evaluation scopes、Grow training scope, evaluate in world scope。第二部分介紹了五個通用元件：編碼、解碼、互動（interaction）、預測／控制、目標函式；三種互動方式：Scoring、Fusion 和 Modulation。第三部分介紹了與 Grounded Language Learning 相關的研究領域：Contextualization 、Multi-apt representations、Relevance Realization、Specificity、自然語言生成和對話。
計算神經科學
主題為「大腦中的深度學習」。這門課從「為什麼深度學習不止用於 AI？」這個問題入手，指出深度學習研究的目標之一是理解大腦的執行原理。然後指出深度學習需要什麼：根據隱藏層對網路輸出的貢獻向神經突觸分配信用（credit）。接著介紹解決方案——反向傳播，以及原版反向傳播的生物問題。最後介紹了四個問題：error term、下游權重（downstream weight）、derivatves of spikes 和前向／反向傳輸。
RLSS強化學習夏季課程另外一系列優秀的資源，它從強化學習的「啟蒙」到深度強化學習與模仿學習介紹了 RL 的主要脈絡與基礎。不過強化學習夏季課程可能需要一些數學基礎，這樣才能比較好地理解隨機取樣等具體方法。
此外，讀者也可以檢視阿爾伯塔大學計算機系博士 Yuxi Li 的深度強化學習手稿，這份 150 頁的手稿從值函式、策略、獎賞和模型等六個核心元素詳細介紹了深度強化學習的方向與細節。
下圖展示了強化學習夏季課程的主題與演講者，我們只簡要介紹 Richard Sutton 給我們的強化學習「啟蒙」。
在 Sutton 的課程中，他首先介紹了在 9 月份正式釋出的《Reiforcement Learning: An Intrifuction》第二版，這本書的電子版同樣可以從 Sutton 的主頁獲得。隨後 Sutton 從生物學基礎開始介紹了什麼是強化學習，即給定環境和狀態的情況下智慧體會採取某個行動，而這個行動又會影響到環境，因此影響後的環境將反饋給智慧體一些獎勵或懲罰，這樣智慧體在不同的環境下就知道該採取什麼樣的行動。
該課程最近還放出了課程影片，不過這些影片並沒有帶英文字幕，因此考驗你們聽力的時候到了。
影片地址：http://videolectures.net/DLRLsummerschool2018_toronto/
深度學習夏季課程
強化學習夏季課程
每一個影片在邊欄都提供了對應的課程資料，且影片只包含講師的介紹而不包含對應的 PPT，所以如果讀者要學習的話，不僅聽力要好，同時還得根據內容手動翻 PPT。