我們即將完成2019年第一季度的工作，而深度學習技術的研究正以非常快的速度向前推進。我經常會檢視一下人工智慧研究人員的工作，以便了解這項技術的發展方向。這樣使我能夠更好地優化我的時間，以確保我知道我所不知道的。因此，我還試著在一個可能有數百或數千篇論文的領域，每週至少閱讀一篇研究論文。
在本文中，我將幫助你節省一些時間，方法是將2019年迄今為止發表的研究成果整理成以下可管理的短列表。我做了一些過濾，這樣就只包括具有相關GitHub repo的論文了。希望你喜歡！
Fast Graph Representation Learning with PyTorch Geometric
論文：https://arxiv.org/abs/1903.02428v2
程式碼：https://github.com/rusty1s/pytorch_geometry
本研究介紹了PyTorch Geometric，這是一個基於PyTorch的用於對不規則結構的輸入資料(如圖、點雲和流形)進行深度學習的庫。除了一般的圖形資料結構和處理方法外，它還包含了關係學習和三維資料處理領域中最近發表的各種方法。PyTorch幾何通過使用稀疏的GPU加速、提供專用的CUDA核心以及為不同大小的輸入示例引入高效的小型批處理來實現高資料吞吐量。
Mask Scoring R-CNN
論文：https://arxiv.org/abs/1903.00241v1
程式碼：https://github.com/zjhuang22/maskscoring_rcnn
在例項分割任務中，大多數例項分割框架都使用例項分類的置信度作為掩碼分數。本文研究了這一問題，提出了包含網路塊的Mask score R-CNN來學習預測例項掩碼的分數。掩碼評分策略校準了掩碼品質和掩碼評分之間的不匹配，並通過在COCO AP評估期間優先考慮更準確的掩碼預測來提高例項分割效能。
High-Fidelity Image Generation with Fewer Labels
論文：https://arxiv.org/abs/1903.02271v1
程式碼：https://github.com/google/compare_gan
深度生成模型正在成為現代機器學習的基石。最近關於條件生成對抗網路(GANs)的研究表明，在自然影象上學習複雜的高維分佈是可以實現的。雖然最新的模型能夠在高解析度下生成高保真度、多樣化的自然影象，但它們依賴於大量的標記資料。這篇論文展示了一個人如何從最近的研究中受益於自我和半監督學習，從而在無監督的影象集合成和條件設定方面都優於業界最優(SOTA)。
GCNv2: Efficient Correspondence Prediction for Real-Time SLAM
論文：https://arxiv.org/abs/1902.11046v1
程式碼：https://github.com/jiexiong2016/GCNv2_SLAM
這篇文章提出了一種基於深度學習的關鍵字和描述符的生成網路GCNv2。GCNv2是在之前的方法GCN的基礎上建立起來的，GCN是一個為三維投影幾何而訓練的網路。GCNv2設計了一個二進位制描述符向量作為ORB特徵，以便在諸如ORB- slam之類的系統中輕鬆替換ORB。
ALiPy: Active Learning in Python
論文：https://arxiv.org/abs/1901.03802v1
程式碼：https://github.com/NUAA-AL/ALiPy
有監督的機器學習方法通常需要大量帶標籤的例子來進行模型訓練。然而，在許多實際應用中，有大量的未標註資料，但標註資料有限，而且獲取標註的成本很高。主動學習 (AL)通過迭代地選擇最有價值的資料來從標註器中查詢它們的標籤，從而降低了標註成本。本文介紹了一個用於主動學習的Python toobox ALiPy。
DeepFashion2: A Versatile Benchmark for Detection, Pose Estimation, Segmentation and Re-Identification of Clothing Images
論文：https://arxiv.org/abs/1901.07973v1
程式碼：https://github.com/switchablenorms/DeepFashion2
通過帶有豐富標註的基準測試如DeepFashion，其標籤包括服裝類別、特徵點和消費-商業影象對，可以提高對時尚影象的理解。然而，DeepFashion有一些不可忽視的問題，比如每張圖片只有一件衣服，稀疏的特徵點（只有4~8個），沒有每個畫素的掩模，這與現實場景有很大的差距。本文通過提出DeepFashion2來解決這些問題，從而填補了這一空白。它是一個通用的基準測試，包括四個任務，包括服裝檢測，姿態估計，分割和檢索。
The StarCraft Multi-Agent Challenge
論文：https://arxiv.org/abs/1902.04043v2
程式碼：https://github.com/oxwhirl/smac
近年來，深度多智慧體強化學習(RL)已成為一個非常活躍的研究領域。在這一領域，一個特別具有挑戰性的問題類別是部分可觀察到的、合作的、多智慧體學習，在這種學習中，智慧體團隊必須學會協調他們的行為，同時只以他們的私人觀察為條件。這是一個有吸引力的研究領域，因為這類問題涉及大量的實際系統，而且比一般問題更易於評估。ALE和MuJoCo等標準化環境允許單代理RL超越網格世界等玩具領域。然而，對於協作多代理RL，沒有可比的基準。因此，這一領域的大多數論文都使用一次性的玩具問題，很難衡量真正的進展。本文將星際爭霸多智慧體挑戰(SMAC)作為一個基準問題來填補這一空白。
Dropout is a special case of the stochastic delta rule: faster and more accurate deep learning
論文：https://arxiv.org/abs/1808.03578v2
程式碼：https://github.com/noahfl/sdr-densenet-pytorch
多層神經網路在文字、語音和影象處理等多種基準測試任務中取得了顯著的成功。在分層模型中，非線性引數估計容易出現過擬合和誤差。一種解決這些估計和相關問題(區域性極小值、共線性、特徵發現等)的方法稱為Dropout。Dropout演算法根據每次更新前概率為p的伯努利隨機變數，刪除隱藏的單元，從而對網路產生隨機“衝擊”，並在每次更新時對其進行平均。這篇論文表明，Dropout是一個更普遍的模型的特例，該模型最初發表於1990年，被稱為“Stochastic Delta Rule”，或SDR。
Lingvo: a Modular and Scalable Framework for Sequence-to-Sequence Modeling
論文：https://arxiv.org/abs/1902.08295v1
程式碼：https://github.com/tensorflow/lingvo
Lingvo是一個Tensorflow框架，為協作深度學習研究提供了一個完整的解決方案，特別關注於序列到序列模型。Lingvo模型由靈活且易於擴充套件的模組化構建塊組成，實驗配置是集中式的，可高度定製。該框架直接支援分散式訓練和量化推理，它包含大量實用程式、輔助函式和最新研究思想的現有實現。在過去的兩年裡，Lingvo已經被數十名研究人員在20多篇論文中合作使用。本文概述了Lingvo的底層設計，並作為對框架各個部分的介紹，同時還提供了展示框架功能的高階特性的示例。
Adaptive Gradient Methods with Dynamic Bound of Learning Rate
論文：https://openreview.net/forum?id=Bkg3g2R9FX
程式碼：https://github.com/Luolc/AdaBound
自適應優化方法，如AdaGrad， RMSProp和Adam已被提出，對每一個學習率使用單獨的縮放來實現一個快速的訓練過程。雖然這些方法很流行，但與SGD相比，它們的泛化能力較差，甚至由於不穩定和極端的學習速度而無法收斂。本文論證了極端的學習率會導致較差的表現。Adam和AMSGrad的新變種分別被稱為AdaBound和AMSBound，它們利用學習率的動態邊界實現了從自適應方法到SGD的漸進平穩過渡，並給出了收斂性的理論證明。對各種流行的任務和模型進行了進一步的實驗。實驗結果表明，新的變種能夠消除自適應方法與SGD之間的泛化差距，同時在訓練初期保持較高的學習速度。
英文原文：https://medium.com/@ODSC/best-deep-learning-research-of-2019-so-far-7bea0ed22e38