最近一段時間，Paper Digest 網站以“論文的一句話摘要”成為了計算機領域學術圈關注和討論的話題之一。該網站按照不同的研究方向對計算機領域的一些熱門頂會進行了分類（如下圖），並且根據論文的引用量，在部分頂會的“最具影響力論文”板塊中對收錄的論文進行了影響力排名。該排名實時變動，且每一屆頂會只評選引用量靠前的10-15篇論文。
今天的文章將介紹機器學習、計算機視覺、自然語言處理以及資訊檢索領域的34篇亮點論文。其中包括：排序演算法、序列到序列模型、視覺-語言預訓練模型、質量估計、模型架構、向量的篇章表示方法、機器翻譯、人體姿態估計、情感分析、命名實體識別、特徵選擇、梯度下降、混合索引、半結構化資料處理、效能度量……
機器學習領域頂會：ICML、ICLR、NeurIPS
ICML 2007：Learning To Rank: From Pairwise Approach To Listwise Approach
https://www.microsoft.com/en-us/research/wp-content/uploads/2016/02/tr-2007-40.pdf
ICML 2008：Listwise Approach To Learning To Rank: Theory And Algorithm
https://dl.acm.org/doi/10.1145/1390156.1390306
論文亮點：該論文對 listwise 學習排序演算法進行了理論分析，並給出了排序一致性的充分條件。
ICML 2019：MASS: Masked Sequence To Sequence Pre-training For Language Generation
http://proceedings.mlr.press/v97/song19d/song19d.pdf
ICLR 2020：VL-BERT: Pre-training Of Generic Visual-Linguistic Representations
https://openreview.net/forum?id=SygXPaEYvH
論文亮點：雖然簡單，但很強大，VL-BERT 是一個通用的視覺-語言預訓練模型，採用 Transformer 模型作為主幹網路，並將其輸入擴充套件為同時包含視覺與語言輸入的多模態形式，適用於絕大多數視覺-語言下游任務。
NeurIPS 2015: Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks
https://papers.nips.cc/paper/2015/file/14bfa6bb14875e45bba028a21ed38046-Paper.pdf
論文亮點：論文提出了一種端到端的物體檢測器，作為一種物體檢測的基準方法，直到現在還在被廣泛應用。
NeurIPS 2016: R-FCN: Object Detection via Region-based Fully Convolutional Networks
https://papers.nips.cc/paper/2016/file/577ef1154f3240ad5b9b413aa7346a1e-Paper.pdf
論文亮點：論文提出了一種位置敏感的感興趣區域池化運算元，基於這一運算元進一步提出了第一個基於全卷積網路的物體檢測方法 R-FCN。
NeurIPS 2017：LightGBM: A Highly Efficient Gradient Boosting Decision Tree
https://papers.nips.cc/paper/2017/hash/6449f44a102fde848669bdd9eb6b76fa-Abstract.html
NeurIPS 2019：Unified Language Model Pre-training For Natural Language Understanding And Generation
https://papers.nips.cc/paper/2019/hash/c20bb2d9a50d5ac1f713f8b34d9aac5a-Abstract.html
論文亮點：論文提出了一種新的統一預訓練語言模型（UniLM）同時支援語言理解和語言生成任務，囊括了多種語言模型引數和結構，引數共享使得模型學習到的文字表徵更加通用。
計算機視覺領域頂會：CVPR、ICCV
CVPR 2013：Salient Object Detection: A Discriminative Regional Feature Integration Approach
https://openaccess.thecvf.com/content_cvpr_2013/html/Jiang_Salient_Object_Detection_2013_CVPR_paper.html
論文亮點：文章將顯著性物體檢測問題視為一個迴歸問題，提出了第一個成功的有監督特徵融合的方法，啟發了有監督的深度學習特徵融合演算法。
CVPR 2016：Deep Residual Learning For Image Recognition
https://openaccess.thecvf.com/content_cvpr_2016/html/He_Deep_Residual_Learning_CVPR_2016_paper.html
CVPR 2019：Deep High-Resolution Representation Learning For Human Pose Estimation
https://openaccess.thecvf.com/content_CVPR_2019/html/Sun_Deep_High-Resolution_Representation_Learning_for_Human_Pose_Estimation_CVPR_2019_paper.html
論文亮點：論文提出了高解析度深度神經網路（HRNet），學到比以往的網路更強的高解析度表徵，在諸多視覺問題，如人體姿態估計、語義分割、目標檢測等，取得了更好的結果。
ICCV 2015: Delving Deep Into Rectifiers: Surpassing Human-Level Performance On ImageNet Classification
https://openaccess.thecvf.com/content_iccv_2015/html/He_Delving_Deep_into_ICCV_2015_paper.html
論文亮點：該論文提出了一種引數化的非線性啟用層 PReLU，以及一種新的引數初始化方法，第一次在 ImageNet-1K 分類資料集上取得超越人類的表現。
ICCV 2017：Deformable Convolutional Networks
https://openaccess.thecvf.com/content_iccv_2017/html/Dai_Deformable_Convolutional_Networks_ICCV_2017_paper.html
論文亮點：該論文提出了可變形卷積，可能是目前針對基本的卷積運算元最有趣的改進之一，相比卷積取得了好得多的效能。
自然語言處理領域頂會：ACL、EMNLP、NAACL
ACL 2004：Automatic Evaluation of Machine Translation Quality Using Longest Common Subsequence and Skip-Bigram Statistics
https://www.aclweb.org/anthology/P04-1077/
論文亮點：文章描述了兩種新的機器翻譯客觀自動評價方法。這兩種方法在充分性和流暢性方面都與人的判斷有很好的相關性。
ACL 2011：Target-dependent Twitter Sentiment Classification
https://www.aclweb.org/anthology/P11-1016/
ACL 2011：Recognizing Named Entities In Tweets
https://www.aclweb.org/anthology/P11-1037/
論文亮點：Tweets 命名實體識別（NER）面臨的挑戰在於推特資訊不足和沒有訓練資料。本文提出了在半監督學習框架下結合K-近鄰（KNN）分類器和線性條件隨機場（CRF）模型來應對這些挑戰。
ACL 2014：Learning Sentiment-Specific Word Embedding for Twitter Sentiment Classification
https://www.aclweb.org/anthology/P14-1146/
論文亮點：該論文透過將情感資訊引入到詞嵌入的學習過程中，得到情感傾向敏感的詞嵌入，當應用在情感分類任務上時，分類效能有明顯提升。
ACL 2014：Adaptive Recursive Neural Network For Target-dependent Twitter Sentiment Classification
https://www.aclweb.org/anthology/P14-2009/
論文亮點：本文提出的模型主要基於依存樹的遞迴神經網路，解決判斷句子針對不同目標（target）表達的情感問題。
ACL 2015：Question Answering Over Freebase With Multi-Column Convolutional Neural Networks
https://www.aclweb.org/anthology/P15-1026/
ACL 2017：Gated Self-Matching Networks For Reading Comprehension And Question Answering
https://aclweb.org/anthology/P17-1018
論文亮點：本文提出了用於閱讀理解式答題的門控自匹配網路（gated self-matching networks），用以回答針對給定文字段落的問題。
EMNLP 2007：Low-Quality Product Review Detection in Opinion Summarization
https://www.aclweb.org/anthology/D07-1035/
EMNLP 2015：Document Modeling With Gated Recurrent Neural Network For Sentiment Classification
https://www.aclweb.org/anthology/D15-1167/
論文亮點：文章引入了從下向上的、基於向量的篇章表示方法，其思路是首先用 CNN/LSTM 實現單句表示，再用 gated RNN 編碼句子間的內在關係和語義聯絡。
EMNLP 2016：Aspect Level Sentiment Classification With Deep Memory Network
https://aclweb.org/anthology/D16-1021
論文亮點：文章介紹的是使用 Deep Memory Network，在方面級分類任務（aspect level）上做情感分類。
EMNLP 2020：CodeBERT: A Pre-Trained Model For Programming And Natural Languages
https://www.aclweb.org/anthology/2020.findings-emnlp.139/
EMNLP 2020：ProphetNet: Predicting Future N-gram For Sequence-to-Sequence Pre-training
https://www.aclweb.org/anthology/2020.findings-emnlp.217
論文亮點：論文提出了一個新的 seq2seq 預訓練模型：ProphetNet（先知網路）。該模型帶有一個新穎的自監督學習目標函式即預測未來的 N 元組（Predicting Future N-gram），以及提出的 n-stream 自注意力機制。
NAACL 2003：Automatic Evaluation of Summaries Using N-gram Co-occurrence Statistics
https://www.aclweb.org/anthology/N03-1020/
論文亮點：機器翻譯界常常採用 BLEU/NIST 作為指標評分，這篇論文對類似的文字摘要評估思想進行了深入研究。
資訊檢索領域頂會：SIGIR、CIKM
SIGIR 2006：Adapting Ranking SVM To Document Retrieval
https://dl.acm.org/doi/10.1145/1148170.1148205
論文亮點：論文講 Ranking SVM 引入到文件檢索中，並針對文件檢索創新改進了 Ranking SVM 的損失函式。
SIGIR 2007：Feature Selection For Ranking
https://dl.acm.org/doi/10.1145/1277741.1277811
論文亮點：文章針對排序學習提出了一種新的特徵選擇方法，在考量單維特徵的有效性的同時避免了強相關的特徵。
SIGIR 2010：Learning To Rank For Information Retrieval
https://dl.acm.org/doi/abs/10.1145/1835449.1835676
論文亮點：該教程對資訊檢索中的排序學習做了一個全面而系統的介紹：（1）首先介紹了三類主要方法（基於單文件、文件對、文件 list），分析了這些方法中使用的損失函式與廣泛使用的 IR 評價指標之間的關係，在標準測試集 LETOR 上測試對比了各演算法的效能；（2）然後綜述了排序學習的一些深入課題如關係排序、多元化排序、半監督及遷移排序、資料預處理等等；（3）最後介紹了排序問題中的統計學習理論，解釋了不同演算法的泛化能力和統計一致性。
SIGIR 2017：Word-Entity Duet Representations For Document Ranking
https://dl.acm.org/doi/10.1145/3077136.3080768
論文亮點：文章提出了基於 word 和 entity 來對 query 和 doc 進行表達的方法。給半結構化資料對排序特徵進行最佳化和擴充提供了思路。
SIGIR 2017：Leveraging Contextual Sentence Relations For Extractive Summarization Using A Neural Attention Model
https://dl.acm.org/doi/10.1145/3077136.3080792
論文亮點：論文提出使用 Hierarchical Attention Model 完成文章的摘要提取。
CIKM 2005: Hybrid Index Structures For Location-based Web Search
https://dl.acm.org/doi/abs/10.1145/1099554.1099584
論文亮點：本文提出了一種結合倒排檔案和 R* 樹的混合索引結構來同時處理文字查詢和位置感知查詢（location aware queries）。
CIKM 2011: Topic Sentiment Analysis In Twitter: A Graph-based Hashtag Sentiment Classification Approach
https://dl.acm.org/doi/abs/10.1145/2063576.2063726
論文亮點：文章重點研究了 hashtag 級別的情感分類問題。
CIKM 2018: RippleNet: Propagating User Preferences On The Knowledge Graph For Recommender Systems
https://dl.acm.org/doi/10.1145/3269206.3271739