用於雲系統中智慧虛擬機器配置的基於關聯的啟發式搜尋
Correlation-Aware Heuristic Search for Intelligent Virtual Machine Provisioning in Cloud Systems
論文連結：https://www.microsoft.com/en-us/research/publication/cahs-an-effective-correlation-aware-heuristic-search-approach-for-intelligent-virtual-machine-provisioning/
計算資源的合理分配是大多數工業雲平臺所共同追求的目標。無論是對於提供雲系統服務的微軟 Azure 雲平臺，或是擁有著龐大使用者基數的 Microsoft 365，如何最佳化好資源分配都是至關重要的問題。為了保證使用者體驗，雲平臺往往都會將一定量的虛擬機器提前配置好。而如何最佳化虛擬機器的預先配置（Predictive Virtual Machine Provisioning, PreVMP）正是本文所討論的問題。
通常 PreVMP 這一類問題的最佳化目標含有未知引數（這些未知引數需要利用相關的特徵進行預測而得到），因此傳統的最佳化方法無法直接用來解決這類問題。學術界將此類問題稱為預測+最佳化（Prediction+Optimization）問題。顧名思義，求解預測+最佳化問題最直觀的解決方法就是將其拆分為一個預測問題加一個最佳化問題。而這類兩階段方法有明顯的不足之處是：在求解最佳化問題時，兩階段方法假設預測結果是準確的，但在實際中預測誤差是不可避免的。
相比較於直觀的兩階段方法，目前求解 PreVMP 問題的先進方法是透過貝葉斯最佳化將預測和最佳化進行有效的結合，這樣可以很好地解決兩階段方法的弊端。然而目前已有的先進方法都假設各個虛擬機器型別的需求量之間是相互獨立的。但在實際的應用場景中，本文透過實證研究表明了不同的虛擬機器型別的需求量之間是存在相關性的，所以對各個虛擬機器型別需求量的獨立性假設也存在一定的侷限性。相關實證研究的結果可見圖1：每一個藍點表示一個虛擬機器型別，兩個虛擬機器型別之間的距離越小則表示這兩個虛擬機器型別的需求量之間的相關性越大。
圖1：相關實證研究結果
為了使針對 PreVMP 問題的求解方法更加適用於真實的應用場景，本文提出了新的求解方法 CAHS （Correlation-Aware Heuristic Search）。相比於已有的求解方法沒有考慮不同虛擬機器型別的需求量之間是存在相關性的，CAHS 方法創新地採用了基於相關性的啟發式搜尋。CAHS 方法基於時間序列的聯合分佈建立了全新的預測方法與最佳化方法，並且在初始階段就將相關性較大的虛擬機器型別劃分為一組進行處理。同時 CAHS 方法還用神經元感知機代替了原有的傳統貝葉斯最佳化模型，這讓 CAHS 方法在處理真實資料集時有了更好的魯棒性。
圖2：CAHS 方法的整體框架
為了驗證 CAHS 方法的有效性，本文將 CAHS 方法與已有的先進求解方法進行了實驗對比。實驗結果表明，CAHS 方法在真實資料集上的表現要明顯好於所有對比的求解方法。
表1：CAHS 方法在真實資料集上的表現以及與已有方法的對比結果
實際上，CAHS 方法已經被成功應用於微軟 Azure 雲平臺的預配置服務（Pre-Provisioning Service，PPS）中。同時，CAHS 方法的框架也可以應用在其他預測+最佳化的問題中，例如 Microsoft 365 中相關的資源分配問題。這些結果充分表明了 CAHS 方法有很好的通用性和實用性。
探索定位能力對於自監督學習的重要性
Distilling Localization for Self-Supervised Representation Learning
論文連結：https://arxiv.org/pdf/2004.06638.pdf
專案主頁：http://nxzhao.com/projects/DiLo_localization/
自監督學習，尤其是基於對比的自監督學習（contrastive self-supervised learning）因其可以在無任何人工標註的資料上學到對多種下游任務有用的表徵，而得到越來越廣泛的研究。本篇論文透過對現有自監督學習模型的視覺化，發現了當前模型對於前景物體的定位能力不足這一明顯但被忽略的不足，進而提出了一種有效易行的改進方法。
圖3: 在自然影象中，不同物體的背景往往是相似的
本篇論文主要以基於對比學習的自監督方法為主進行研究。此類方法透過區分不同的例項進行學習，即拉近當前影象與其增廣影象在特徵空間的距離的同時，拉遠此影象與其他影象在特徵空間的距離。圖4展示了對於最新的幾種自監督對比模型的視覺化，透過和有監督學習模型的對比，尋找出錯誤模式。研究員們採取了兩種視覺化方法：一是基於類別的梯度圖（class-specific gradient），即不同畫素對於分類的重要性，二是參考圖片的近鄰（nearest neighbor）。從圖中可以看出自監督方法找到的近鄰與參考圖片擁有相似的背景，且梯度圖於背景處高亮。這些自監督方法缺失定位前景的能力是因為它們是透過不同的增廣方式（augmentation）來學習先驗知識的，但這些增廣方法並沒有將前背景的畫素區別對待。
圖4: 對於不同自監督對比模型的視覺化
基於此發現，研究員們提出了一種有效且簡單的改進辦法。透過加入基於顯著性檢測的增廣來提升自監督學習的定位能力。具體增廣方式如圖5所示，用無監督顯著性檢測方式將影象前景摳出並替換其背景。研究員們對顯著性檢測方法、訓練時增廣的比例、增廣背景圖片型別，以及前背景融合方式等多個因素進行了實驗（表2）。基於實驗得出的結論有：模型效能會隨著顯著性方法準確性的提高而提高；所提出的增廣方式以一定比例（如50%）加入較為有效；和真實背景差距較大的型別如紋理對於效能提升無明顯作用；不同的前背景融合方式對於效能的影響也並不顯著。
圖5: 基於顯著性檢測生成的增廣影象
表2: 消融實驗 (a) 顯著性方法, (b) 增廣比例, (c) 背景型別, (d) 前背景融合方式
除了消融實驗，研究員們還在多個下游任務上進行了測試，如分類、目標檢測和例項分割任務，效能均得到了明顯提升。透過視覺化（圖6）可以發現改進後的方法可以更好的定位前景物體。
圖6: 改進的方法有效提升了模型定位前景物體的能力
權重學習演算法的改進
Learning to Reweight with Deep Interactions
論文連結：https://arxiv.org/abs/2007.04649
近年來，受人類社會的教學模式啟發，“教學”（teaching）的概念已被引入機器學習的許多領域中。在應用教學框架的機器學習演算法中，存在著兩個機器學習模型，他們分別扮演“教師”和“學生”的角色：教師模型透過訓練資料選擇、損失函式設計、網路結構設計等方面指導學生網路的訓練，而學生網路則通常是針對實際機器學習任務（如影象分類、機器翻譯等）而設計的模型。
圖7：教學框架
在諸多教學演算法框架中，權重學習（Learning to reweight）是其中特殊的一種，它使用教師模型對訓練資料在更新學生模型時的權重進行調整。權重學習方法由於其簡單性和有效性，在教學演算法框架中備受關注。然而，在現有的權重學習演算法中，教師模型僅僅利用學生模型的淺層資訊（如學生模型的訓練迭代次數和學生模型在訓練/驗證集上的損失函式值等），而忽略了學生模型的內部狀態，這顯然限制了權重學習演算法的潛力。
本文提出了一種改進的權重學習演算法，其中學生模型將其內部狀態提供給教師模型，教師模型根據學生模型的淺層資訊和內部狀態返回訓練樣本的自適應權重，以改進學生模型的訓練過程。在該演算法中，教師模型與學生模型使用從驗證集計算的元梯度（meta gradients）共同更新其引數。
圖8：改進後的權重學習演算法框架
研究員們分別在原始和帶噪聲的影象分類任務以及神經機器翻譯任務上驗證了本文提出的演算法。結果表明，新權重學習演算法在這些不同領域相比之前的演算法都能夠獲得明顯的改進。
從模型的組合泛化來看半監督迭代回譯技術
Revisiting Iterative Back-Translation from the Perspective of Compositional Generalization
論文連結：https://arxiv.org/abs/2012.04276
組合泛化能力是人類智慧最基本的一種能力（即對已有的複雜物件進行解構，從而用見過的小部件來組合出新東西的能力），但是當前的 Seq2seq 模型缺乏這種能力。本文重訪一種簡單而有效的半監督學習方法——迭代回譯技術（iterative back-translation），研究它是否可以以及如何改進從而提高模型的組合泛化能力。
迭代回譯技術是一種簡單高效的半監督學習技術，它利用有標註資料和無標註資料共同訓練模型。有標註的資料往往非常有限並且昂貴，而無標註的資料成本低且總量大，因此其中包含大量沒見過的組合。據此本文做出了一個合理猜想：迭代回譯能夠讓 Seq2seq 模型在訓練過程中見過更多組合，從而提高模型的組合泛化能力。
圖9：迭代回譯技術（iterative back-translation）圖示
本篇工作主要探究了三個問題：
（1）迭代回譯技術是否能夠提高Seq2seq模型的組合泛化能力；
（2）如果可以，背後的關鍵因素是什麼；
（3）如何改進迭代回譯技術，進一步提高模型的組合泛化能力。
首先，研究員們在 CFQ 和 SCAN 資料集上進行驗證，結果如表3所示，可以看到，迭代回譯技術能夠顯著提高模型的組合泛化能力，且資料質量越高，帶來的提升越顯著。
表3：在 CFQ 和 SCAN 資料集上進行驗證的結果
為了探究其背後的關鍵因素，研究員們先對迭代過程中生成的偽平行資料的質量進行了分析，如圖10可以看到，偽平行資料的質量隨著訓練過程的進行不斷提升，雖然一開始質量較差，但模型能夠不斷地改正其中的錯誤，最終達到不錯的效果。
圖10：對迭代過程中生成的偽平行資料的質量分析結果
進一步，研究員們針對資料質量和隨機性兩個因素設計了消融實驗：
（1）BT：標準的回譯技術（back-translation），利用第一次生成的偽平行資料（包含較多錯誤，低 bleu/accuracy）和平行資料共同訓練模型。
（2）BT-OTF：迭代過程中每次動態生成資料從而引入隨機性，因此這個設定下利用反向模型動態生成新的偽平行資料，但反向模型不加入單語資料進行訓練（每次生成的偽平行資料質量相當，但資料不相同）。
圖11展示了實驗結果，可以發現對於（1），即使資料中包含較多錯誤，但仍能夠提高模型的表現，分析認為即使是錯誤的資料，其中仍然包含了很多沒見過的組合，因此依然能夠帶來正向的效果；從（2）實驗結果則可以看到隨機性帶來的提升非常明顯，研究員們認為動態生成新的資料能夠有效避免模型去擬合一些固定的錯誤偏置，更多關注共有的資料特徵。
圖11：消融實驗結果
為了能夠進一步高效地幫助模型提高修正錯誤的效率，研究員們提出了基於課程學習的迭代回譯技術（curriculum iterative back-translation），具體來說就是把資料集由易到難劃分為 K 份，在最開始加入最簡單的資料，隨著訓練的不斷進行，依次提升加入資料的難度。從實驗結果表4、圖12中可以看到，課程學習對迭代回譯技術有非常大的幫助，且更有利於困難的資料。
表4：半監督迭代回譯技術在準確度上的表現
圖12：半監督迭代回譯技術在不同資料集的表現
SongMASS: 基於預訓練和對齊約束的自動歌曲創作
SongMASS: Automatic Song Writing with Pre-training and Alignment Constraint
論文連結：https://arxiv.org/abs/2012.05168
人工智慧歌曲創作是近年來一個非常火熱的話題。其中，基於旋律的歌詞生成和基於歌詞的旋律生成是歌曲創作中兩個最重要的任務，他們都可以被看成是標準的序列到序列生成。然而，研究員們注意到過去的研究工作忽略了以下兩個問題：
1）標註好的歌詞-旋律配對資料非常缺乏。過去的工作大多隻利用了有限的配對資料來訓練，而沒用利用到大量的無標註非配對的歌詞和旋律資料；
2）在歌曲創作中，除了生成旋律或者歌詞，如何生成歌詞與旋律的對齊資訊也很重要。過去大多數工作沒有考慮到對齊，或者採用固定模板來控制對齊而限制了歌詞和旋律生成的多樣性。
因此，本文提出了 SongMASS 方法來解決上述問題。SongMASS 採用了編碼器-解碼器（Encoder-Decoder）的框架，並提出了一種針對歌曲的序列到序列學習和對齊約束。由於歌詞和旋律之間的差異性較大，研究員們對各個模態（歌詞屬於文字序列，而旋律屬於音符序列）分別使用了單獨的編碼器和解碼器。對相同模態的編碼器和解碼器，研究員們使用了基於掩碼的序列到序列學習（Masked Sequence-to-Sequence Learning）來學習無標籤資料的知識。而對於不同模態的編碼器和解碼器，他們則在標記好的歌詞-旋律配對資料上使用了標準的序列到序列學習，來拉近不同模態之間的語義距離。
圖13：SongMASS 學習框架
由於一首歌的長度較長，通常由多句話構成。因此，在相同模態的預訓練過程中可以採用句子級的掩碼策略（在每句內分別使用基於掩碼的序列到序列學習）來學習歌詞或者旋律的表徵。掩碼的設計如圖14所示。透過上述方法，可以有效地從無監督資料中學習歌詞和旋律的表徵知識。
圖14：Song-Level MASS 預訓練
為了能夠學習到歌詞與旋律的對齊語義，研究員們又在監督資料的訓練上添加了句子級和單詞級的注意力約束，限制每句歌詞只能對齊到對應的旋律上來確保句子級上的約束，其設計的掩碼如圖15所示。
圖15：歌詞和旋律的句子級約束
而在單詞級別上，研究員們則希望每個單詞 y_i 和對應的音符 x_j 之間的注意力權重最大。而這個期望權重設定如下：
其中，T 代表句子的長度。在預測的過程中提取出每個單詞和旋律的注意力權重，並用一種動態規劃的思路來獲得歌詞與旋律之間的對齊。
研究員們在 LMD 資料集上對方法進行了驗證，實驗結果如表5所示。實驗結果顯示，本文提出的預訓練方法以及學習歌詞和旋律的對齊方法可以很好地改善歌曲生成質量，驗證了 SongMASS 設計的有效性。
表5：SongMASS 在 LMD 資料集上的實驗結果
基於無監督互動學習的主題式論文 PPT 生成
Towards Topic-Aware Slide Generation For Academic Papers With Unsupervised Mutual Learning
論文連結：https://www.microsoft.com/en-us/research/publication/towards-topic-aware-slide-generation-for-academic-papers-with-unsupervised-mutual-learning/
PPT 是一種常見的文稿展示形式，在學術會議上常被用作對論文的重點敘述及摘要進行展示。而自動生成 PPT 內容底稿不但可以提高工作效率，也能提升使用者的製作體驗。
事實上，學術論文 PPT 通常具有一套相似的主題模板，比如“論文貢獻“ (major contribution)，”模型“ (model)，“實驗” (experiments) 以及“未來工作” (future works)。本工作把主題納入 PPT 生成的過程中：給定預先定義好的一套主題，模型將從學術論文中抽取主題相關的句子作為該主題的 PPT 內容。
首先研究員們對學術論文 PPT 進行了深入的分析：
1）學術論文 PPT 通常包含什麼常用的主題；
2）對於每個主題，PPT 內容從對應的論文中抽取或者引用外部資料的比例（抽取式模型的可行性）；
3）對於每個主題，統計論文中對應句子的位置分佈情況（如何抽取）。
透過統計分析，研究員們選擇了4個常用且大部分內容能從論文中抽取的主題作為生成目標。由於論文與對應 PPT 的平行語料資源十分稀少，本工作利用了 ACL Anthology 論文資料集，基於無監督的設定，採用互動學習的方法抽取主題相關的句子。具體來說，本工作設計的兩個代理模型在訓練過程中交替作為偽基準答案：
1）基於神經網路的層次化句子分類器，用於捕捉句子語義資訊；
2）基於邏輯迴歸的的句子分類器，用於融合先驗知識（包括針對任務的特徵設計以及從預訓練模型 BERT 中獲得的訊號）。
實驗證明，兩個代理模型透過互動學習能互相提升抽取準確率，先驗知識在此過程中扮演了十分重要的角色。最後，透過人工評價認為本工作的生成結果能一定程度作為 PPT 底稿供使用者進行後續潤色。
透過多解析度對比學習的無監督 3D 學習形狀分析
Unsupervised 3D Learning for Shape Analysis via Multiresolution Instance Discrimination
論文連結：https://arxiv.org/abs/2008.01068
圖16：基於多解析度對比學習的無監督形狀分析
最近 3D 深度學習在各種形狀分析任務中（比如形狀分類、分割和配準等）都取得了很好的結果。這一成果除了依賴於研究人員為各個任務設計的網路結構之外，還依賴於大量的資料標註。
研究員們注意到在自然語言理解（NLP）以及計算機視覺（CV）領域裡，人們可以在一個大規模的、無標註的資料集上，對一個通用的網路結構（比如 Transformer 和 ResNet）進行預訓練，然後再在各個下游任務中利用少量的有標註資料進行“微調”就能取得很好的結果。那麼在 3D 形狀分析任務中，能否也採用這樣一個 “無監督預訓練+微調”的流程實現同樣的效果呢？
圖17：網路結構圖。該網路能同時輸出逐點的特徵和形狀的整體特徵
為了實習這個效果，需要克服兩個挑戰：一是要設計一個通用的 3D 神經網路，以便在預訓練之後將網路用在各個下游任務中；二是要設計一個很好的無監督預訓練的方法，這樣才可以利用大規模的無標註資料。研究員們觀察到三維物體的的整體形狀特徵和逐點特徵是緊密相關的。關於網路結構，研究員們在八叉樹的 CNN 框架下搭建了 HRNet。這一網路結構以三維點云為輸入，可以同時輸出逐點的和形狀的特徵向量，來滿足不同粒度的形狀分析任務的需求。關於預訓練，研究員們則設計了多解析度的對比學習訓練策略，可以同時訓練逐點的和形狀的特徵向量。
無監督預訓練之後，本論文將預訓練的網路級聯1到2層的全連線層，在4種下遊任務上進行了測試（包括 ModelNet40 的分類、ShapeNet 的形狀分割、PartNet 的形狀分割和 3D 點雲配準），實驗結果表明透過“無監督預訓練+微調”之後，本工作的方法的結果超越了現有的最好方法。特別是在當下遊任務中訓練資料很少的情況下，本工作的結果可以遠遠超過從隨機初始化開始訓練的網路。