2020年回顧與2021年的預測
今年年底是回顧和做出預測的好時機。2020年將Graph ML變成了機器學習的名人。對於這篇文章，我徵求了圖ML及其應用領域的傑出研究人員的意見，試圖總結過去一年的亮點並預測2021年的發展。
> Image: Shutterstock
超越訊息傳遞麥吉爾大學助理教授威爾·漢密爾頓（Will Hamilton）和米拉（Mila）的CIFAR主席，GraphSAGE的作者。
" 2020年，Graph ML領域迎來了訊息傳遞範例的基本侷限。
這些侷限性包括所謂的"瓶頸"問題[1]，過度平滑的問題[2]，以及代表能力方面的理論限制[3,4]。展望未來，我希望在2021年我們將為Graph ML尋找下一個重要範例。我不確定下一代Graph ML演算法到底會是什麼樣子，但是我有信心要取得進展，就必須擺脫在2020年及之前主導該領域的訊息傳遞方案。
我也希望2021年還將看到Graph ML進入更具影響力和挑戰性的應用程式領域。最近太多的研究集中在簡單的，友好的節點分類任務上。我也希望看到方法學在需要更復雜的演算法推理的任務上取得進展，例如涉及知識圖，強化學習和組合最佳化的任務。"
演算法推理> Pointer Graph Networks incorporate structural inductive biases from classical computer science. Image credit: P. Veličković.
DeepMind的高階研究員PetarVeličković，Graph Attention Networks的作者。
" 2020年無疑將圖形表示學習變成了ML中的一等公民。"
今年取得的巨大進步遠遠不能一一列舉，但我個人對神經演算法推理感到最興奮。神經網路在插值方式上傳統上非常強大，但眾所周知是可怕的外推器，因此推理能力不足。推理的主要特徵之一就是能夠發揮分佈外的功能。推理任務很可能是進一步發展GNN的理想選擇，不僅因為眾所周知它們非常適合此類任務[5]，而且因為許多現實世界的圖形任務表現出同質性，這意味著最具影響力和可擴充套件性的方法通常，GNN的形式要簡單得多[6,7]。
基於神經圖靈機[8]和微分神經計算機[9]等先前的神經執行器的歷史成功，並透過現在無所不在的圖機學習工具箱進行了增強，2020年發表的幾篇著作探討了神經的理論極限執行者[5,10,11]基於GNN [12-15]派生了新穎而強大的推理體系結構，並實現了對神經推理任務的完美強大概括[16]。儘管這樣的體系結構自然可以在2021年實現組合最佳化[17]，但我個人最感到震驚的是，預訓練的演算法執行器如何允許我們將經典演算法應用於過於原始或不適合該演算法的輸入。舉一個例子，我們的XLVIN代理[18]正是使用這些概念來允許GNN在強化學習流水線內執行值迭代樣式演算法，即使底層MDP的具體細節未知。我相信2021年將在GNN應用於一般強化學習的應用中成熟。"
關係結構發現> GNNs allow learning a state transition graph (right) that explains a complex mult-particle system (left). Image credit: T. Kipf.
托馬斯·基普夫（Thomas Kipf），Google Brain的研究科學家，圖卷積網路的作者。
自從最近基於GNN的模型被廣泛採用以來，Graph ML社群中一個特別值得注意的趨勢是將計算結構與資料結構分離。
在最近的一次ICML研討會演講中，我將這種趨勢關係結構稱為"發現"。通常，我們設計圖神經網路以在資料集提供的固定（或時間演進）結構上傳遞訊息，即將資料集的節點和邊緣作為模型計算結構或訊息傳遞結構的黃金標準。
在2020年，我們看到了對能夠適應計算結構的模型的興趣日益濃厚，也就是說，它們超越了簡單的基於注意力的模型，可以動態地使用哪些元件作為節點，以及在哪些節點對上進行訊息傳遞。。2020年的有影響力的例子包括攤銷因果發現[19-20]，它利用神經關係推理從時間序列資料中推論因果圖（並用其推理），具有可學習指標的GNN [21,15]和關聯機制[22]–23]，學習具有自適應計算圖的基於網格的物理模擬器[24]和學習推斷抽象節點的模型[25–26]。這種發展具有廣泛的意義，因為它使我們能夠有效利用其他領域（例如文字或影片處理）中的GNN架構提供的對稱性（例如節點置換等方差）和歸納偏差（例如成對互動函式建模）。
展望未來，我希望我們將看到在不依賴明確監督的情況下，如何在給定一些資料和任務的情況下學習最佳計算圖結構（無論是節點還是關係）的許多進展。對這種學習的結構的檢查可能對獲得更好的解釋和解釋，以更好地解釋和解釋學習模型為解決任務而進行的計算很有價值，並且可能使我們能夠對因果推理作進一步的類比。"
表現力Nvidia的研究科學家Haggai Maron是可證明表達的高維圖神經網路的作者。
圖神經網路的表達能力是2020年圖ML的核心主題之一。
有許多優秀的論文討論了各種GNN架構的表達能力[27]，並展示了當GNN的深度和寬度受到限制時其基本的表達極限[28]，描述了可以使用GNN進行檢測和計數的結構型別[29]，這表明使用固定數量的GNN對許多圖形任務沒有意義，並建議使用迭代GNN學習自適應地終止訊息傳遞過程[14]。
可擴充套件性Matthias Fey，多特蒙德工業大學的博士學位學生，PyTorch幾何圖形和開放圖基準測試的開發人員。
2020年Graph ML研究中最熱門的主題之一是解決GNN的可擴充套件性問題。
幾種方法依賴於透過將預測與傳播解耦來簡化基礎計算。我們已經看到了許多論文，這些論文簡單地將不可訓練的傳播方案與圖形不可知的模組結合在一起，作為前[30,7]或後處理[6]步驟。這導致了極好的執行時，並且顯著地提高了同構圖的同等效能。隨著對越來越大的資料集的訪問，我渴望看到如何從這裡開始，以及如何以可擴充套件的方式利用可訓練的表達方式。"
動態圖> A dynamic graph.
Emanuele Rossi，Twitter的ML研究員，倫敦帝國大學的博士生，Temporal Graph Networks的作者。
許多有趣的Graph ML應用程式本質上都是動態的，其中圖拓撲和屬性都隨著時間而發展。
在社交網路，金融交易網路或使用者專案互動網路中就是這種情況。直到最近，對Graph ML的絕大多數研究都集中在靜態圖上。嘗試處理動態圖的一些工作主要是離散時間動態圖，即定期間隔的一系列圖快照。在2020年，我們看到了一組關於連續時間動態圖的更一般類別的新興作品[31-34]，可以將其視為定時事件的非同步流。此外，動態圖模型的第一個有趣的成功應用也開始出現：我們看到了假賬戶檢測[35]，欺詐檢測[36]和控制流行病的傳播[37]。
我認為我們只是在摸索這個令人振奮的方向，許多有趣的問題仍未得到解答。重要的開放問題包括可伸縮性，對動態模型的更好的理論理解以及在單個框架中結合資訊的時空擴散。我們還需要更可靠，更具挑戰性的基準，以確保可以更好地評估和跟蹤進度。最後，我希望看到動態圖神經架構的更多成功應用，特別是在行業中。"
新硬體Graphcore is a semiconductor company developing new hardware for graphs. Image credit: Graphcore
Graphcore的ML工程師Mark Saroufim。
"我無法想到我曾與之合作的單個客戶，他既沒有在生產中部署Graph Neural Network，也沒有計劃這樣做。
這種趨勢的部分原因是，傳統上忽略了諸如NLP，蛋白質設計或分子特性預測等應用程式中的自然圖結構，而是將資料視為適合現有和完善的ML模型（如Transformers）的序列。但是，我們知道，變形金剛不過是GNN，其中注意力被用作鄰域聚集函式。在計算中，某些演算法獲勝的現象不是因為它們非常適合解決特定問題，而是因為它們在現有硬體上執行良好而被稱為"硬體彩票" [38]，而在GPU上執行的變形金剛就是這種情況。
在Graphcore，我們建立了具有1472個核心的新MIMD體系結構，該體系結構可以並行執行總共8832個程式，我們將其稱為智慧處理單元（IPU）。該架構非常適合加速GNN。我們的Poplar軟體堆疊利用稀疏性將計算圖的不同節點分配給不同的核心。對於可容納IPU 900 MB片上記憶體的型號，我們的架構可大大提高GPU的吞吐量。否則，僅需幾行程式碼，就可以在數千個IPU上分發模型。
在工業，物理，醫學等領域的應用> MagicLeap's SuperGlue uses GNN to solve a classical computer vision problem of feature matching. Image credit: P.-E. Sarlin et al.
Sritey Ivanov，Criteo的研究科學家，圖機器學習通訊的編輯。
對於Graph ML研究來說，這是令人震驚的一年。在所有主要的ML會議上，有關該領域的所有論文中約有10％至20％，並且在如此規模下，每個人都可以找到自己感興趣的有趣的圖形主題。
Google Graph Mining團隊出席了NeurIPS。檢視312頁的簡報，可以說Google在生產中使用圖形方面比其他任何人都更加先進。他們使用Graph ML解決的應用程式包括使用時空GNN建模COVID-19，欺詐檢測，隱私保護等。此外，DeepMind在生產中推出了GNN，用於在Google Maps中進行全球旅行時間預測。他們的方法的一個有趣的細節是將RL模型整合到一個批次中，以選擇相似的取樣子圖來訓練GNN的引數。這種先進的超引數調整功能使實時到達時間估算的精度提高了50％以上。
GNN的另一個值得注意的應用是在Magic Leap上完成的，Magic Leap專門研究3D計算機生成的圖形。他們的SuperGlue架構[39]將GNN應用於影象中的特徵匹配-3D重建，位置識別，定位和製圖的重要課題。這種端到端的特徵表示與最佳的運輸最佳化相結合，在實時的室內和室外姿態估計中脫穎而出。這些結果僅僅是2020年所取得成就的表面。
明年，我相信我們將在工業環境中看到Graph ML開發的更多應用。這將包括生產管道和框架，新的開源圖形資料集，以及為電子商務，工程設計和製藥行業大規模部署的GNN。"
> Particle jet represented as a graph. GNNs are being explored to detect events in particle physics. Image credit: LHC
紐約大學物理學教授凱爾·克蘭默（Kyle Cranmer），希格斯玻色子的發現者之一。
看到Graph ML在過去兩年中如何在物理領域變得非常流行，真是太神奇了。
早期在粒子物理學中進行深度學習的工作通常會迫使資料成為可與CNN一起使用的影象表示形式，這是不自然的，因為我們的資料並非本機呈網格狀，並且影象表示非常稀疏。圖是我們資料的更自然的表示[40,41]。大型強子對撞機的研究人員現在正在努力將Graph ML整合到每秒處理數十億次碰撞的實時資料處理系統中。透過部署推理伺服器以將Graph ML與實時資料採集系統整合在一起，正在努力實現這一目標[42]，並努力在FPGA和其他特殊硬體上實現這些演算法[43]。
Graph ML在2020年的另一個亮點是證明其歸納偏置可以與符號方法配對。例如，我們使用GNN來學習如何預測各種動力學系統，然後對沿著邊緣傳送的訊息進行符號迴歸[44]。我們不僅能夠為那些動力系統恢復地面真力定律，而且還能在沒有地面真相的情況下提取方程式。令人驚訝的是，提取出的符號方程式可以重新引入到GNN中，從而代替原始的學習元件，並且我們可以更好地歸納出分佈資料。"
> GNNs can exploit the population graphs for disease classification. Image credit: S. Parisot.
Anes Kazi，TUM的博士生，有關醫學成像中的Graph ML的多篇論文的作者。
在醫學領域，Graph ML改變了分析多模態資料的方式，這種方式與專家如何從臨床常規中所有可用維度看待患者的狀況非常相似。
最近，在醫學成像和醫療保健應用中，與Graph ML相關的研究出現了巨大的發展[45]，包括腦分割[46]，使用針對疾病預測的MRI / fMRI資料進行腦結構分析[47]和藥物作用分析[48]。
在Graph ML的主題中，有2020年在醫學領域中脫穎而出。首先，潛在的圖學習[22,49,50]一直是透過經驗定義給定資料的圖，直到那時才是實現最佳結果的瓶頸。透過自動學習潛圖結構的方法解決。其次，資料插補[51]，因為丟失資料是醫學領域許多資料集中的一個常備問題，因此基於圖的方法已根據來自圖鄰的關係幫助進行了資料插補。第三，Graph ML模型的可解釋性[52]，因為對於臨床和技術專家來說，重點在於推理Graph ML模型的結果以將其可靠地合併到CADx系統中非常重要。2020年醫學領域的另一個重要亮點當然是冠狀病毒大流行，並且使用Graph ML方法檢測Covid-19 [53]。
到2021年，Graph ML可以用於進一步提升ML模型的可解釋性，從而做出更好的決策。其次，已經觀察到圖ML方法仍然對圖結構敏感，因此，對圖擾動和對抗攻擊的魯棒性是重要的主題。最後，將自我監督學習與Graph ML的整合應用於醫療領域將是很有趣的。"
> Different protein binders for an oncological target designed using geometric ML architecture MaSIF. Image credit: Pablo Gainza.
Bruno Correia，EPFL的助理教授，蛋白質設計和免疫工程實驗室的負責人，MaSIF的開發商之一。
到2020年，蛋白質結構預測已取得令人興奮的進展，這是生物資訊學中的關鍵問題。然而，最終顯示在這些分子表面的化學和幾何圖案對於蛋白質功能至關重要。
分子的基於表面的表示已使用了數十年，但它們給機器學習方法帶來了挑戰。幾何深度學習領域的方法為蛋白質建模領域帶來了令人印象深刻的功能，因為它們具有處理不規則資料的能力，尤其適合蛋白質表示。在MaSIF [1]中，我們在基於網格的分子表面表示上使用了幾何深度學習，以學習可預測蛋白質與其他分子（蛋白質和代謝物）相互作用的模式，並將對接計算速度提高了幾個數量級。反過來，這可以促進更大範圍的蛋白質-蛋白質相互作用網路的預測。
在MaSIF框架的進一步發展中[2]，我們設法動態生成了表面和化學特徵，從而避免了所有預計算階段。我預計這些進展將為蛋白質和小分子設計帶來變革，從長遠來看將有助於更快地開發生物藥物。"
> GNNs were used in Decagon for polypharmacy side effect prediction. Image credit: M. Zitnik.
Marinka Zitnik，哈佛醫學院生物醫學資訊學助理教授，Decagon的作者。
我們已經看到，圖神經網路不僅可以在精心設計的基準資料集上勝過先前的方法，而且可以為開發新藥從根本上幫助人們和理解自然開闢途徑。重點包括單細胞生物學[56]，蛋白質和結構生物學[54,57]以及藥物發現[58]和重新定位[59]的進展。
幾個世紀以來，科學方法（科學家用來系統和邏輯地解釋自然世界的科學基本實踐）一直保持不變。我希望在2021年，我們將在使用Graph ML改變這一點方面取得實質性進展。為此，我認為我們需要設計能夠最佳化和操縱網路系統並預測其行為的方法，例如基因組學（自然界對人的實驗）如何在疾病背景下影響人類特徵。此類方法需要使用微擾和干預資料（不僅要攝取我們世界的觀測資料）。另外，我希望我們將開發更多的方法來學習可操作的表示形式，這些方法很容易適用於科學中可操作的假設。這種方法可以在高風險環境（例如化學測試，粒子物理學，人類臨床試驗）中進行決策，在這些環境中，我們需要可以進行有意義解釋的精確，可靠的預測。"
[1] U. Alon和E. Yahav，關於圖神經網路的瓶頸及其實際意義（2020）arXiv：2006.05205。
[2] Q. Li，Han Z. Han，X.-M.Wu，對於半監督學習的圖卷積網路有更深入的瞭解（2019）Proc。AAAI。
[3] K. Xu等。圖神經網路有多強大？（2019）Proc。ICLR。
[4] C. Morris等。Weisfeiler和Leman去神經：高階圖神經網路（2019）Proc。AAAI。
[5] K. Xu等。神經網路能引起什麼呢？（2019）arXiv：1905.13211。
[6] Q. Huang等。將標籤傳播與簡單模型相結合，勝過圖神經網路（2020）arXiv：2010.13993。
[7] F. Frasca等。SIGN：可伸縮的初始圖神經網路（2020）arXiv：2004.11198。
[8] A. Graves，G。Wayne和I. Danihelka，《神經圖靈機》（2014年）arXiv：1410.5401。
[9] A. Graves等。使用具有動態外部儲存器的神經網路進行混合計算（2016）。自然538：471–476。
[10] G. Yehuda，M。Gabel和A. Schuster。這不是機器可以學習的東西，而是我們不能教的東西（2020）arXiv：2002.09398。
[11] K. Xu等。神經網路如何外推：從前饋到圖形神經網路（2020）arXiv：2009.11848。
[12]P.Veličković等人，圖演算法的神經執行（2019）arXiv：1910.10593。
[13] O. Richter和R. Wattenhofer，"無機率籠的歸一化關注"（2020）arXiv：2005.09561。
[14] H. Tang等人，《透過迭代齊次圖神經網路實現尺度不變圖相關的問題》（2020）arXiv：2010.13547。
[15] P.Veličković等。指標圖網路（2020）Proc。NeurIPS。
[16] Y. Yan等。神經執行引擎：學習執行子例程（2020）Proc。ICLR。
[17] C. K. Joshi等。學習TSP需要重新思考泛化（2020）arXiv：2006.07054。
[18] A. Deac等。XLVIN：執行潛在價值迭代網（2020）arXiv：2010.13146。
[19] S.Löwe等人，"攤銷因果發現：學習從時序資料推斷因果圖（2020）arXiv：2006.10833"。
[20] Y. Li等人，從影片中發現物理系統中的因果關係（2020）Proc。Chem。NeurIPS。
[21] D. Bieber等人，《學習用指令指標注意圖神經網路執行程式》（2020年），美國國家科學院院刊。NeurIPS。
[22] A. Kazi等人，圖卷積網路的可微圖模組（DGM）（2020）arXiv：2002.04999
[23] D. D. Johnson，H。Larochelle和D. Tarlow。，學習具有有限狀態自動機層的圖結構（2020）。arXiv：2007.04929。
[24] T. Pfaff等人，《使用圖網路學習基於網格的模擬（2020）arXiv：2010.03409。
[25] T. Kipf等人，《結構化世界模型的對比學習》（2020年），美國國家科學院院刊。ICLR
[26] F. Locatello等人，《以插槽為中心的以物件為中心的學習》（2020年），Proc.Natl.Acad.Sci.USA 90：5873-5877。NeurIPS。
[27] W. Azizian和M. Lelarge，表徵不變和等變圖神經網路的表達能力（2020）arXiv：2006.15646。
[28] A. Loukas，圖神經網路無法學習的內容：深度與寬度（2020）Proc。ICLR。
[29] Z. Chen等人，"圖神經網路可以計數子結構嗎？"（2020年）Proc。NeurIPS。
[30] A. Bojchevski等人，《按比例縮放圖神經網路，具有近似PageRank（2020）Proc。KDD。
[31] E. Rossi等人，"用於動態圖深度學習的時間圖網路"（2020）arXiv：2006.10637。
[32] S. Kumar，X。Zhang和J. Leskovec，《預測時間互動網路中的動態嵌入軌跡》（2019年），美國國家科學院院刊。KDD。
[33] R. Trivedi等人，DyRep：透過動態圖學習表示形式（2019）Proc。Natl。Acad。Sci。ICLR。
[34] D.Xu等人，時間圖上的歸納表示學習（2019）Proc。ICLR。
[35] M. Noorshams，S。Verma和A. Hofleitner，" TIES：增強Facebook社交媒體完整性的時間互動嵌入"（2020年）arXiv：2002.07917。
[36] X. Wang等人，APAN：用於實時時間圖嵌入的非同步傳播注意網路（2020）arXiv：2011.11545。
[37] E. A. Meirom等人，《如何阻止流行病：利用強化學習和圖神經網路控制圖動力學》（2020）arXiv：2010.05313。
[38] S. Hooker，《硬體彩票》（2020年），arXiv：2009.06489。
[39] P. E. Sarlin等人，《 SuperGlue：學習特徵與圖神經網路的匹配》（2020年）。程序CVPR。
[40] S. Ruhk等人，《用距離加權圖網路學習不規則粒子檢測器幾何的表示》（2019）arXiv：1902.07987。
[41] J. Shlomi，P。Battaglia，J.-R。Vlimant，粒子物理學中的圖神經網路（2020）arXiv：2007.13681。
[42] J. Krupa等人，GPU協處理器，作為高能物理中深度學習推理的服務（2020）arXiv：2007.10359。
[43] Heintz等人，《基於FPGA的圖神經網路的加速帶電粒子跟蹤》（2020）arXiv：2012.01563。
[44] M. Cranmer等人，透過歸納偏差從深度學習中發現符號模型（2020）arXiv：2006.11287。Miles Cranmer與Kyle Cranmer無關，儘管兩者都是該論文的合著者。另請參見論文的影片演示。
[45] Q. Cai等人，關於多模式資料驅動的智慧醫療系統的調查：方法和應用（2020）IEEE Access 7：133583–133599
[46] K. Gopinath，C。Desrosiers和H. Lombaert，針對對齊不變的腦表面分割的圖域適應（2020）arXiv：2004.00074
[47] J. Liu等人，使用多模式資料和圖卷積網路識別早期輕度認知障礙（2020）BMC Bioinformatics 21（6）：1-12
[48] H. E. Manoochehri和M. Nourani，使用半二分圖模型和深度學習的藥物-靶標相互作用預測（2020年）。BMC生物資訊學21（4）：1–16
[49] Y. Huang和A. C. Chung，《不確定性疾病預測的邊緣變異圖卷積網路》（2020年）邁凱
[50] L. Cosmo等人，《疾病潛伏圖學習預測》（2020年），美國國家科學院院刊。邁凱
[51] G. Vivar等人，使用Multigraph Geometric Matrix Completion（2020）arXiv：2005.06935在不完整的醫學資料集中同時進行歸因和疾病分類。
[52] X. Li和J. Duncan，BrainGNN：用於fMRI分析的可解釋性腦圖神經網路（2020）bioRxiv：2020.05.16.100057
[53] X. Yu等人，ResGNet-C：一種用於檢測COVID-19（2020）神經計算的圖卷積神經網路。
[54] P. Gainza等人，使用幾何深度學習（2020）Nature Methods 17（2）：184–192解密蛋白質分子表面的相互作用指紋。
[55] F. Sverrisson等人，蛋白質表面的快速端對端學習（2020）bioRxiv：2020.12.28.424589。
[56] A. Klimovskaia等人，龐加萊地圖，用於分析單細胞資料中的複雜層次結構（2020年），Nature Communications 11。
[57] J. Jumper等人，《使用深度學習的高精度蛋白質結構預測》（2020），又名AlphaFold 2.0（尚未提供）。
[58] J. M. Stokes等，抗生素髮現的深度學習方法（2020）Cell 180（4）：688-702。
[59] D. Morselli Gysi等人，《網路醫學框架，用於識別COVID-19的藥物再利用機會》（2020）arXiv：2004.07229。
我感謝Bruno Correia，Kyle Cranmer，Matthias Fey，Will Hamilton，Sergey Ivanov，Anees Kazi，Thomas Kipf，Haggai Maron，Emanuele Rossi，Mark Saroufim，PetarVeličković和Marinka Zitnik的啟發和評論。這是我對"科學新聞"的新格式進行的第一個實驗，我很高興提出改進建議。不用說，所有的榮譽都應歸功於上述人員，而任何批評都應由我自己承擔。