pixabay.com

編者按：2020年即將過去，今年人工智慧領域有哪些重大進展？位於北京的智源人工智慧研究院請 “智源學者” 們從全球的研究成果中評選了一份年度成就名單，其中有文字能力驚人的自然語言處理預訓練模型GPT-3，有驚豔結構生物學領域的AlphaFold2，也有不少中國學者的成果。名單按對人工智慧領域的重要性排序，會是誰拔得頭籌呢？

撰文 | 全體智源學者

● 　● 　●

No.10

康奈爾大學提出無偏公平排序模型可緩解檢索排名的馬太效應問題

近年來，檢索的公平性和基於反事實學習的檢索和推薦模型已經成為資訊檢索領域重要的研究方向，相關的研究成果已經被廣泛應用於點選資料糾偏、模型離線評價等，部分技術已經落地於阿里和華為等公司的推薦及搜尋產品中。2020年7月，康奈爾大學 Thorsten Joachims 教授團隊發表了公平無偏的排序學習模型FairCo，一舉奪得了國際資訊檢索領域頂會SIGIR 2020最佳論文獎。該研究分析了當前排序模型普遍存在的位置偏差、排序公平性以及物品曝光的馬太效應問題等，基於反事實學習技術提出了具有公平性約束的相關度無偏估計方法，並實現了排序效能的提升，受到了業界的廣泛關注和好評。

No.9

Google與FaceBook團隊分別提出全新無監督表徵學習演算法

2020年初，Google與Facebook分別提出SimCLR與MoCo兩個演算法，均能夠在無標註資料上學習影象資料表徵。兩個演算法背後的框架都是對比學習（contrastive learning）。對比學習的核心訓練訊號是圖片的 “可區分性”。模型需要區分兩個輸入是來自於同一圖片的不同視角，還是來自完全不同的兩張圖片的輸入。這個任務不需要人類標註，因此可以使用大量無標籤資料進行訓練。儘管Google和FaceBook的兩個工作對很多訓練的細節問題進行了不同的處理，但它們都表明，無監督學習模型可以接近甚至達到有監督模型的效果。

No.8

MIT僅用19個類腦神經元實現控制自動駕駛汽車

受秀麗隱杆線蟲等小型動物腦的啟發，來自MIT計算機科學與人工智慧實驗室（CSAIL）、維也納工業大學、奧地利科技學院的團隊僅用19個類腦神經元就實現了控制自動駕駛汽車，而常規的深度神經網路則需要數百萬神經元。此外，這一神經網路能夠模仿學習，具有擴充套件到倉庫的自動化機器人等應用場景的潛力。這一研究成果已發表在2020年10月13日的《自然》雜誌子刊《自然·機器智慧》（Nature Machine Intelligence）上。

No.7

北京大學首次實現基於相變儲存器的神經網路高速訓練系統

2020年12月，智源學者、北京大學楊玉超團隊提出並實現了一種基於相變儲存器（PCM）電導隨機性的神經網路高速訓練系統，有效地緩解了人工神經網路訓練過程中時間、能量開銷巨大並難以在片上實現的問題。該系統在誤差直接回傳演算法（DFA）的基礎上進行改進，利用PCM電導的隨機性自然地產生傳播誤差的隨機權重，有效降低了系統的硬體開銷以及訓練過程中的時間、能量消耗。該系統在大型卷積神經網路的訓練過程中表現優異，為人工神經網路在終端平臺上的應用以及片上訓練的實現提供了新的方向。

No.6

清華大學首次提出類腦計算完備性概念及計算系統層次結構

2020年10月，智源學者，清華大學張悠慧、李國齊、宋森團隊首次提出“類腦計算完備性” 概念以及軟硬體去耦合的類腦計算系統層次結構，透過理論論證與原型實驗證明該類系統的硬體完備性與編譯可行性，擴充套件了類腦計算系統應用範圍使之能支援通用計算。該研究成果發表在2020年10月14日的《自然》（ Nature ）期刊。《自然》週刊評論認為，“ ‘完備性’ 新概念推動了類腦計算”，對於類腦系統存在的軟硬體緊耦合問題而言這是 “一個突破性方案”。

No.5

美國貝勒醫學院透過動態顱內電刺激實現高效率“視皮層列印”

對於全球4000多萬盲人來說，重見光明是一個遙不可及的夢想。2020年5月，美國貝勒醫學院的研究者利用動態顱內電刺激新技術，用植入的微電極陣列構成視覺假體，在人類初級視皮層繪製W、S和Z等字母的形狀，成功地能夠讓盲人 “看見” 了這些字母。結合馬斯克創辦的腦機介面公司Neuralink釋出的高頻寬、全植入式腦機介面系統，下一代視覺假體有可能精準刺激大腦初級視覺皮層的每一個神經元，幫助盲人“看見”更復雜的資訊，實現他們看清世界的夢想。

No.4

DeepMind等用深度神經網路求解薛定諤方程促進量子化學發展

作為量子力學的基本方程之一，薛定諤方程提出已經有90多年的時間，但如何精確求解薛定諤方程，卻一直困擾著許多科學家。2019年，DeepMind開發出一種費米神經網路（Fermionic neural networks，簡稱FermiNet）來近似計算薛定諤方程，為深度學習在量子化學領域的發展奠定了基礎，2020年10月，DeepMind開源了FermiNet，相關論文發表在物理學期刊 Physical Review Research 上。FermiNet是第一個利用深度學習來從第一性原理計算原子和分子能量的嘗試，在精度和準確性上都滿足科研標準，且是目前在相關領域中最為精準的神經網路模型。另外，2020年9月，德國柏林自由大學的幾位科學家也提出了一種新的深度學習波函式擬設方法，它可以獲得電子薛定諤方程的近乎精確解，相關研究發表在 Nature Chemistry 上。該類研究所展現的，不僅是深度學習在解決某一特定科學問題過程中的應用，也是深度學習能在生物、化學、材料以及醫藥領域等各領域科研中被廣泛應用的一個遠大前景。

No.3

深度勢能分子動力學研究獲得戈登·貝爾獎

2020年11月19日，在美國亞特蘭大舉行的國際超級計算大會SC20上，智源學者、北京應用物理與計算數學研究院王涵所在的 “深度勢能” 團隊，獲得了國際高效能計算應用領域最高獎項 “戈登·貝爾獎”。“戈登·貝爾獎” 設立於1987年，由美國計算機協會（ACM）頒發，被譽為 “計算應用領域的諾貝爾獎”。該團隊研究的 “分子動力學”，結合了分子建模、機器學習和高效能計算相關方法，能夠將第一性原理精度分子動力學模擬規模擴充套件到1億原子，同時計算效率相比此前人類最好水平提升1000倍以上，極大地提升了人類使用計算機模擬客觀物理世界的能力。美國計算機協會（ACM）評價道，基於深度學習的分子動力學模擬透過機器學習和大規模並行的方法，將精確的物理建模帶入了更大尺度的材料模擬中，將來有望為力學、化學、材料、生物乃至工程領域解決實際問題（如大分子藥物開發）發揮更大作用。

No.2

DeepMind的AlphaFold2破解蛋白質結構預測難題

2020年11月30日，Google旗下DeepMind公司的AlphaFold2人工智慧系統在第14屆國際蛋白質結構預測競賽（CASP）中取得桂冠，在評估中的總體中位數得分達到了92.4分，其準確性可以與使用冷凍電子顯微鏡（CryoEM）、核磁共振或X射線晶體學等實驗技術解析的蛋白質3D結構相媲美，有史以來首次把蛋白質結構預測任務做到了基本接近實用的水平。《自然》（ Nature ）雜誌評論認為，AlphaFold2演算法解決了困擾生物界 “50年來的大問題”。

No.1

OpenAI釋出全球規模最大的預訓練語言模型GPT-3

2020年5月，OpenAI釋出了迄今為止全球規模最大的預訓練語言模型GPT-3。GPT-3具有1750億引數，訓練所用的資料量達到45TB，訓練費用超過1200萬美元。對於所有任務，應用GPT-3無需進行任何梯度更新或微調，僅需要與模型文字互動為其指定任務和展示少量演示即可使其完成任務。GPT-3在許多自然語言處理資料集上均具有出色的效能，包括翻譯、問答和文字填空任務，還包括一些需要即時推理或領域適應的任務等，已在很多實際任務上大幅接近人類水平。