「液態」神經網路？

這是什麼何方神聖？

我猜，這大機率是你第一次聽到這個詞彙，你一定會好奇，這種「聳人聽聞」的神經網路到底是怎麼一回事。

近日，麻省理工學院的研究人員已經開發出一種神經網路，除了在訓練階段進行學習之外，它還能在實踐過程中學習。

這些被稱為「液態」網路的靈活演算法，可以為適應新的資料輸入而不斷改變自身的基本方程。

我們知道，有些資料流會隨著時間的推移而變化，比如涉及醫療診斷和自動駕駛的資料流。而這一進展，就正可以幫助基於這些資料流的決策過程。

因此，此類新型神經網路可以在自動駕駛和醫療診斷中輔助決策。

該研究的主要作者拉明·哈薩尼（Ramin Hasani）表示:

「這是朝向未來機器人控制、自然語言處理、影片處理等任何形式的時間序列資料處理前進的一大步，有著非常巨大的潛力」

這項研究，將在2月份的AAAI人工智慧會議上公佈。

除了麻省理工學院計算機科學和人工智慧實驗室(CSAIL)的博士後哈薩尼（Hasani），在MIT的共同作者還包括CSAIL主任丹妮拉·羅斯(Daniela Rus)、電氣工程和計算機科學的安德魯( Andrew )和埃爾納·維特比（ Erna Viterbi ）教授，以及博士生亞歷山大·阿米尼(Alexander Amini)。

其他共同作者還包括奧地利科學技術研究所的馬賽厄斯·萊希納（ Mathias Lechner）和維也納理工大學的拉杜·格魯（Radu Grosu）。

「現實世界完全由序列組成。即使是我們的感知，也是如此：你不是在感知影象，你是在感知一系列影象」

「所以，實際上，時間序列資料創造了現實」

他指出，影片處理、金融資料和醫療診斷應用都是對社會至關重要的時間序列的例子，這些不斷變化的資料流的變遷是不可預測的。而實時對這些資料進行分析並利用它們預測未來的行為，可以推動自動駕駛汽車等新興技術的發展。

因此，哈薩尼就建立了一個適合這類任務的演算法。 他設計了一個可以適應現實世界可變性的神經網路。

眾所周知，神經網路是一種透過分析訓練資料來識別模式的演算法，人們常說，它能模擬大腦的處理過程。

而哈薩尼則是直接從顯微鏡下的線蟲C. elegans中獲得了靈感：

「它的神經系統只有302個神經元，但它可以產生出乎意料的複雜動態」

在對線蟲神經元是如何透過電脈衝得到啟用並相互交流的仔細研究下，哈薩尼對他建立的神經網路進行了編碼。

在他用來構建神經網路的方程中，他允許引數依據一套微分方程的結果，隨時間變化。

這種靈活性，正是關鍵——大多數神經網路的行為在訓練階段之後是固定的，這意味著它們並不善於適應傳入資料流的變化。

哈薩尼表示，他建立的的「液態」網路的流動性，使其對意外或噪聲資料更有彈性——比如大雨遮擋了自動駕駛汽車上的攝像頭的視野。

「因此，它更有活力」，他說。

他補充說，網路的靈活性還有另一個優勢:「它更易於理解」

哈薩尼說，他的「液態」網路避開了其他神經網路常見的不可思議之處：

「只是使用微分方程改變一個神經元的表現形式，你就可以探索某種程度的複雜性，否則，你將永遠無法實現探索」

得益於這款神經網路中為數不多卻具有很強表達性的神經元，觀察神經網路做決策的過程以及判斷網路分類的原因變得更加容易。

哈薩尼說:「這個模型具有更加豐富的表達能力」，因此，這個特性可以幫助工程師更好的理解和改進液態網路的效能。

預測精確，小尺寸省下大量計算成本

液態網路在一系列測試中表現都非常出色：

從大氣化學跨越到交通模式的應用上，模型在精確預測資料集未來值方面，比其他最先進的時間序列演算法高出好幾個百分點。

哈薩尼表示：「在許多應用中，我們看到了可靠的高效能」

此外，由於該網路的尺寸很小，因此它在完成測試時無需花費高昂的計算成本。

哈薩尼說:「每個人都在談論擴充套件他們的網路。而我們希望的則是縮小規模，擁有更少但更豐富的節點」

這項研究部分由波音公司、國家科學基金會、奧地利科學基金和歐洲領導電子元件和系統提供資助。

哈薩尼的計劃是，繼續改進該系統，來為工業應用做好準備：

「受到自然現象的啟發，我們有一個更有表現力的神經網路，但，這僅僅是個開始」

「接下來，我們要面臨很明顯的挑戰：如何進一步發展它? 我們認為，這種網路可能成為未來智慧系統的關鍵元素」

參考連結：

https://news.mit.edu/2021/machine-learning-adapts-0128