作者/文龍

人工智慧如何在駕駛員輔助系統、智慧手機以及其他移動裝置上高效地執行，是研究人員們一直關注的問題。

近日，奧地利格拉茨技術大學（TU Graz）的兩位研究人員找到一種簡單的將人工神經網路（ANN）轉換為脈衝神經網路（SNN）的演算法，神經元只需發出相對較少的訊號就可以完成影象分類，並且分類精度非常接近當前最先進的影象分類技術水平。

研究成果於3月11日以「最佳化的脈衝神經元可以透過帶有兩個脈衝的時間編碼對影象進行高精度分類」（Optimized spiking neurons can classify images with high accuracy through temporal coding with two spikes）為題發表在《自然·機器智慧》（Nature Machine Intelligence）雜誌上。

人工智慧的大多數成就依賴於非常「深」的神經網路，它們有著億萬個神經元和上萬個層級。這些大型的深度神經網路在計算時會消耗大量能量，因為有大量數值需要在每個時間週期內從一個神經元層傳送到另一個神經元層。

為了使AI能在邊緣裝置中得到更廣泛的應用，科學家們提出了一種脈衝神經網路（spiking neural network, SNN）。基於脈衝神經網路形態的硬體有望減少包括影象分類在內的許多深度學習應用的能耗，但是，直接訓練脈衝神經網路十分困難、效率很低，效能也較差。

為此，來自TU Garz 理論計算機科學研究所的博士生克里斯多夫·斯托克（ ChristophStöckl）和計算機科學家沃爾夫岡·馬斯（Wolfgang Maass）開發了一種 ANN 到 SNN 的轉換演算法，命名為FS 轉換（few spikes-conversion）。該演算法用一種新型FS 神經元（FS-neuron）替代傳統ANN中的神經元，FS 神經元模型具有內部動態特性，經過最佳化後可模擬具有少量脈衝的特定啟用函式的ANN 神經元。

研究人員展示了多種啟用函式（SiLU、ReLU和Sigmoid）的示例，證明了該演算法可以對任何啟用函式進行轉換。用於多個數據集試驗後，結果顯示平均僅需要兩個峰值的SNN ，就能夠以接近等效ANN的效能對影象進行分類。

以人腦中的資訊處理方式為範例

過去，許多 ANN 到 SNN 的轉換都集中在速率編碼上，即將ANN中使用的實數轉換為一系列峰值，速率等於所表示的值。這些嘗試不僅導致效能大幅度降低，還由於一次計算需要大量脈衝訊號，造成時間上的延遲以及能耗的增加。

Maass和Stöckl的靈感來自人腦的運作方式，脈衝類似於生物神經元透過其神經連線網傳遞資訊的動作電位。脈衝在大腦中的發生頻率很低，因此，儘管人腦每時每刻都要執行復雜的學習、控制、調節和記憶任務，但功耗卻能保持在20 W以下。

在Maass和Stöckl的設計方法中，資訊的傳遞不僅取決於神經元發出多少脈衝，還取決於神經元何時發出。利用生物學的啟發，該團隊的演算法可以透過峰值隨時間變化的模式對資訊進行編碼。「你可以將其理解為摩斯電碼，訊號之間的停頓也可以傳輸資訊，」馬斯解釋說。

Stöckl和Maass的解決方案以其簡單性而著稱。對脈衝之間的時間間隔進行編碼，可以傳輸大量附加資訊。Maass說：「可以在處理器之間傳遞和在耗能更大的硬體中一樣多的資訊。」

該演算法成功的關鍵是將啟用函式的算術解轉換到時域上。因此，在選定的時間步長上，FS 神經元產生的脈衝模式在時間上等同於ANN 神經元的幅度響應，數量越大越接近。

SNN形態硬體的爭論

關於SNN形態硬體平臺的實用性的爭論早在2019年就引起了廣泛的關注。對此，Facebook的首席AI科學家楊立昆（Yann LeCun）和英特爾的神經形態計算負責人邁克·戴維斯（Mike Davies）表達了截然不同的觀點。

LeCun質疑：「為什麼要為無法執行的演算法構建晶片？」；Davies 則認為「大腦是我們擁有的真正的智慧計算的例項」，人工神經網路執行的是最佳化而不是「真實的學習」。

神經形態硬體是解鎖在邊緣執行低功耗機器學習的關鍵，可以減少延遲、提高資料安全性和隱私性。但現實情況是，迄今為止，神經形態計算未能證明這一願景。我們究竟要如何實現？

或許我們不需要質疑哪種神經網路更好，或許我們可以學會結合利用兩者的優勢。

論文連結：https://www.nature.com/articles/s42256-021-00311-4

參考內容：

https://www.eurekalert.org/pub_releases/2021-03/guot-naf031121.php

https://www.nature.com/articles/s42256-021-00309-y