【導讀】
“儘管還有很多工作要做, 這項研究是一個里程碑,拓寬了侵入式腦機介面應用的視野。“
腦機介面又一突破性進展——意念打字實現了,還一舉登上Nature最新封面。
「讀心術」照進了現實。
馬斯克的Neuralink把「腦機介面」(BCI)的熱度一拔再拔,讓公眾對這項科幻感十足的技術有了期待。不過,取得此項突破的是斯坦福團隊:5月13日,美國斯坦福大學研究人員首次破譯了與手寫書信相關的大腦活動,並結合人工智慧(AI)演算法,實現“意念”寫字。
論文連結:https://doi.org/10.1038/d41586-021-00776-8
而在本次的研究中,斯坦福團隊成員將人工智慧技術融入其中,將AI與腦機介面技術融合:
研究團隊成功開發出一套全新的皮質內腦機介面系統,該系統利用大腦運動皮層的神經活動可解碼 “手寫” 筆跡,並使用迴圈神經網路(RNN)解碼方法將筆跡實時翻譯成文字,快速將患者對手寫的想法轉換為電腦螢幕上的文字。
效果如何?依靠這套裝置與系統,患者每分鐘可鍵入90個字元,這是以前用這類腦機介面(BCI)研究打字記錄的2倍多,而準確率更是高達99%以上。
國國立衛生研究院腦科學計劃(NIH BRAIN Initiative)主任約翰·恩蓋(John Ngai)博士表示:“這項研究代表了 BCI 和機器學習技術發展的重要里程碑,相關研究正在揭示人腦如何控制像通訊這樣複雜的過程,為改善神經損傷和癱瘓者的生活提供了重要基礎。
來自斯坦福大學霍華德・休斯醫學研究所(HHMI)研究員克里希納・謝諾伊教授(Krishna Shenoy)與科學家弗蘭克・威利特(Frank Willett)是本次研究的核心人員。斯坦福神經外科醫生傑米・亨德森(Jaimie Henderson)也參與了這項研究。
他們表示,此次研究的最大創新是首次破譯了與手寫筆記有關的大腦訊號。
受試患者:T5
圖中的受試患者T52007 年由於脊髓損傷幾乎失去了頸部以下的所有活動能力,手部動作僅限於抽搐和微動。
每一個晶片都有 100 個電極,負責接收運動皮層(大腦最外層的一個區域)神經元發出的訊號,運動皮層是控制手部運動的區域,這些神經訊號透過電線傳送到計算機,由人工智慧演算法解碼訊號並推測 T5 的手和手指的預期運動。
這所以可以被稱作是「讀心術」是因為,這一過程的突破口在於需要一種新的分類演算法,能夠預測癱瘓使用者試圖書寫的26個字母或5個標點符號,這是具有挑戰性的技術,因為科學家們無法觀察到這些意圖。
為克服這一挑戰,Willett等人基於一種最初為語音識別開發的機器學習演算法,重新設計了另一種演算法。
這使得他們能夠僅根據神經活動來估計參與者何時開始嘗試書寫一個字元。根據這些資訊,研究團隊生成了一個帶有標籤的資料集,其中包含每個字元對應的神經活動模式。他們用這個資料集來訓練分類演算法。
除此之外,分類演算法還使用了現有的機器學習方法,以及一種遞迴神經網路(RNN)——也是一種人工神經網路,這種神經網路特別擅長預測順序資料。
不過RNN也有短板,利用RNN的能力前提是需要大量的訓練資料,但很少有使用者願意想象連續寫作數小時。
研究團隊則用一種被稱為資料增強的方法解決了該問題。在這種方法中,參與者先前產生的神經活動模式被用來產生句子,在這些句子上訓練RNN。他們還透過在神經活動模式中引入人為的變化來擴充套件他們的訓練資料,以模仿人類大腦中自然發生的變化。
儘管這項實驗目前仍不完整,離成為一個可以臨床應用的商用系統還有一定距離,它目前還不是一個完整的、臨床上的商用系統,但正如《自然》同期刊發的對該項研究的觀點文章所說:“儘管還有很多工作要做, 這項研究是一個里程碑,拓寬了侵入式腦機介面應用的視野。”
我們離科幻更近了嗎?不,科技的終極立意是被人類所用,所以應該是:研究人員讓科幻更接近現實了。
參考文章:
澎湃新聞-《專訪|斯坦福團隊:“心理手寫”轉文字,腦機介面如何快又準》
智東西-《“意念手寫”登Nature封面!碼字不用手,準確率99%》