據悉,神經學家有史以來第一次,實現了將與手寫有關的認知訊號實時翻譯成文字的創舉。而且,這項新技術的速度是以前方法的兩倍多,可以讓癱瘓的人以每分鐘90個字元的速度發簡訊。
來自斯坦福大學神經假肢翻譯實驗室的科學家表示,研究人員透過與美國科技公司“大腦之門(BrainGate)”的合作,已經開發出一種系統,最終可以“讓有嚴重語言和運動障礙的人透過簡訊、電子郵件或其他形式的寫作進行交流”。
與手寫相關的想法所誘導的大腦訊號被實時翻譯成文字,使癱瘓的人能夠以每分鐘16個單詞的速度發簡訊。該系統使用大腦植入物和機器學習演算法來解碼與手寫相關的大腦訊號。
多年來,BrainGate聯盟為腦機介面(BCI)的開發做出了重要貢獻,包括2012年展示的複雜的腦控機械臂,以及最近宣佈的用於人類的高頻寬無線BCI。這次開發的新的手寫腦機介面專案由斯坦福大學的研究科學家弗蘭克·威利特(Frank Willett)領導,由霍華德·休斯醫學研究所(Howard Hughes Medical Institute)的神經科學家克里希納·謝諾伊(Krishna Shenoy)和斯坦福大學的神經外科醫生亨德森(Henderson)監督。
上圖:一位臨床試驗參與者僅僅透過想象移動手臂和手來寫字的動作,就在電腦螢幕上創作了這些字母。
早在2017年,謝諾伊和他的同事就開發了一種“思維-文字”系統,大大改進了早期的技術,使猴子能夠以每分鐘12個單詞的速度傳送文字。這項研究為晚些時候出現的後續工作奠定了基礎,即一種腦機介面,它可以讓癱瘓者以每分鐘40個字元的速度打字,也就是大約8個單詞。但正如亨德森醫生宣告的那樣,“目前的工作已經超越了2017年的研究,使癱瘓者的打字速度提高了一倍多,並且使用了一種全新的、不同的方法。”
事實上,神經科學家以前從未嘗試捕捉筆跡的心理行為,而這項新實驗的目的就是要看看,它是否會產生一個更有效的思維到文字的系統。
在實驗進行時,唯一的參與者是一名65歲的男性,他在10年前因脊髓損傷而導致肩膀以下癱瘓。
亨德森醫生解釋說:“兩個感測器,每個4x4毫米,大約是一個嬰兒阿司匹林藥片的大小,有100個毛髮般細的電極,被放置在大腦運動皮質的外層 —— 控制身體另一側運動的區域。這些電極可以記錄大約100個神經元發出的訊號,由此產生的訊號將由計算機處理,以解碼與書寫單個字母相關的大腦活動。”
上圖:用於新型腦機介面的植入式電極陣列之一。
在實驗過程中,這名男子試圖移動他癱瘓的手來寫字。亨德森醫生解釋道,他想象著“用筆在黃色便籤簿上一個接一個地寫這些字母”,而解碼器則按照“神經網路識別”的方式把每個字母都打出來。他補充道,研究小組使用“大於”符號來表示單詞之間的空格,“否則就沒有辦法檢測到寫空格的意圖。”
該系統能夠以大約95%的準確度區分單個字母。 亨德森醫生說,每分鐘16個單詞的速度,大約是65歲以上的人在智慧手機上打字速度的四分之三。
實驗結果是美好的,也充滿了希望。但這個系統也有它的侷限性。首先也是最重要的,它是高度侵入性的,因為它需要腦部手術和植入物。而且,它也不能跨個人推廣,需要系統瞭解每個使用者的認知細微差別。根據亨德森醫生的說法,新的方法也是“非常計算密集的”,需要一臺“專門的高效能計算機或計算叢集”。最後,系統還需要技術人員設定腦機介面並執行軟體。儘管有這些限制,亨德森醫生設想的是一個完全成熟的版本,它是“無線的、始終可用的、可以自我校準的”。他表示,所有這些目標都是可以實現的,但這將“需要大量的資源和投資,理想情況下,這些資源應該由一家公司提供,而不是學術實驗室。”展望未來,該團隊希望研究大腦協調多個肢體靈活動作的方式,並瞭解大腦是如何產生語言的。