人工智慧推理結合生物肌電可穿戴感測器，實現手勢快速學習與機器人遙操作

由加州大學伯克利分校(University of California at Berkeley)、蘇黎世IBM研究院(IBM Research Zurich)、博洛尼亞大學(University of Bologna)等多家研究機構的的工程師們聯合開發出了一種新型可穿戴裝置或許可以實現這些場景。該項研究以《A wearable biosensing system with in-sensor adaptive machine learning for hand gesture recognition》為題，線上發表在 《Nature Electronics》上。

研究人員設計並開發的這種新型可穿戴裝置透過將可穿戴生物感測器與人工智慧相結合，利用該裝置可以獲取佩戴者前臂的電訊號，根據電訊號模式，識別出他計劃做出的手勢。研究人員表示，該裝置有望用於控制假肢，並且可與各種型別的電子裝置進行互動。

對於該項技術，加州大學伯克利分校博士 Ali Moin 表示："假肢是該項技術的重要應用之一，它同時也提供了一種非常直觀的、可與計算機互動的方式。改善人機互動的方式有很多種，比如利用攝像頭和計算機視覺技術，而讀取手勢是一個很好的解決方案，同時，該種方式還可以保護個人隱私。

引入機器學習模型進行本地訊號處理的系統具有許多優勢，但同樣面臨著多種問題，在低功耗嵌入式處理器中，所使用的機器學模型通常需要事先進行離線訓練，如果訓練達不到預期效果，模型的分類精度就會降低，導致效能欠佳或使用者體驗不佳等問題。

為了解決當前可穿戴生物感測裝置面臨的技術壁壘，Moin 等人透過檢測人體面板表面肌電圖(surface electromyography，sEMG)，研發了可穿戴的高密度 sEMG 生物感測系統。該可穿戴系統總重量為 26g，佩戴十分方便；系統所使用的電池為 3.7V、240mAh 的鋰離子電池，連續手勢識別續航時間長達 6 小時。

sEMG 可穿戴生物感測系統。a. 位於前臂上的裝置；b. 絲網印刷過程的圖解；c. 定製設計的 16*4 電極陣列；d. 小型八層 PCB 電路板；e. 構成可穿戴系統的主要元件的框架圖。

為了建立手勢識別系統，研究人員設計了一個靈活的臂帶。該臂帶可以讀取佩戴者前臂上 64 個不同點的電訊號，並將電訊號輸入到一個使用 AI 演算法程式設計的電子晶片中。與其他人工智慧演算法一樣，該演算法首先要"學習"手臂上檢測到的電訊號，並與特定的手勢相關聯。要實現這一點，每個使用者都必須戴上臂帶，同時逐一做出手勢。

研究人員表示，該生物感測系統穿戴體驗還可以，並且可以提供快速的初始訓練，自適應性較強，這一特點對於可穿戴的人機介面應用至關重要。然而，目前該系統所檢測的生理訊號並不穩定。

研究人員在該裝置中使用超維計算(HDC)來實現感測器中的自適應學習，透過本地資料實時訓練、推理和模型更新，來適應不斷變化的情境，對手勢分類進行實時推斷的實時推斷。例如，如果裝置佩戴者的手臂上有汗水或手臂舉過頭頂，與特定手勢相關的電訊號會發生變化，HD 演算法可以將這些新資訊納入其模型。

Moin表示："在手勢識別中，sEMG 訊號會隨著時間的推移而改變，這可能會影響模型的效能，我們能夠透過更新裝置上的模型來大大提高分類精度。"

研究中使用的手勢類別和 sEMG 記錄特徵

上圖中，圖a為單自由度手勢子集包括單個手指的彎曲(flex.)和伸展(ext.)以及"休息"手勢。多自由度手勢子集包括涉及多個手指的等距手勢。圖b展示的是中指屈伸過程中所有64個通道的原始波形記錄。根據對參與者的指示，每個11秒鐘的手勢試驗均分為1.5 s休息，2 s過渡到手勢，4 s保持期，2 s過渡到休息和1.5 s休息。波形的顏色表示sEMG的區域性幅度。圖e是在所有單自由度手勢的執行過程中，三種比較系統在所有通道的總信噪比分佈。陰影區域是信噪比值的機率密度直方圖。直線是符合分佈的高斯核。向下的三角形代表中值。

編碼的時空超向量(spatiotemporal hypervectors)既可以用作建立或更新模型的訓練示例，也可以用作使用訓練後的模型進行推理的查詢。研究人員將這些原型超向量儲存在關聯儲存器(AM)中，這是一次完全前饋操作，只需傳遞一次訓練資料即可(下圖a)。 這與其他受神經啟發的方法形成對比，在其他方法中，訓練通常採用複雜的迭代框架，並且比分類對計算的要求更高。

用於訓練、訪問和上下文更新的AM操作

研究人員比較了該項技術在基準環境中實時進行感測器內分類效能。如下圖所示。

在基準環境中實時進行感測器內分類效能

上圖a展示了在基線上下文測試的4 s保持期內，用於實時實驗的分類混淆矩陣。白色文字值是正確預測的百分比，紅色文字值是錯誤預測的百分比。灰度彩色背景代表預測類別的比例。圖b為四種手勢試驗的實時預測輸出示例。對於每個手勢測試，最上方的圖表顯示所有通道在50毫秒段內計算出的特徵。底部圖顯示了相對於試用時間的20 Hz分類結果。紫色豎線表示在第一個過渡時期中離線計算的手勢開始，在第二個過渡時期中表示手勢偏移。預測的垂直位置表示手勢類別，並且基於相對於離線估計的地面真相標籤的準確性，對預測進行顏色編碼。

圖c展示了在所有基線上下文測試中，手勢開始對齊(左)和偏移對齊(右)的預測統計資料。前13行中的每一行均顯示給定手勢的平均20 Hz分類結果，其中深色塊表示較高的比例。綠色方框表示正確的預測；紅色塊表示錯誤的預測。底部圖顯示了相對於開始時間和偏移時間，正確(綠色)和錯誤(紅色)分類隨時間的百分比。

感測器內訓練，更新和分類結果

上圖為感測器內訓練，更新和分類結果。每個實驗有兩名參與者進行三次。條形表示所有六個試驗的平均準確度，每個試驗的資料點重疊。a.用新的手勢更新HD分類模型的能力。最初的模型只在單自由度手勢上進行訓練和測試(黃條)。模型隨後更新為多自由度手勢，以覆蓋所有21個手勢(綠色條)。還顯示了僅透過多自由度手勢進行訓練和測試的單獨模型的結果(藍色條)。b，使用單自由度手勢更新HD分類模型的能力。對於三種不同的上下文變化(手臂位置、新磨損和長時間磨損)，在初始上下文(步驟1)上訓練初始模型，並在初始上下文(步驟2)和新上下文(步驟3)上測試(實心條)。然後，模型在新的環境(第4步)中使用每個手勢的單一試驗來更新(第5步和第6步)，並在兩種環境(條紋條)中再次測試(第5步和第6步)。更新的模型只在新的磨損階段和長時間磨損實驗的新上下文中測試，因為舊的上下文不再可用。

透過模型訓練，該系統成功識別了 21 個單獨的手勢，包括豎起大拇指、握拳、平手、舉起單個手指和數數字。

該裝置的另一個優點是，所有的資料運算都在裝置中整合的晶片上進行，無需將個人資料傳送到附近的電腦或裝置上，這不僅加快了計算速度，還確保了個人生物資料的私密性。

論文通訊作者之一、加州大學伯克利分校Jan Rabaey教授 表示："當亞馬遜或蘋果公司建立他們的演算法時，他們會在雲端執行一堆軟體來建立模型，然後將模型下載到裝置上。但是，在裝置的使用過程中，往往會被所輸入的特定模型所困。而我們設計的演算法在裝置就能完成學習的過程，而且它的速度極快，你只需要執行一次，它就會開始做這項工作。你做的次數越多，裝置的效能就會變得越好。"

參考資料：

https://www.nature.com/articles/s41928-020-00510-8

https://techxplore.com/news/2020-12-high-five-thumbs-up-device-gesture.html