好傢伙,前幾天三次方發了一篇關於蘋果計劃新一代人機互動---戒指的研發工作以及專利:蘋果要釋出戒指?配著VR眼鏡一起用?這邊Facebook今天公佈了其手腕裝置的人機互動工作方式,AR/VR眼鏡的互動方式又有新玩法呢?
Facebook分享了其在腕上裝置上進行的一些研究,以實現高保真手指跟蹤和觸覺反饋。為了使我們未來的AR眼鏡能夠改善生活,我們需要一個可全天候工作的較為直觀且流程的互動人機介面。所以Facebook發表了對基於腕式可穿戴裝置的研究,它如何有助於我們更好更自然的控制我們的裝置。
Facebook的AR / VR互動和輸入研發負責人Sean Keller對腕戴式裝置的看法:
腕帶和手錶已經被廣泛使用。手腕上的裝置可以用作計算、電池和無線電的平臺。它可以作為具有顯示UI介面、豐富的觸覺、完整輸入和輸出環境,並可以支援各種感測器。
為什麼Facebook要在手腕上做文章呢?還有許多其他可用的輸入源(戒指?手環?),它們都很有用。聲音是直觀的,但在公共領域還不夠私密,或者由於背景噪音而不夠可靠。你可以像手機或遊戲控制器那樣將獨立裝置儲存在口袋中。當我們探索這種可能性時,在手腕上放置一個輸入裝置成為了一個明確的答案:手腕是一個傳統的佩戴手錶的地方,這意味著它可以合理地適應日常生活和社會環境。這是一個適合全天穿著的舒適地點。這種與手天然的接近性將允許我們將你的雙手豐富的控制能力帶入增強現實環境,實現直觀、強大和令人滿意的互動。
基於腕帶的可穿戴裝置還有一個額外的好處,那就是它可以很容易地作為計算、電池和的平臺,同時支援廣泛的感測器。我們所缺少的是找到一條通往豐富輸入的清晰路徑,一個理想的解決方案便是EMG。肌電圖(electromyography)利用感測器將透過手腕傳到手部的運動神經電訊號轉換成數字命令,你可以利用這些數字命令來控制裝置的功能。這些訊號可以讓你向你的裝置傳達清晰的1位指令,這種控制程度高度個性化,可以適用於許多情況。
透過手腕的訊號非常清晰,肌電圖僅能理解一毫米的手指運動。這意味著投入可以毫不費力。最終,它甚至可以感知到移動手指的意圖。
目前Facebook的Oculus Quest眼鏡需要透過眼鏡上的攝像頭進行的無控制器手部跟蹤。它需要一個光線充足的房間,延遲很小但還是有點明顯,並且如果你的手複雜重疊的話,它將不起作用。
更好的相機,深度感測器和更快的晶片可以改善這一點,但是在某些情況下,頭戴式眼鏡都無法看到一個或多個手指的運動。
所以呢跟蹤手的另一種方法是讀取透過手腕傳遞的神經訊號。這樣的系統甚至可以在手指運動發生之前就感覺到它的運動。
Facebook Neuromotor Interface主管Thomas Reardon解釋說,與身體的其他部位相比,大腦更多的要專用於控制你的手。他聲稱最近的一項突破使得能夠解碼單個神經元的活動,從而實現對機器的完美控制。這意味著手部互動可能極其精確和可靠(毫米級精確)。這也意味著可以將這些資料視為高度個人化的資訊,解決隱私方面的問題(慢慢的求生欲啊)
“我們已經嘗試過在VR和AR中使用Tasbi的振動和擠壓觸覺功能進行大量的虛擬互動。例如推,轉和拉按鈕,感覺紋理和在空間中移動虛擬物件。我們還嘗試了更多奇特的示例,諸如爬梯子或使用弓箭之類的東西。我們進行了測試,以檢視Tasbi的振動和擠壓反饋是否可以使你感覺像是在自然地與這些物件進行互動。令人驚訝的是,由於感官替代,你的身體將各種多感官資訊結合在一起。”
Facebook相關負責人認為人們無需在虛擬世界和現實世界之間進行選擇。藉助基於手腕的超流程輸入,由上下文感知的AI驅動的自適應介面以及觸覺反饋,我們可以與我們的裝置進行交流,這種交流會使我們能夠與他人進行更深入的聯絡和改善我們的生活。未來可期啊!!!