META: AR/VR 輸入的神經腕帶

廣告

在2023年初The Verge透漏了Meta到2027年的AR/VR 硬體路線圖 計劃於 2025 年發布第一副帶顯示器的智慧眼鏡,以及一款旨在控制它們的神經介面智慧手錶。在一次內部演示中,Meta 高層制定了三款新 Quest 耳機、AR 眼鏡和「神經介面」智慧手錶的計劃。

2019 年底,META斥資約 10 億美元收購了一家名為 CTRL-Labs的新創公司,該公司一直在研究手指追蹤腕帶的想法直至今日,CTRL Labs 的執行長兼聯合創始人 Thomas Reardon一直在研究這項技術。

這款腕帶使用微分肌電圖(EMG)來測量手臂神經元中的電脈衝,本質上產生了配戴者可以用來與眼鏡互動的幻肢效果。人們本質上可以思考輸入或控制虛擬介面,Meta 認為這將有助於與沒有觸控螢幕、滑鼠或鍵盤的智慧眼鏡進行互動。

未來的人機互動需要一個極其易用、可靠且保障私密的介面,使我們能夠始終完全沉浸在現實世界中。這樣的介面需多項創新,才能成為我們與數字世界互動的主要方式。其中兩項最關鍵的要素包括:上下文感知的人工智能,能夠理解使用者的命令和操作以及周遭的上下文和環境;以及一種稱為超低摩擦輸入的技術,讓與系統的通訊變得輕而易舉。人工智能將基於對使用者及其環境的了解,深入推斷在各種情況下可能需要的資訊或想要執行的操作,並提供一系列量身定制的選項。輸入方式旨在讓選擇變得毫不費力——就像透過手指輕微移動來點擊一個始終可用的虛擬按鈕一樣簡單。

然而,這個系統的實現是需多年時間。因此,FRL 研究了一個可能更快實現的方案:結合基於手腕的輸入與有限但可用的情境化人工智慧,能夠動態適應使用者及其環境。

自 FRL Research(前稱 Oculus Research)成立之初,團隊便著手設想 AR 眼鏡的理想輸入裝置。他們的目標是開發一種無處不在的輸入技術,適用於任何人在日常生活中遇到的各種情況。首先,也是最重要的,這個系統需要從一開始就以負責任的方式建立,充分考慮隱私、安全性以及保障,為人們提供有意義的方式來個性化和控制他們的 AR 體驗。介面還需要直觀、始終可用、不引人注目且易於操作。理想情況下,它還應該支持豐富的高頻寬控制,適用於從操作虛擬物件到編輯電子文件的各種活動。最重要的是,這個裝置需要有一個足夠舒適的設計,使其能夠全天候佩戴,同時也足夠節能,以支持長時間的使用。

這是一系列嚴格的要求。當研究團隊探索各種可能性時,他們發現了兩個主要的挑戰:首先,當時存在的任何技術都無法完全滿足這些標準。第二,任何最終的解決方案都必須考慮到需要佩戴在手腕上的實際性。

這項挑戰促使團隊不斷創新和試驗,以尋找既能滿足這些嚴格要求又能快速實現的方案。正如馬克·祖克伯格在近期《Morning Brew Daily》脫口秀節目中所透露的那樣,

“我們實際上已經接近在未來幾年內將其應用到產品中了”。這說明了 Facebook 實境實驗室對於其 AR 技術的信心以及對未來的期待。

FRL 的這項研究不僅僅是技術創新的代表,它也象徵著一種對人類互聯方式未來可能變革的深刻理解。通過將數位世界無縫整合進我們的現實生活,AR 眼鏡和相關技術將開啟一個全新的交互維度,讓距離不再是溝通和共享經歷的障礙。FRL 的努力不僅僅是為了創造一種新的產品,更是在為實現一種更加連接和互動的世界而工作。隨著這些技術的成熟和普及,我們可以期待未來的生活方式將因為這些創新而變得更加豐富和多彩。

過去META也曾告訴大家,為何選擇手腕作為這一創新技術的核心?答案藏於其獨特的便利性與直觀性之中。

手腕的選擇並非偶然。傳統上,手腕是佩戴手錶的地方,這使得將輸入裝置放置於此地不僅能自然融入日常生活,還能在社交環境中不引人注目。手腕的位置,緊鄰我們與世界互動的主要工具——我們的手,提供了一個全天候舒適的佩戴選擇,並且讓我們能夠利用手的豐富控制能力進行直觀而強大的互動。

腕式裝置的另一大優勢在於其作為運算、電池和天線平台的潛力,以及支持廣泛感測器的能力。其中,肌電圖(EMG)技術的引入,將手腕上微小的運動神經訊號轉化為數位指令,為實現豐富且精確的控制提供了可能。

EMG 技術的核心在於其能夠識別極其細微的手指運動,甚至於僅僅一毫米的活動,從而使控制動作變得毫不費力。這種技術的進步意味著,最終用戶甚至可能只需感受到移動手指的意圖,就能執行命令。

FRL 的神經運動介面總監指出,這種技術的目標不在於讀心,而是解碼已經決定執行的動作的神經訊號,將其轉換為裝置的數位命令。這種方式類似於我們當今使用手機或電腦時的互動,但速度更快、更直接。

肌電圖技術最初將提供簡單的控制,如“點擊”動作,但預計將發展出更多豐富的控制方式。這包括在擴增實境(AR)中與虛擬界面和對象的直接互動,甚至達到遠程操控虛擬物體的能力,彷彿擁有超自然的力量。

肌電圖技術的美妙之處在於它利用了人們已經熟練掌握的動作——打字和點擊。通過將這些熟悉的動作轉化為數位命令,它有望創造一種全新的互動方式,這種方式不僅更快、更直接,而且還能夠隨時隨地進行,無需任何物理介面。

當我們談論到未來的人機互動方式,如手指點擊或微手勢等超低摩擦輸入方法,這些技術無疑將開創新的互動模式。然而,要讓這些互動感覺更加有形、更具體,我們需要的不僅僅是視覺或聽覺回饋,觸覺反饋在這裡扮演了關鍵角色。

FRL 的研究科學總監 Sean Keller 解釋說,從我們出生時的第一次抓握開始,到靈巧地操縱物體和在鍵盤上打字,觸覺都是我們學習和理解世界的基礎。這種觸覺反饋不僅限於物理世界,也正在進入虛擬世界的互動中。例如,透過腕帶技術,我們可以模擬拉弓的感覺,讓使用者確信自己正在執行正確的動作。

進一步的應用包括在接收不同類型的通知時提供差異化的觸覺反饋,例如“緊急”電子郵件可能觸發一系列振動和脈衝,而普通郵件則可能只有單一脈衝或無任何觸覺回饋,這些都依賴於使用者的偏好設定。這種觸覺反饋使得人機互動不再是單向的,而是成為了一種雙向對話。

FRL 過去一直在探索如何透過腕帶提供更豐富的觸覺體驗。他們開發的一個原型名為“Bellowband”,它是一種圍繞手腕的柔軟且輕盈的帶子,配備了八個氣動波紋管,這些波紋管可以控制空氣流動,以複雜的模式在空間和時間上呈現壓力和振動。另一個名為Tasbi的原型則結合了振動觸覺執行器和一種新穎的手腕擠壓機構,用於測試各種虛擬交互,從檢測虛擬按鈕硬度的差異到感受不同的紋理。

這些研究原型不僅是向創造無法與現實世界中的物體和活動區分的虛擬觸覺反饋邁進的重要一步,也展示了通過所謂的“感覺替代”現象,我們的大腦如何將視覺、聽覺和觸覺刺激結合起來,為虛擬體驗提供了新的維度。