UIST 2025(ACM Symposium on User Interface Software and Technology)上,來自 明治大學(Meiji University) 的 Kosuke Morimoto、Reo Hirano 與 Keita Watanabe 展示了 研究成果 「NailHaptic: Continuous Value Control in VR through Nail Color Change Detection for Self-Haptics Interaction」。這項研究提出一種新的 VR 輸入方式,透過檢測手指捏合時指甲因壓力產生的顏色變化,實現連續數值控制,為自我觸覺交互帶來新的可能。

在虛擬實境的自由手勢操作中,用戶通常依靠雙手進行輸入,但缺乏觸覺回饋,導致連續值操作如音量或滑桿調整變得困難。NailHaptic 的核心想法是使用單手捏合手勢,讓拇指與食指的壓力變化作為輸入依據,並透過 RGB 相機與 機器學習模型辨識不同的壓力層級。研究團隊建立了數據集並以深度學習訓練模型,最終能區分三種壓力等級:無壓力、輕壓與重壓,並實現 即時壓力判斷。

實驗系統以 Meta Quest 3 為基礎,搭配廣角 RGB 相機進行指甲顏色擷取。系統不僅能判斷壓力強度,還能根據拇指接觸食指的位置決定數值增減方向,從而實現雙向的連續值操作。應用場景包括以不同壓力控制滑桿變化速度、在 3D 環境中縮放或移動虛擬視窗,以及在繪圖工具中透過壓力調整筆刷粗細。

測試顯示,低壓力可完全停止變量變化,避免手部顫抖造成誤操作;中壓力可進行精細調整,而高壓力則能加快操作速度,提升效率。這一設計使得操作更直覺,符合真實世界「壓力越大,效果越強」的自然隱喻。

研究團隊也指出,目前系統在光線不足或指甲上有彩繪時,檢測精度可能下降。未來將擴充資料集,改善模型對不同光線與指甲狀態的適應性,並進行長時間使用的疲勞度測試,以驗證與現有交互方式的比較效能。

By JYUN