[星島綜合報道] 卡內基梅隆大學的研究人員開發了一種名為EgoTouch的技術，使虛擬實境（VR）用戶能將自己的手掌作為觸控介面。該系統由博士生Vimal Mollyn及其團隊在該校的人機互動研究所（Human-Computer Interaction Institute）研發，旨在取代傳統的「空中」介面，提供更快速、準確且符合人體工學的操作方式。
傳統的身體介面通常需要特殊的深度感測攝影機來追蹤真實世界中手部的位置，而EgoTouch僅利用VR頭戴裝置中已有的RGB光學攝影機即可運作。當用戶的手指按壓在手掌上時，攝影機會捕捉到由此產生的陰影和皮膚變形。透過將這些視覺指標映射到虛擬手掌上的介面，系統能夠確定用戶在VR世界中選擇的選項。
為了訓練該系統的演算法，研究團隊邀請志願者在佩戴頭戴式RGB攝影機的情況下，用食指按壓手掌的不同位置。手指下方安裝了不可見的觸控感測器，將攝影機數據與感測器數據匹配，使演算法學習不同視覺特徵與觸控位置、力度和持續時間之間的關聯。該訓練過程涵蓋了不同膚色、毛髮密度和光照條件的情境。
測試結果顯示，EgoTouch在檢測手掌觸控位置的準確率達96%，誤報率約為5%。在判斷觸控力度（輕觸或重壓）方面，準確率達98%，並能識別按壓、抬起和拖曳等觸控動作。
Mollyn表示：「這是首次僅使用所有頭戴裝置中已有的攝影機的系統。我們的模型無需校準，開箱即用。現在，我們可以基於先前的皮膚介面研究，將其實現。」
EgoTouch的開發有望提升VR用戶的互動體驗，提供更自然且直觀的操作方式，減少對手持控制器的依賴，並避免在視野中出現干擾性的選單。
圖片：卡內基梅隆大學
T10