科技/有片| Meta手環將手勢變游標 肌電訊號操控 替代鍵盤滑鼠

[星島綜合報道] Meta 旗下研究人員開發出一款手環,能將你的手部動作轉化為電腦操作指令,不但可移動游標,還能將空中書寫的文字轉換為文本。這項技術未來有望讓個人設備對行動能力受限或肌肉力量較弱人士更為友善,並為所有人帶來更直覺、無障礙的裝置操作方式。

根據本周發表於《Nature》的研究論文,Reality Labs 團隊介紹了這款名為 sEMG-RD(表面肌電圖研究裝置) 的手環。它透過感應器,將從手腕傳至手部的運動神經電訊號,轉換為可操控連接設備的數位指令。

這些訊號其實就是大腦向手部下達的動作指令,也就是你「打算」執行的動作,因此可視為一種有意識的輸入。你可以觀看下方的示範影片了解這個裝置的實際運作方式:

Meta 多年前已展開相關研究。早在 2021 年,公司就組成了由 Thomas Reardon 領導的團隊開發這項技術。他自 2019 年加入 Reality Labs,擔任神經運動介面總監,並率先試作出以肌電圖為基礎的手勢控制裝置。當時 Meta 著眼於強化擴增實境(AR)體驗,初步目標是實現模擬單一滑鼠點擊等簡單操作。這次發表的論文,便是由 Reardon 團隊主導的成果。

其實業界早有其他類似嘗試。例如 2023 年出現的某款裝置,就透過氣壓感應器辨識 10 種手勢;另有一款名為 Mudra Band 的產品,聲稱可透過表面神經導電技術,以簡單手勢操控 Apple Watch。

不過,Meta 的 sEMG-RD 技術更進一步。它不僅可如雷射筆般單向控制螢幕游標,還可透過捏指、滑拇指、輕點等手勢,完成介面瀏覽與項目選取等複雜操作。甚至可藉由模擬空中書寫輸入文字,達到每分鐘約 20.9 個單字的速度──考慮到手機鍵盤輸入平均也才每分鐘 36 字,這樣的表現相當出色。

 IMG_8930 IMG_8931 IMG_8929

更重要的是,這套系統不需為每位用戶個別校準即可使用(當然仍可調整以提升個人化體驗)。研究團隊利用大量參與者的訓練數據,透過深度學習模型將原始訊號轉譯為精準指令。這樣的通用解碼模型,不須為每位使用者量身打造,也可達到準確識別,使用門檻大幅降低,就像一般人使用滑鼠般直覺快速上手。

研究人員認為,這項技術未來還可偵測手勢「用力程度」,進一步應用於攝影機、搖桿等更細膩的控制。它也有潛力進一步降低使用手機與其他數碼設備所需的體力門檻。或許更令人興奮的是,我們可以藉由運用不同的肌肉協同作用,或傳送全新的訊號讓手環解讀,從而探索一些我們尚未命名的新型互動方式。

圖片:Meta、Image courtesy of the researchers

T10

科技| Meta新AI系統變身巴別魚  語音即時翻譯101種語言

 

[星島綜合報道]科幻小說中的通用翻譯器,例如《銀河便車指南》中著名的巴別魚,一直描繪著即時翻譯語言的夢想。如今,Facebook 的母公司 Meta 的科學家開發出一種 AI 系統,可以即時翻譯語音和文字,包括語音到語音的直接翻譯,涵蓋多達 101 種語言,這或許是實現這一幻想的關鍵一步。

「科幻為我們的團隊提供了一個清晰的目標,」Meta 基本 AI 研究團隊(位於加州門洛帕克)的研究科學家Marta Costa-jussà表示。

隨著世界越來越緊密地互聯,人們比以往任何時候都能更廣泛地接觸多語言內容。然而,大多數自動翻譯系統僅設計為處理文字輸入和輸出。目前現有的語音到語音翻譯系統在覆蓋語言數量上遠不及文字翻譯系統。此外,之前的語音到語音翻譯系統通常偏向於將某種語言翻譯為英文,而非將英文翻譯為其他語言。

Meta 現在開發了一種名為 SeamlessM4T 的 AI 系統,可翻譯多達 101 種語言的語音和文字。

為了開發 SeamlessM4T,研究人員訓練了一個模仿大腦的神經網路 AI 系統,使用了 400 萬小時的多語音頻和數十億句子,這些資料來自公開的網路數據庫。他們還分析了約 44.3 萬小時的帶有匹配文字的音頻(例如帶字幕的網路視頻剪輯),以進一步改進系統。

在語音到語音翻譯方面,研究團隊發現 SeamlessM4T 的準確率比先前的最先進系統提高了 23%。在語音到文字的任務中,它的準確率比之前的系統高出 8%。

此外,在語音到文字的任務中,SeamlessM4T 在背景噪音和說話者語音差異的情況下,比起其他系統大約多出 50% 的抗干擾能力。它還能翻譯混合兩種或多種語言的語句。

為減少 SeamlessM4T 在翻譯中可能添加髒話或其他有害語言的風險,研究人員採用了兩種策略來消除訓練和運行過程中的有害內容。與最先進的模型相比,這些策略在翻譯中減少有害內容的比例高達 20%。

除了 SeamlessM4T,Meta 還釋出了多種支援語音與文字分析的 AI 系統。未參與此次研究的愛沙尼亞塔林理工大學語音處理副教授Tanel Alumäe提到,他和同事已成功利用其中一款工具進行語音的情感識別及早期認知衰退(如阿茲海默症)的檢測。

目前,Meta 正使用 SeamlessM4T 來自動為 Instagram 和 Facebook 上的視頻配音。它還幫助實現 Ray-Ban 智能眼鏡即時將西班牙語、法語或意大利語翻譯為英語的功能。為促進未來語音翻譯技術的研究,Meta 正將與 SeamlessM4T 有關的代碼、工具、庫及其他資源以非商業用途公開。

圖片:istock

T10

Meta將隨機對加拿大用戶進行Instagram和Facebook新聞封鎖測試

【星島綜合報道】Meta計劃在Facebook和Instagram上暫時封鎖部分加拿大用戶的新聞,這項測試預計將在本月持續大部分時間。

據CTV報道,該公司表示,它希望在自由黨政府的網絡新聞法案成為法律時,在永久封鎖其平台上的新聞之前,先解決一些問題。這項法案目前正在參議院審查,該法案要求科技巨頭向發布者支付在線鏈接或重新使用其內容的費用。

這家科技巨頭表示,測試將影響其2400萬加拿大用戶中的5%。

該公司表示,被隨機選中的用戶將無法查看某些內容,包括新聞鏈接、短片和故事,即在24小時後消失的照片和視頻。

Meta表示,他們將隨機選擇部分媒體機構,通知他們有些用戶在測試期間無法查看或分享他們的新聞內容。

星島資料圖

V08

Meta多倫多建工程中心 創2500「高薪」職位

【星島綜合報道】臉書母公司Meta(FB)計劃在多倫多建立1個全新工程中心,作為發展「元宁宙」的1部分,且為多倫多創造2,500個「高薪」職位。

安省省長福特與Meta的管理層,周二(29日)在多倫多宣布這項消息。

福特表示,Meta建造的新工程中心,可於未來5年內,為多倫多創造2,500個「高薪」職位。

Meta表示,大部分職位是以工程為重點,提供辦公室與遠程工作的選擇。

(網上圖片) T02