近日, GSXR重要成員NOLO在其自媒體賬号發布了其關于手勢識别技術的演示片段。從視頻内容可以看出,工作人員佩戴NOLO即将發售的設備NOLO SONIC 2,裸手流暢的進行點、按、捏、拖拽、滑動等動作。NOLO官方表示該項技術不僅搭載于NOLO SONIC 2設備,還将對外開發合作。憑借更加自然和直觀的操作方式,NOLO的手勢識别技術将作為GSXR标準下交互輸入的技術方案的新範式補充。
2021年3月,由中國移動牽頭,聯合産業夥伴發起的中國XR通用标準(GSXR)正式對外發布,并在CCSA擴展現實産業及标準推進委員會引領下在産業中快速推廣,該标準旨在構建起中國的XR跨平台互通體系,使得行業參與者基于該标準開展硬件、平台、内容開發,即可确保所開發的軟件應用均可運行在針對該标準做過适配的硬件上。此标準的正式施行極大的降低了XR軟硬件适配難度,加速推動了行業發展。
GSXR标準的正式實施,不僅為XR行業提供了通用接口規範,降低了開發者接入成本;同時将軟件功能集成SDK的形式,服務于XR行業。
騰訊搜狗輸入法正是通過此種路徑成為GSXR标準内「中文輸入」解決方案,也是标準内重要的人機交互解決方案之一。騰訊搜狗輸入法為XR系統提供專屬、智能和高效的語音輸入和鍵盤輸入模式,還能根據系統輸入框類型匹配多形态鍵盤。其中行業首創的語音輸入,讓用戶解放雙手,動動嘴就能打字;搜狗通過軟硬件結合的方式進行創新,優化手柄輸入體驗,提升輸入效率;結合手勢算法能力,還可進行裸手輸入,讓用戶體驗到更沉浸,更智能的輸入方式。當下搜狗VR輸入法已服務于中國XR行業的硬件産品,并在中國移動 x NOLO聯合品牌VR終端中作為基線産品實現應用落地。
NOLO發布的手勢追蹤技術同樣基于GSXR标準協議研發,開發者可以通過GSXR的通用API接口,使用XR特性模塊中的手勢識别、骨骼節點、捏合姿态、手部追蹤等功能用于XR應用開發。同時,為了方便開發者快速上手開發XR應用,GSXR提供了Unreal SDK、Unity SDK詳細的說明文檔以及論壇讨論功能。對接完畢後,用戶可在XR設備内實現裸手進行點、按、選擇、拖拽等更加自然和沉浸的操作。
提及該項技術的研發過程,NOLO相關技術負責人表示:“NOLO技術團隊憑借人工智能的深度學習技術,借助真實手部圖像和3D生成手部圖像進行數據融合訓練。用數百萬張手部圖像訓練了一個專門的深度神經網絡,其中手腕和手指擁有3D空間位姿;由此生成的手勢數據通過GSXR協議傳輸到3D圖形引擎渲染,再顯示到VR眼鏡中,最終達成了現實世界和VR世界的手勢同步。同時為了保證識别的實時性,NOLO深度優化網絡結構,保障在骁龍XR2芯片上單幀識别速度達到5ms以下;深度學習算法通過動态提取多幀數據中的手勢信息,提高動作連貫性,以此達到流暢絲滑的識别效果。”
對于該項技術是否對外開放,NOLO相關負責人表示:“該項手勢追蹤技術除了用于NOLO SONIC 2,以不斷豐富用戶的體驗感受。作為GSXR工作組的一員,我們持開放的态度,将此技術合作開放給CCSA擴展現實産業及标準推進委員會的成員,助力中國XR産業的快速發展。”
GSXR标準已執行2年,CCSA擴展現實産業及标準推進委員會将進一步推動擴展現實标準實施與落地,研發适合産業發展的測試解決方案,開展産品的測試認證,探索新應用模式,服務應用開發者,建設健康可持續的産業生态。接下來,中國移動(終端公司及咪咕文化)将依托GSXR統一标準,彙聚全領域内容,提供“标準-内容(應用)-平台”的一站式服務,打造“一個平台、N個内容資源、N個應用服務”的“1+N+N”服務體系,對外開放XR通用能力,提供端到端的解決方案。從标準、内容、終端等多方面,構建全領域XR矩陣,将XR技術賦能應用在教育、醫療、工業、體育、演藝等多個領域與場景。并以開放的态度,與産業夥伴一道共同建設健康的XR大生态,助力中國XR産業快速發展。
免責聲明：本文僅代表作者個人觀點，與每日科技網無關。其原創性以及文中陳述文字和内容未經本站證實，對本文以及其中全部或者部分内容、文字的真實性、完整性、及時性本站不作任何保證或承諾，請讀者僅作參考，并請自行核實相關内容。
本網站有部分内容均轉載自其它媒體，轉載目的在于傳遞更多信息，并不代表本網贊同其觀點和對其真實性負責，若因作品内容、知識産權、版權和其他問題，請及時提供相關證明等材料并與我們聯系，本網站将在規定時間内給予删除等相關處理.
