“海河.爾語”，科技有愛|你的“聲音”值得被更多人看見

　　數據顯示，我國現在約有2780萬聽障人士，每年還有大量聽障新生兒不斷增加中。随着社會的發展和進步，聽障人士的權利意識、參與意識和平等意識都在不斷增強，他們對信息的知情願望、與健聽人士的交流願望也随之增強。盡管随着科技的發展，越來越多的聽障人群可以通過語音轉文字來溝通，然而，手語依然是聾人之間的首要溝通語言。

　　手語是聽障人群交流的一種特殊表達方式和主要溝通工具，以手的動作、手指指式、身體姿态及面部表情的變化為表意或表音手段，進行交際的一種符号系統。不同于聽覺語言，手語是一種視覺語言，由于表達和語法邏輯與健聽人所學習的不同，大部分健聽人看不懂手語的表達。所以，對于聽障人士來說，獲取信息是一方面，他們最渴望的，還是内心的表達，被“看懂”、被“理解”。

　　9月10日下午，天津市人工智能計算中心200P人工智能算力上線儀式在天津市河北區舉行。會上，天津市殘疾人聯合會、天津理工大學、天津市人工智能計算中心、華為技術有限公司聯合簽約，基于昇騰AI算力及昇騰全場景AI框架昇思MindSpore，各方将共同研發“海河·爾語”聾人手語理解大模型，打造更精準的“手語-漢語”翻譯産品，幫助聽障人群更便捷、更準确的表達、傳遞信息，拓寬與外界的交流通道。

　　圖：四方将共同研發“海河·爾語”聾人手語理解大模型

　　天津理工大學聾人工學院是天津市政府和中國殘聯合辦、我國第一所面向全國招收聾人的高等工科特殊教育學院，也是國内最早面向聽障學生開設“全納”(聽障學生進入健聽班級随班就讀、跨學院聯合培養)教育本科專業的高校。該學院在積極探索和構建面向聽障生的融合育人培養體系的同時，也在持續探索如何構建并使用海量手語數據資源，提升聽障人士生活和學習質量，促進聾健融合，通過人工智能技術力量助力國家無障礙建設。

　　圖：天津理工大學聾人工學院副院長袁甜甜介紹手語大模型

　　然而，手語大模型的構建時存在以下難點：1、手語語料庫收集困難，需要熟悉标準的手語的模特示範，專業攝影及視圖處理;2、手語語料數據普遍質量不高，需要多次收集、嚴格比對優化;3、缺少手語語言學語法分析體系，且缺失自動标注智能模型和手語表達的多樣性，需要大量的人工标注和不斷修正疊代;4、單信道手語識别準确率低，多信道手語數據融合難，手語視圖需要結合人物表情、動作幅度、周圍環境等多模态信道。

　　為解決以上難題，天津市殘疾人聯合會、天津理工大學攜手華為TECH4ALL數字包容團隊，依托天津市人工智能計算中心提供的澎湃AI算力，基于華為昇騰AI基礎軟硬件平台，特别是全場景AI框架昇思MindSpore，共同研發“海河·爾語”聾人手語理解大模型，共同緻力于打造更精準的“手語-漢語”翻譯産品。

　　圖：袁甜甜介紹手語大模型帶來的優勢和應用場景

　　“海河·爾語”大模型為國内自主可控聾人手語理解大模型，以聾人手語視圖為藍本，結合動作幅度、速度、人物表情及周圍環境，深度、準确理解聾人手語表達的含義，并轉換為健全人能理解的語音與文字，在國内獨樹一幟。超過百萬的手語數據集将“喂”給“海河·爾語”大模型，經過模型與算法處理，便能高效地生成手語多模态模型，可以支持超過10億的數據标注手語到漢語的翻譯與訓練。

　　未來，“海河·爾語”聾人手語理解大模型研究成果更有望走向更廣闊的社會範疇，應用于智慧城市、智慧教育、智慧醫療、智慧養老、智能出行及公益項目等多個領域。

　　打破溝通障礙，讓生活更有溫度，科技從未停止探索的腳步。聽障人群是我國社會不可忽視的重要組成部分，準确、及時的獲取聽障人士的表達、将信息傳遞給更多聽障人士和健聽人，是我國建設和諧社會、生态文明發展的重要需求。華為TECH4ALL數字包容團隊将繼續攜手更多合作夥伴，共同助力聽障人士更加便捷的融入社會，讓數字世界更平等可持續。