騰訊多媒體實驗室：讓騰訊天籁“下行最後一厘米”，聚焦打造端到端音頻通信體驗

10月31日，由LiveVideoStack舉辦的以“多媒體開啟新視界”為主題的LiveVideoStackCon 2020北京站如期召開。作為多媒體技術領域的盛會，大會聚焦在音頻、視頻、圖像等技術的探索與應用實踐，覆蓋教育、娛樂、醫療、安防、交通、制造、旅遊、電商、金融、社交、遊戲、智能設備、IC等行業領域。會上，騰訊多媒體實驗室專家研究員肖玮進行了《騰訊天籁：“下行最後一厘米” 音頻體驗提升》主題分享，重點介紹了騰訊天籁如何将經典信号處理技術與深度學習進行有機融合，圍繞網絡下行終端，提升音頻體驗。

  騰訊多媒體實驗室專家研究員 肖玮

  騰訊天籁音頻AI技術，打造端到端的音頻通信體驗

  年初的疫情黑天鵝事件，讓數字通信手段成為了人與人溝通的重要手段，同時也對實時音視頻通信的穩定性和通訊效果帶來了極大考驗。肖玮指出，為了解決實時音視頻應用場景下的各種挑戰，騰訊多媒體實驗室圍繞音頻通信核心體驗的技術和框架進行了多年的探索。在今年9月份舉辦的騰訊全球數字生态大會上，正式發布了“面向實時音視頻應用的新一代實時音頻技術品牌”——騰訊天籁。該解決方案旨在提供實時端到端音頻通信的完整解決方案，緻力于讓用戶在實時音視頻會議時可以“聽得見，聽得清，聽得真”。

  肖玮表示，RTC場景複雜、處理鍊條長;每個節點均會影響用戶的體驗。然而，下行終端側，是最接近于用戶的終級體驗的節點;如果進行合理的設計，可以非常高效地提升用戶的體驗。因此，騰訊天籁提出“下行最後一厘米”音頻體驗提升的概念，将經典的音頻信号處理和深度學習技術結合，設計并實現了基于上下文分析的前向糾錯、丢包補償方案。信源側單獨可抗40%丢包率，整體方案可抗80%丢包率。用戶在弱網環境下的通話體驗可以獲得極大保障。

  基于的騰訊天籁音頻解決方案，騰訊天籁不僅可以讓不同地點、場景、設備終端同時遠程接入，讓遠程線上溝通更加高效，并且還擴展了實時音頻的語音帶寬。與傳統PSTN電話音質相比，使用了騰訊天籁技術後的音頻音質更加明亮、幹淨。同時，整套音頻算法能力也進行了有針對性的優化，可以在用戶多種客戶端進行部署，最終提升了音頻通信的可懂度、自然度、舒适度。

  此外，以騰訊會議為例，肖玮現場展示了基于深度學習的語音增強方案在真實場景中的增強效果。在長達兩分鐘的展示環節，分别演示了地鐵站、菜市場、街道等多種噪聲場景。在這些場景下，騰訊天籁基于深度學習語音增強方案均能提供高質量的處理效果，現場展示獲得現場觀衆的廣泛關注。

  另一方面，肖玮強調了端到端質量評價和認證體系的建立，對RTC場景下的體驗提升也是非常關鍵的。截止目前，騰訊多媒體實驗室已經建立了完整的端到端通話質量評價和認證體系。借助這一體系，騰訊天籁品牌下的各種技術，在産品落地前，均要通過該體系的嚴格測試。此外，在技術的研發過程中，該體系的測試結果，可以給研究人員提供非常重要參考信息，用于方案的打磨和優化。

  從技術到公益，騰訊天籁“技術外溢”的産品力

  目前，騰訊天籁已經在騰訊會議、騰訊雲、全民K歌、微視等騰訊内外部産品、場景中廣泛應用落地，并助力相關應用在音視頻體驗方面取得了良好的用戶口碑。

  不僅如此，在騰訊的一些無障礙項目交流當中，騰訊多媒體實驗室的團隊成員們了解到聽障人士即使佩戴了人工耳蝸，在機場、商場等比較嘈雜的公共環境中，依然面臨“聽不清”的困擾。基于此，騰訊多媒體實驗室聯合國内的人工耳蝸廠商之一—諾爾康(Nurotron)一起展開相關讨論和研究，經過長達半年的技術驗證，從架構上最終确定了“手機伴侶+人工耳蝸”的聯合解決方案。通過多種技術的優化和整合，實現了語音清晰度和可懂度提升40%的效果。經過提升後的信号，傳遞給人工耳蝸後，可以極大改善聽障人士的聽覺體驗，讓聽障人士在“聽得見”的基礎上“聽得清、聽得真”。

  9月27日國際聾人日之際，騰訊多媒體實驗室聯合騰訊公益慈善基金會、深圳市信息無障礙研究會等機構召開發布會，宣布發起“天籁行動”，通過面向公益開發者、設備廠商、NGO及行業免費開放騰訊天籁AI音頻技術，幫助聽障人群解決“聽不清”難題，并邀請歌手周深作為公益大使，呼籲全社會關注聽障人士身心康複，構建信息無障礙環境。

  騰訊天籁行動發布

  值得一提的是，天籁行動并不是一次“普通”的公益實踐，而是騰訊基于“科技向善”的願景，進行體系化、持續性建設的科技公益落地。其背後的驅動機制，正是騰訊技術積累的“技術外溢”，以及技術快速場景化落地的強大産品力。

  作為騰訊旗下的音視頻通信和處理研發團隊，騰訊多媒體實驗室緻力于實時音視頻通信、音視頻編解碼前沿算法研究、音視頻國際标準、計算機視覺圖像處理、端到端音視頻質量評測。其中，天籁技術是其經驗和技術能力積累重要成果之一。

  在5G浪潮下，多媒體的技術和形式不斷發生改變，高效率低延遲的傳輸帶來了更豐富的落地場景。未來，騰訊天籁音頻技術也将會加速接入騰訊旗下金融、政務、教育等行業場景下的實時音視頻需求，讓更多更豐富的場景落地，為用戶帶來極具5G時代色彩的沉浸式體驗。