騰訊雲Techo Hub技術巡回北京站聚焦音視頻，用技術打開雲上新“視”界

　　9月11日，以《音視頻技術探索與實踐》為主題的騰訊雲Techo Hub技術巡回北京站活動大幕開啟。疫情之下，遠程辦公、視頻會議、在線教育等模式的應用越來越多，極大地增加了音視頻技術的市場需求。本次活動聚焦音視頻領域，多位技術專家與衆多開發者一起探索了技術如何賦能雲上新“視”界。

　　實時音視頻在泛娛樂行業的落地實踐

　　移動互聯網經曆十年發展，即将步入全真互聯網時代，實時音視頻作為全真互聯網的基礎設施，為用戶提供高并發、低延時、高清流暢、安全可靠的全場景、全互動、全實時的音視頻服務。騰訊實時音視頻(Tencent Real-Time Communication，TRTC)，是基于騰訊21年來在網絡與音視頻技術上的深度積累，以多人音視頻通話和低延時互動直播兩大場景化方案，通過騰訊雲服務向開發者開放，緻力于幫助開發者快速搭建低成本、低延時、高品質的音視頻互動解決方案，在娛樂社交、在線教育、互動遊戲、協同通信、在線醫療、在線金融等場景下都有着廣泛應用。

　　騰訊雲TRTC架構負責人崔立鵬

　　騰訊雲TRTC産品架構負責人崔立鵬老師在演講中表示，TRTC擁有三大優勢：低延時低卡頓，高音質高畫質和全平台覆蓋。

　　TRTC整體架構

　　泛娛樂場景中，用戶對畫質音質要求很高，在畫質方面，TRTC支持全鍊路H.265，實現了同等碼率下的畫質提升。在音質方面，TRTC内置“騰訊天籁”音頻引擎，針對多人、多場景實時通信系統中3A問題(降噪、回聲抑制、增益控制)提供了低複雜度、高魯棒性解決方案，緻力于讓用戶 “聽得見、聽得清、聽得真”。

　　弱網場景下更好保障通話語音質量

　　随着今年6.1日新著作權法的實施，直播場景下的音樂版權成為行業關注的焦點問題。TRTC攜手騰訊雲正版曲庫直通車，于 5 月研發上線了直播互動曲庫。

　　通過音樂上雲,一站式解決了版權音樂在在線直播、語聊業務場景中使用過程中信息安全，精準按量付費的版權方管理需要，和應用方原生化的集成版權曲庫服務，敏捷、小成本的創新，實現自身業務更加快速增長的需求。

　　接下來，崔立鵬老師詳細介紹了TRTC泛娛樂行業的典型應用。如：在線KTV、語音聊天室/語音沙龍、語音互動遊戲、電台FM、秀場直播、遊戲陪玩、多人互動直播、賽事直播等。

　　音視頻内容風控應用實踐

　　近年來，随着國家對互聯網内容安全的持續關注，制定了一系列的法律法規，明确要求互聯網企業采取技術手段确保網絡環境安全健康，内容安全問題已經成為企業的生命線。在音視頻領域中，有效地發現和處置含有淫穢色情、血腥恐怖等違法違規内容對企業健康發展至關重要。

　　騰訊雲研發工程師蔡飛

　　騰訊雲研發工程師蔡飛老師指出，在當前音視頻領域的内容安全風控中依然存在着很多挑戰，比如内容審核維度越來越多，需要滿足更加精細化的運營需求;内容審核标準也不統一，不同業務場景需要運營不同的審核策略;同時新增風險類型需要對海量曆史數據再次審核，對審核系統提出更高的要求。

　　接下來，蔡飛老師詳細介紹了音頻圖文内容識别模型框架、音視頻直播内容風控系統、音視頻文件内容風控系統的詳細架構，以及審核策略定制化調優過程。

　　騰訊雲内容風控産品經過22年的行業審核經驗積累，通過億級的樣本數據的訓練，支持超過300多種審核标簽識别能力，高達95%以上的識别準确率，并提供7*24小時的策略調優，以及彈性擴容支撐大規模識别的需求，為騰訊雲用戶提供實時、精準、高效、易用的内容審核整體解決方案。

　　雲點播媒體處理平台技術實踐

　　雲點播是集音視頻上傳、媒體資源管理、媒體處理、分發加速、視頻分發于一體的解決方案。其中媒體處理是雲點播的一項核心功能，支持如轉碼、截圖、視頻AI、視頻加密等能力。

　　一站式視頻點播解決方案

　　騰訊雲研發工程師顔楚雄老師介紹了媒體處理中離線任務的特點，從模塊設計、算法設計、隊列選型等角度，介紹了雲點播具體如何實現一個公平、可靠、高效調度的媒體處理平台。

　　最後，引出了媒體處理平台在實際運營過程中，出現的容災存在風險、集群利用率低、新業務接入難等幾個挑戰。顔楚雄老師對這些問題的原因和優化策略進行了詳細介紹。

　　騰訊雲研發工程師顔楚雄

　　Xe GPU創新微架構 打造雲遊無界暢玩體驗

　　随着5G、光纖等高速網絡的發展和普及，雲遊戲成為遊戲行業的必然趨勢，也是音視頻技術應用的下一個市場。

　　英特爾(中國)研究中心有限公司視覺雲首席架構師餘志洪

　　英特爾第一代GPU産品是以遊戲作為重點，并且以安卓遊戲手遊、雲遊作為突破口來打造市場。英特爾(中國)研究中心有限公司視覺雲首席架構師餘志洪老師表示，“它并不是追求性能的GPU，而是從低功耗、高密度的思路出發，在一個闆卡上堆疊多個GPU。手遊雲遊是一個成本非常敏感的業務，英特爾第一代GPU在單卡上能支持更多的路數，可以将成本壓的更低。”英特爾把它做成了一個卡上有4個小的GPU，功率隻有150瓦。針對雲遊戲的場景，英特爾與騰訊有緊密的合作，對一些特定場景需求進行了了定制化，在編解碼密度方面也進行了相應的匹配。

　　英特爾(中國)研究中心有限公司視覺雲首席架構師餘志洪老師表示，英特爾研發GPU的思路是以開放的形式提供軟件和生态，因此大部分驅動代碼都是開源的，可以從開源社區得到，在安卓層面進行了定制化，這樣方便貼心的軟件支持在行業裡是少有的。英特爾提供了一整套的軟件，與騰訊一起合作開發了高密度的方案，兩卡可以支持160個實例。

　　H3C XG310采用4個Intel®Server GPU，内置行業的媒體IP和低功耗固定功能塊。使用基于Intel®服務器GPU的卡，供應商可以實現: 與目前的安裝基礎相比，增加了5.5倍的流，同時提高了22%的比特率效率。通過降低準備和分發成本，增加TCO節約。英特爾自研的Xe架構GPU，包括四大級别，Xe_LP、Xe_HP、Xe_HPG和Xe_HPC，其中，HPG面向發燒級遊戲玩家，同時還支持硬件級實時光線追蹤加速。

　　餘志洪老師透露，英特爾前段時間發布了全新高性能顯卡産品品牌------英特爾銳炫(Intel® Arc)，将于2022年上市。Intel®Arc顯卡産品基于Xe HPG微架構設計，其硬件産品将涉及多代，不僅包括首代基于Xe HPG微架構的Alchemist顯卡，還将包括代号分别為Battlemage、Celestial和Druid的後續幾代産品。

　　下一代Overlay網絡架構探索 

　　進入互聯網的下半場即産業互聯網時代，是物的互聯網時代，是以數據為中心的時代，面臨着比以往更加艱難的挑戰，比如人口紅利的終結、流量紅利的終結，但并不代表着超常規高速增長的終結。之前成功的互聯網基礎設施，支撐了互聯網的高速發展，其成功可以總結為OSI分層模型成功，TCP-HTTP協議大放異彩。但是在産業互聯網時代，日益增長的數據量級、分發效率低下、用戶數據主權意識覺醒等因素的影響，使得隻能客戶端訪問服務端的C/S、B/S架構不再适用産業互聯網，需要有新的網絡架構來支撐。

　　騰訊雲專家工程師張鵬

　　騰訊雲專家工程師張鵬老師認為，新的網絡架構首先需要更低廉(To B領域)、更高效，并且更容易使用，還需要打破架構束縛。當今，所有的數字化基本上都是經過雲中轉而産生的數字化。數據經過雲中轉能并不能覆蓋現實世界所有場景，世界應該很複雜，靠關系數據其實能做的還是很少的，最适用的行業再回頭來看，僅有社交、電商、内容傳播和數據錄入/管理等領域。架構需要打破隻能雲中轉的方式，從而達成更加分布式的網絡。新的網絡架構還要結合5G，但是邊緣服務器無法部署到每一個5G基站，所以還要依賴連接上的進一步解放，盡量讓同一個5G基站的設備相互連接訪問，提供就近服務，就能發揮5G巨大的優勢了，這才是5G的正确使用方式，而這方面對等網絡技術正當時。

　　張鵬老師表示，未來的數據很可能不會存放在公司的雲數據中心，而是托管在各種各樣的小的銀行保險箱裡，或者社區性質的存儲箱中，存儲數據上反壟斷，應用産生的數據主權不是屬于應用本身，而是屬于個人，而且分發訪問速度更快，存儲成本更低。直播這個形态就非常具有代表性：媒體内容例如圖片、文字、視頻等資料存放在雲上，雲服務商擁有控制權，在直播形态下，雲服務供應商卻無法再對直播有的控制權，主播下線就是下線了，雲想讓直播内容續上都沒法子，主播對直播内容有主權。

　　最後，張鵬老師詳細介紹了網絡、存儲、計算三大落地實踐，當然終究離不開以雲為基礎，為此騰訊雲推出了RT-ONE三網合一。

　　以雲為基：三網合一，RT-one助力

　　RT-one整合了騰訊雲實時通信網絡(TRTC)、即時通信網絡(IM)以及流媒體分發網絡(CDN)三張網絡，是完整的音視頻通信PaaS平台構建基座。

　　智能語音技術在新居住領域的應用

　　智能語音是指一種以語音信号識别為基礎，搭配自然語言處理和對話管理技術，将語言輸入信息提取、分析，最終通過語音合成或文字等方式輸出并完成響應的人機語言交互技術。智能語音技術是人工智能的核心基礎技術之一，在人工智能技術中占據重要地位。權威數據顯示，2019年智能語音占據我國人工智能22%的市場份額，僅次于已經大規模商用的機器視覺。經過多年的發展，智能語音技術已經進入落地期，智能語音助手、智能音箱等産品也相繼落地。在消費級市場，語音應用立足于個人日常生活，主要應用場景包括智慧生活、智能家居、智能辦公、智能駕駛等。在企業級市場，語音應用服務于特定場景，如智慧醫療、智慧教育、智慧電信/金融/電商等。而在新居住領域，語音應用主要應用于智能家居、智能客服場景中。

　　貝殼找房語音技術負責人鄒偉

　　貝殼找房語音技術負責人鄒偉在演講中表示，智能家居的目标是實現全屋産品的智能化，智能音箱、掃地機器人、智能電視等都是人們生活中經常使用的産品，這些産品可以進行語音交互，實現智能中控。這些智能産品、智能硬件首先通過信息音頻，進行語音處理，語音喚醒，之後進行語音識别，通過語音理解來識别請求，比如詢問天氣，通過對話管理和用戶進行交互，之後進行語音合成，通過語音的方式和用戶交流，形成語音全鍊路。

　　接下來，鄒偉老師還詳細介紹了智能客服應用。

　　智能客服技術架構

　　騰訊視頻雲明眸技術演進之路

　　随着顯示設備分辨率的增大，大衆對于超高清視頻的訴求越來越高，但是視頻的制作和生産端常見的分辨率還是1080P，對于廣電行業來說，急需使用AI技術将原來不夠清晰的視頻轉換成超高清視頻，進而真正達到了4K的人眼感官。對于廣大互聯網企業來說，在直播、短視頻突飛猛進發展的情況下，帶寬和存儲成本飛速的增加是一大難題。同時，對互聯網行業客戶來說，視頻播放的流暢性也是用戶體驗的重要衡量标準。因此，基于AI的高清低碼和畫質增強等能力越來越受到行業内客戶的關注。

　　騰訊雲研發工程師劉兆瑞

　　騰訊音視頻AI産品解決方案-騰訊明眸，可以實時對視頻流進行識别，并進行AI化處理。騰訊明眸包含“極速高清”、“視頻超分辨率”等産品，其中，極速高清能在保持視頻清晰度的情況下，相對于普通轉碼提升40%的壓縮率，畫質重生能大幅提高視頻的人眼感官，為在線視頻、泛娛樂直播、短視頻等行業助力，可有效節省帶寬資源，提升觀看體驗。

　　接下來，騰訊雲研發工程師劉兆瑞老師詳細介紹了極速高清演進之路和畫質修複演進之路。

　　音視頻内容風控中的AI實踐

　　在信息爆炸的時代，每天都産生大量的數字化信息，但其中包含了很多不良内容，這極大地影響社會良性發展，内容淨化迫在眉睫。在内容風控領域采用AI技術可以極大地減少人力的投入，幫助企業降本增效，為健康内容保駕護航。

　　騰訊安全應用研究員周維聰

　　各式各樣的場景産生的信息歸根結底以音、視、圖、文的形式呈現，而内容風控産品就以音、視、圖、文技術為基礎，向上構建整體的審核能力。内容風控面臨的挑戰與困難有：強對抗，各形式的内容存在大量對抗變異、多模态結合;不同業務場景上的标準不同，需要能靈活響應不同場景的策略;有些業務場景複雜，存在長尾問題;時效性，能對新增風險快速響應。

　　騰訊安全應用研究員周維聰老師在演講中詳細介紹了圖像視頻風控、音頻風控、文本風控的具體實現之路。周維聰老師表示，在内容風控中，各模塊之間的适配銜接需要優化，對于噪音、背景音、遠場下的ASR準确提升等疑難問題要重點解決。多模态技術的應用探索可以提升各類審核效果，同時需要對抗生成技術的應用，增強對對抗樣本的審核能力。

　　至此，騰訊雲Techo Hub技術巡回北京站圓滿結束。接下來，活動還将走進成都、杭州、上海，為更多開發者帶來學習、交流的機會!