眺望全真互聯時代！TVP音視頻技術閉門會閃耀上海

　　引言

　　2020年7月17日，“全真互聯網中的聲與影” 騰訊雲TVP音視頻技術閉門會完美收官。TVP技術閉門會，是為騰訊雲TVP打造的專屬技術閉門研讨會，旨在提供一個開放、平等、知無不言的交流環境，便于TVP針對熱門技術話題、前沿科技、技術管理等話題進行深入探讨，促進TVP之間，TVP與騰訊内部團隊之間的相互交流與學習。

　　25位騰訊雲TVP專家及騰訊專家齊聚上海騰雲大廈，開啟騰雲之旅，在精彩紛呈的技術分享與觀點交鋒的熱點話題探讨中，共話音視頻領域前沿趨勢，描繪全真互聯網時代的發展藍圖。

　　參會TVP專家與騰訊專家合影

　　視頻生成與合成技術的新進展

　　線上會議、在線教育、電商直播等多個場景的興起，使得視頻實時生成技術從幕後走到台前，受到了更多的關注。上海交通大學圖像所副所長、騰訊雲TVP宋利，從學術界的視角，帶來了《視頻生成與合成技術的新進展》。

　　上海交通大學圖像所副所長、騰訊雲TVP 宋利

　　在分享中，宋利首先對音視頻技術發展的整體趨勢做出了高屋建瓴的解讀——技術飛速發展，已從傳統的視頻編解碼處理，向合成、生成、創造進化。圖形學+計算視覺+深度學習的綜合開啟了新思路。

　　随後，宋利分享了基于生成模型的視頻編解碼、圖像和諧化、自由視角、視頻的深度特征表達等四項前沿技術的研究成果。

　　基于生成模型的視頻編解碼：針對視頻會議等背景和姿态較為固定的場景，在編碼端隻傳輸人臉關鍵點信息;在雲端建立關鍵幀池，根據視覺敏感性将人臉分為敏感區域和非敏感區域，分别進行特征提取;在解碼端利用生成對抗網絡生成目标視頻幀，可實現高質量，低帶寬的編解碼方案。

　　圖像和諧化：其核心思想是從背景中深度學習特征，将它應用到前景特征上，同時也讓背景從前景中學習，從而生成在色調、亮度、飽和度等視覺特征上更和諧的組合圖像。

　　自由視角：是指在場景周圍架設多台攝像機采集視頻流，使得用戶可以平滑無縫地選擇觀看視角，獲得仿佛在現場自由穿梭的新體驗。目前常用于體育賽事、綜藝表演等，比如在今年的東京奧運會轉播中就有應用。随後，宋利詳盡地解析了自由視角的三種技術實現路線：DIBR、3D模型以及NeRF。

　　視頻的深度特征表達：最後，宋利還介紹了特征域處理如何為傳統視頻帶來無限表達自由，包括從壓縮圖像中學習的視頻生成、視頻下一步行動預測、基于關鍵幀的視頻風格化以及視頻任意倍率超分。

　　全真将至，5G先發

　　全真互聯的實現，涉及到多層面的因素，雲、終端、應用等等，網絡是其中重要的一層。那麼5G時代的到來，将為全真互聯網帶來怎樣的機遇?騰訊雲通信副總經理王軍帶來了《全真将至，5G先發——從5G看全真互聯網時代》主題分享。

　　騰訊雲通信副總經理 王軍

　　在演講伊始，王軍首先分享了從5G視角對全真互聯網的深刻理解：

　　1.全真互動。以遠程操控為例，全真互動希望達到的目标是操作流暢，從視聽和觸覺上都能獲得如同現場操作般的真實體驗。

　　2.沉浸感知。以VR為代表的沉浸式體驗。

　　3.數字孿生。

　　要實現全真互聯網的體驗，在網絡層面有着兩大核心訴求——低時延、高帶寬。而5G浪潮的爆發正在為全真互聯創造廣闊可能。王軍指出，到2023年底，國内5G可基本覆蓋所有鄉鎮和重點鄉村;今年上半年，國内5G手機出貨量超億部，由此預估2023年在C端，國内5G手機普及量有望達到5-8億，B端的企業級服務也将不斷拓展。

　　那麼，快速發展的5G技術與音視頻技術的結合将帶來哪些應用機遇?王軍提出了以下落地場景：

　　1.遠程實時操控。基于騰訊雲音視頻多年積累的成熟技術TRTC及遠程實時操控産品TRRO，提供5G網絡下低時延的遠程實時操控能力，可廣泛應用于無人礦車、港口集卡、鋼鐵天車、乘用車無人駕駛等場景。

　　2.VR雲遊戲。将計算放到雲端，個人邊緣雲主機，按時計費。

　　3.全球端到端加速體系。在網絡負載重或網絡質量差的環境中，騰訊雲加速産品可提供低時延與大帶寬的保障。

　　4.規模化、多樣化的邊緣基礎設施。包括面向廣域的邊緣公有雲與面向本地的邊緣私有雲。

　　在QA環節，王軍和現場的TVP專家還就5G在遠程醫療及自動駕駛領域的應用、移動網絡與WIFI的穩定性、5G CPE等問題展開了熱烈的探讨。

　　全真互聯時代下的多媒體技術

　　多媒體技術是全真互聯網最為大衆廣泛而深刻感知的技術。騰訊多媒體實驗室産品副總監、專家工程師葉聰，以《全真互聯時代下的多媒體技術》主題分享，帶現場嘉賓深入走進全真互聯背後的多媒體技術。

　　騰訊多媒體實驗室産品副總監、專家工程師 葉聰

　　在葉聰看來，全真互聯網的實現有兩個維度，一是在連接層面變得更全面，二是在呈現與交互層面變得更真實。

　　1.在連接層面，從消費互聯網時代的人與人，人與信息/服務連接，到産業互聯網時代的萬物互聯，再進化為全真互聯網時代，虛拟世界出現。人、信息/服務、物在虛拟世界的副本與真實世界可以任意相連。

　　2.在呈現層面，視覺上發展到與沉浸式相關的體驗如AR、VR。聽覺上發展到全景音。在交互層面，目前行業努力推進的是語音、肢體動作的識别交互，下一代會往腦機接口探索。

　　而随着全真互聯體驗要求的不斷提高，其背後的視頻編解碼、視頻處理與沉浸式技術也在快速發展。

　　編解碼技術上，葉聰将編解碼技術與标準的進化史娓娓道來，從早年的MPEG-2到如今的VVC，演進的過程也是中國企業技術話語權不斷增強的過程——目前騰訊有數百項提案得到VVC标準的采納，位列世界第三。目前騰訊雲音視頻旗下轉碼及相關媒體處理應用已支持的編解碼标準H.266/VVC。

　　視頻處理技術上，展示設備會向着8K高清、10bit色彩、高幀率發展。相應的素材也需要進行去壓縮失真、色彩修正、去抖動等優化處理。葉聰以一個效果視頻展示了騰訊雲多媒體實驗室在視頻處理上的能力。

　　沉浸式技術上，目前有兩大方向：

　　1.3DoF，如VR360度視頻，難點主要在于高維采集數據的傳輸，可用切片的方案解決。實驗室打造的VR技術，在騰訊雲臨境沉浸式媒體解決方案上也得到了出色的運用。

　　2.6DoF，如步入式VR360視頻，數字孿生方案等等。

　　在分享的最後，葉聰介紹了3D點雲的概念，其優點在于高度精細化地描述3D對象。騰訊的點雲平台結合SFM、深度學習等技術，可将現實場景虛拟化重建，應用于線上看房、文物原貌重現、自動駕駛等領域。

　　技術論道

　　在幹貨滿滿的技術分享過後，迎來了思想火花迸發的技術論道環節。主持人，騰訊專家研發工程師劉連響提出了三個頗具深度的熱點話題，現場嘉賓以小組讨論的形式，對各個話題展開了充分的讨論，在熱烈的交流中碰撞出衆多精彩的觀點。

　　騰訊專家研發工程師 劉連響

　　開源與商業之間的關系?

　　開源與商業間的關系，是現場讨論最為激烈的話題。專家們結合自身經曆，從多個角度探讨了開源的驅動力、價值、與商業間的平衡點等等，帶來了充滿啟發性的多元觀點。

　　熱烈的小組讨論

　　1.從系統層次看開源：峰暢科技聯合創始人及CTO、騰訊雲TVP段先德認為，在不同層次的系統中，開源與商業的關系有所不同。在基礎系統層次，如數據庫框架、基礎應用部件等，主要由開源的技術動機驅動;而在業務場景層次，商業力量則比開源的驅動力更強，業内不乏成功的商業變現案例。

　　2.從主導動力看開源：福強科技CTO、騰訊雲TVP王福強提出了辯證性的新視角——當前，開源也成為了技術營銷的一種手段。騰訊雲多媒體平台公共技術負責人趙軍則進一步對這一觀點展開了探讨，即可以根據主導動力，将開源劃分為社區/個人主導的開源，與商業公司主導的開源。對于商業公司主導的開源，趙軍認為，把握好開源初心與商業訴求之間的平衡點非常關鍵。

　　3.從動機與價值看開源：FFmpeg官方源代碼維護者、騰訊雲TVP劉歧發表了獨到的見解，根據動機，他将從事開源的開發者劃分為三類：(1)出于愛好從事開源，将開源作為個人發揮社會價值的方式。(2)為了資本追趕開源風口，在投資的風潮過後，開源項目就無法持續。(3)通過開源提升個人影響力，以獲得更好的職業發展。其價值可總結為個人在社會的價值、在資本方的價值以及在公司的價值。

　　4.從商業和公益看開源：盛派網絡CEO兼首席架構師、騰訊雲TVP蘇震巍指出，開源是在商業中成立的向善循環——通過将産品與技術開源，企業可以吸收社會的資源，讓其他企業用戶幫助發現問題，解決問題，從而推動自身商業模式的不斷完善。

　　全真互聯網的第一個落地應用會在哪裡?

　　對于全真互聯網的未來落地應用，遠程教學是專家們普遍看好的場景，包括醫療領域的手術教學，以及開飛機的駕駛教學。其價值在于能夠避免操作失誤而造成的災難性後果，同時又能降低培養人才的成本。

　　技術的發展将為全真互聯網帶來哪些機會?

　　伴随着超高清和XR等技術的發展，以及5G大帶寬、低時延和邊緣分流等能力的成熟，B端和C端的全真互聯網應用将湧現出哪些機會?專家們認為，無人化是蘊含着商業機遇的方向。低時延将進一步促進遠程操控的發展，如汽車、機器、廠房的遠程操控。

　　結語

　　本次“全真互聯網中的聲與影”騰訊雲TVP技術閉門會在開源與商業的激辯中落下了帷幕，嘉賓們對于技術的探讨卻一直延續到晚宴環節也未曾停歇。聲音需要碰撞方能激發嶄新的思考;視角需要交換才會拓寬認識的邊界，這是這場音視頻盛宴在前沿技術之外，給予我們的更深刻的啟迪。

　　TVP，即騰訊雲價值專家(Tencent Cloud Valuable Professional)，是騰訊雲授予雲計算領域技術專家的一個獎項。TVP計劃緻力打造與行業技術專家的交流平台，構建雲計算技術生态，實現“用科技影響世界”的美好願景。