有“聲”聚一堂|RTE 2021 編程挑戰賽圓滿收官

　　6 月 12 日，由聲網Agora 與環信聯合主辦的“RTE 2021 編程挑戰賽”圓滿落幕。從 200+ 支參賽隊伍中沖出重圍的 46 支決賽隊伍用精彩的答辯為曆時 2 個多月的大賽劃下了圓滿的句号。

　　今年的“RTE 2021 創新編程挑戰賽”共分為 2 個賽道：應用創新賽道延續了「使用聲網Agora SDK 開發應用」的賽題;技術創新賽道開發者可以「利用聲網雲市場插件接口，開發自研插件與功能演示 Demo」。

　　盡管此次的賽制與賽題對參賽隊伍提出了更高的要求，但同時也為大家提供了獨有的技術創新空間。相較去年而言，兩個賽道的報名隊伍及提交作品幾乎都是去年的一倍。

　　本次大賽的決賽和頒獎都是通過 Agora Video Call App 在線上進行的，全程通過 B 站進行了直播。 最終，決賽共誕生了應用創新賽道的一、二、三等獎團隊各一名，“環信專項獎”一名，以及“獎” 六名;技術創新賽道“技術創新專項獎”一名，“獎”一名。

　　應用創新賽道

　　一等獎：Agora Home AI

　　随着智能設備性能提升和網絡的快速發展，以音視頻為基礎的智能硬件也正在蓬勃發展中。跨品牌、跨産品的設備管理也成為萦繞在用戶日常使用中繞不開的一個話題。

　　「Agora Home AI」 系統以智能家居為主題，使用雲信令 SDK 實現了IoT 設備遠程控制。同時，通過聲網Agora RTC SDK 實現人與機器的 1V1 視頻，将機器人端采集到的視頻發送至 PC 控制中心，進行 AI 智能檢測，觸發事件響應。

　　系統采用開源了 Yolo V3 算法進行各種視頻數據的處理，支持 C#、C++ 調用;Unity 3D、VS 系列開發。目前已支持 Yolo 基礎 80 種物體識别、安全帽識别、冰球識别文件等。采用聲網提供的雲信令 SDK 進行遠程設備控制，構建群組房間進行消息實時通信，支持通過自定義協議進行智能硬件的控制。

　　「Agora Home AI」可以幫助用戶實現可穿戴設備、智能家具設備、視頻監控設備接入何控制。包括智能燈光、智能門窗、智能門鎖、智能安防、智能手環監測、智能家電控制等配套産品，讓用戶實現多種品牌的智能設備在統一的交互平台内互聯互通、統一管理、智能聯動。為給用戶創造更舒适、更安全、更節能的家居生活環境。

　　二等獎：Agora FIow

　　獲得第二名的作品「Agora Flow」是一個基于聲網+環信 SDK 搭建的音視頻 Low Code Web 共享編輯器。

　　作品的靈感來源于在使用聲網Agora SDK 的過程中，創作者一直在思考關于音視頻服務除了以 SDK 的形式啦哎提供服務和為開發者賦能外，還有沒有别的形式呢?Low Code 就是這樣一個可能的解決方案。将音視頻相關功能進行模塊化集成，提供一個圖形化界面，讓開發者可以用做 PPT 的形式來完成想要實現的功能。

　　作品通過聲網的音視頻傳輸及雲信令 SDK 産品，提供了基于 Web 的集成了 RTC Chat SDK 的模版工程，通過 CodeGen 來生成配置項。實現了在線流程圖編輯器 Low Code 項目的自動生成。作品中的一切的操作幾乎都可以通過拖拽來完成。

　　有開發者開玩笑說，這次的大賽作品很多都是開發了一個 App，而「Agora Flow」則是做了一個幫助開發者能更好開發 App 的項目。

　　三等獎：都市探險家

　　「都市探險家」項目是一款利用地圖 LBS + 雲信令 SDK + 實時音視頻構建的社交産品。這款産品為想要尋找共同愛好的新朋友并一起在都市進行旅遊、探索的小夥伴而設計。

　　産品的使用十分簡單便捷，用戶注冊登錄後，通過 LBS 地圖會自動更新用戶所在位置，隻要點擊“發起任務”并選擇“探險”人數，用戶就可以與小夥伴進行一次全新的都市探險啦。

　　對于 RTE 場景而言，産品中實現了多人語聊房場景。并且，通過雲信令 SDK 的使用結合了實際的業務場景，對于當下的語聊房場景進行了拓展。 産品未來也會接入視頻聊天的功能，讓沒有辦法即時出行的小夥伴也能共同參與到城市的探險當中。

　　環信專項獎：忘憂館

　　「忘憂館」是一個很有溫度的作品，希望可以幫助現代生活中的人們通過彼此傾訴忘掉煩惱、解除憂愁，傳播正能量。

　　這是一款陌生人社交 App，包含信息流。結合了幾種最常見的社交産品形态，包括文字聊天，通話等等。讓一些不方便與親人和朋友訴說的煩惱，可以在和陌生人交流時找到共鳴與安慰。

　　獎：Vchat

　　「Vchat」利用人臉骨骼識别和雲信令 SDK 實現了虛拟 3D 角色的實時通話。使用 tensorflow.js 的 WebGL 引擎作為後端，使用現有開源的人臉識别模型通過攝像頭識别人臉的位置以及五官的狀态。再通過 Three.js 和 Vrm.js 将人臉數據實時更新到虛拟的 3D 模型上。

　　在視頻部分，通過實時消息 RTM SDK 将人臉骨骼數據實時傳輸到頻道中讓其他用戶訂閱還原人臉。而語音部分則是通過 RTC SDK 将聲音進行實時傳輸并讓用戶進行訂閱。可實現同步換臉、變聲聊天等功能。

　　除了上述的「Vchat」以外，還有「靈動課堂答題組件」、「Agora X-Runtime」、「Weln」、「歡信(bla-bla.app)」、「智能AR毛筆臨摹教學系統/CopyTeachWorks」作品獲得了此次大賽“應用創新賽道”的獎。關于這些的作品可能沒有辦法在這裡跟大家一一呈現，感興趣的小夥伴可以前往我們的 Github 倉庫進行查看。

　　技術創新賽道

　　技術創新專項獎：人臉識别

　　「技術創新專項獎」是為“技術創新賽道”專門設置的一個獎項。獲獎作品是一個在 iOS 平台上使用使用 AgoraEngineKit2 開發接入一個基于 C++ 語言封裝的「人臉識别」插件。

　　作品通過 TYSMExtensionManger 類與對外交互，對内則處理插件實現的相關邏輯。将 IExtensionProvider、IVideoFilter 和自己的開發的 Processer 都放在同一個地方。用 framework 方式對外公開兩個文件，既方便開發者查閱，同時也可作為作為參數傳遞，增強代碼可閱讀性。

　　該插件可以支持人臉檢測、追蹤、以及多臉的追蹤識别，對臉部輪廓、眼睛、眉毛、鼻子、嘴巴等識别到的區域以 3D 點狀作出反饋。

　　獎：Water Mask

　　「Water Mask」項目是“技術賽道”中的參賽作品，通過在聲網 SDK 的視頻采集或者播放環節，在 YUV 域上或者編碼後添加圖片或文字類型的隐性水印。

　　隐性水印(盲水印)添加後，用戶不能直接看到視頻中的水印信息。在保護視頻發布者版權的同時，也保障了用戶的視頻觀看體驗。未來，「Water Mask」還希望在音頻處理上，可以擴展聲紋水印，在視頻版權追溯、認證防僞等場景為行業帶來更多、更好的體驗。

　　以上就是本屆 「RTE 2021 編程挑戰賽」的部分獲獎作品及團隊情況。關于本次挑戰賽的更多作品情況将開源在 Github，感興趣的小夥伴可前往進行查看。

　　獲獎團隊除了會得到本季度大賽獎金，還可以申請進入聲網Agora 招聘綠色通道，以及在一年内享受創業支持計劃的福利。