火山引擎揭秘：抖音上最火的特效玩法是這樣做出來的

　　随着人們文化娛樂消費的逐年增加,泛娛樂社交行業也迎來了爆發式增長。同時,雲計算、人工智能、5G、物聯網等新一代信息通信技術的快速發展,以及硬件技術的變革,都為泛娛樂産業帶來廣闊的發展機會。在新一輪娛樂社交賽道的角逐中,成功的機遇藏在哪裡?

　　近日,在網易智企主辦的MCtalk泛娛樂科技峰會上,火山引擎AI組計算機視覺方向負責人範青發表了主題為《AI智能互動美化促進内容生産與創新》的演講,分享了字節跳動多年來在“引擎+CV算法”與互動娛樂場景的結合與落地經驗,以及智能互動美化作為增長工具服務企業的技術能力。

　　以下為範青演講全文:

　　大家好,我是來自字節跳動火山引擎AI組計算機視覺方向的範青。今天是一個泛娛樂峰會,我想先跟大家分享一下在娛樂方向上我們所做的工作。

　　首先我想介紹一下我們的火山引擎AI計算機視覺團隊,我們是面向企業的智能技術團隊,可以通過火山引擎把字節多年沉澱的有經驗的組件提供給企業的開發者們,6月10日有一場火山引擎的品牌發布大會,歡迎大家關注。

　　場景篇

　　我想從的場景切入正題。字節跳動是一家擁有多産品矩陣的公司,在很多的業務場景下都落地了互動美效的功能,比如大家很熟悉的抖音上的,像國漫動畫風,日漫動畫風以及虛拟人相關的,在我們的業務裡面随處可見。

　　以抖音為例,作為内容平台,消費者同時也是生産者,想提升平台的活躍度,一方面需要把消費者轉化成生産者:我們的智能視覺和智能創作就可以助力用戶以低門檻高效率的方式生産内容;另一方面,在消費端通過推薦算法進行精準的内容分發,提升視頻的消費,從而形成生産和消費的閉環。字節的算法能力大家也比較了解,我就不贅述了。

　　在直播場景,分為開播端和觀衆端,開播端的主要用戶是主播,對主播而言,刷禮物是直接的直播收入來源。我們的能力可以幫主播定制化禮物,比如可以生成帶有主播照片的禮物,給主播進行排面展示。這種定制化的禮物在排行榜上同級别禮物中銷量排名前二,購買率非常高。

　　同時,直播場景觸發雲渲染的技術,現在還是有非常多的下沉市場用戶使用的手機配置較為有限,為避免用戶因終端算力的問題而影響了互動的體驗,我們也做了一些研發的工作,使渲染工作在雲端上完成。

　　另外,也有一些主播不願意露臉,Animoji虛拟形象功能可以貼合主播自身的形象,上線之後也得到了非常好的用戶收益。

　　最後是觀看體驗上的提升,我們采用自研的算法實現自适應銳化,讓觀看端以高清檔位(720P)自适應的方式觀看,使整個畫質更加透亮清晰,從而提升觀感。

　　在短視頻的場景下,抖音上近期投稿火熱的玩法是“芳心收割攻略”,這個是與運營聯動實現的,通過運營的同學運營起來,有相關的用戶參與和相關的熱點,才能發揮的價值。

　　另一個近期的爆款是用到了生成對抗網絡算法的“隻有淡妝”,這個隻上線了18天就在抖音的内部評級達到了“S”級,這是近半年來比較明顯的成績。

　　除此之外還有地标AR,這也是我們在商業化的探索,我們對成都IFS(國際金融中心)的建築物做了的附着,整個流程涉及到了采集、雲端渲染等相關的能力去進行展示,這個實踐也能夠融合到文旅方案,為旅遊産業,或者是博物館帶來一些體驗和商業上的升級。

　　此外,在一些泛互娛樂場景下,比如在線教育,瓜瓜龍英語的趣味遊戲功能卡能讓年紀較小的孩子在初級體驗課裡展示自己的學習成果,這個功能卡片的受歡迎度排名第二,孩子們非常喜歡用這個卡片和老師互動。

　　還有智慧大屏的應用,現在的電視上一些攝像頭幫助大家進行家庭的娛樂體驗,後疫情時代有很多涉及到健身和電商購物的場景,我們在大屏電視上也做了一些落地,大屏電視的情況比較特殊,因為終端算力本身就不強,它的CPU的能力落後移動手機的一到兩代。在這樣的較極端的終端場景下的落地也是目前在攻克的方向。

　　算法篇

　　講完了落地的場景,我想和大家分享關于的算法,有三個非常重要的關鍵詞——深耕場景、數據驅動、落地為先。

　　大家提到人工智能算法,會有非常多的聯想,我們進行場景的細化,讓算法可以更好的服務用戶,關于算法适配相關的是我們非常關注的點。因為在不同的用戶體驗下,它會分中近遠距離,全身半身,橫豎屏,以及實時、非實時的處理的要求等等因素,都會影響到算法的結果,因為算法本身是一個比較敏感的模型,模型本身雖然适配很重要,或者泛化能力很重要,但我們在不同的場景下有不同的優化,比如說會議場景或者是短視頻場景都會進行不同的模型适配,同時搭配不同的分發策略,這個模型到了大家的手機上也會因為手機的評分去進行不同的模型分發,這是一個非常重的生産工作。

　　在工程優化方面,不同機型的處理能力又不一樣,GPU的表現又不一樣,對于機型的評分我們非常關注,我們工程也要對移動端或者是大屏端進行适配。

　　我們的算法在解決實際問題的時候,也會有不一樣的要求,比如玩法的環節裡面,3D的人臉,就會有口紅的适配、帽子、耳機這樣的場景,在某些場景下帽子的材質沒有那麼重要,但如果這個東西在電商場景下去落地,比如說我想看看口紅的顔色,想看看珠光、啞光什麼樣子,不同的顔色是什麼樣子的,都需要AI的能力非常逼真,算法在不同的場景下也要去做不同的适配,讓它更貼合當下的業務場景。

　　引擎篇

　　我們經常聽到“跨平台聯動”、“熱點追蹤”和“熱點覆蓋”這些說法。做移動端的生意,就必須在你的業務下能轉得起來,能支撐所有的用戶。這就需要多平台支持,需要我們的算法既能落地在App上,也能落地在浏覽器上,同時還可以落地在小程序上。我們需要進行移動端SDK的開發,甚至使用雲渲染這種比較重的方法去解決多平台跨平台支持的問題。

　　3D引擎跟虛拟形象以及智能創作相關,3D引擎剛才也提到了,比如說物理引擎的模拟,比如說動畫系統,比如說粒子,TOF攝像頭,像谷歌和蘋果自己有AR的工具,他們從2D到3D的轉化也做了很多的工作,也許是下一個轉化是使用習慣的改變。

　　内容篇

　　内容也是我很想分享的,除了技術上的東西,其實我們認為,運營是在娛樂場景下可能是最重要的一環。

　　我們生産了非常多的貼紙,生産了非常多的素材,這麼好玩的貼紙和素材都需要有一個平台去支撐它,并且去評估它到底能夠起到多大的作用。我們會有一個平台進行綜合管理,第一個關鍵詞就是平台管理;

　　第二塊是數據監控相關的,這需要多個維度的數據監控,包括熱度,它的衰減曲線,地區熱度,抽象規則,使下一次上線之前有充分的經驗可以借鑒,去評估我們每一個玩法能達到的效果;

　　最後是關于商業化運營,除了提升用戶體驗之外,怎樣才能給企業或者是給産品帶來新的增長。我們的很多業務都有商業化,比如說跟品牌相關的一些貼紙,小遊戲,之前跟肯德基合作過一個射擊遊戲,因為有畫的地方都可以貼logo,每一個明顯的欄都是自然的廣告位,并且這樣的方式是廣告主非常喜歡的,因為廣告的形式真的太多了,像我們這一類的廣告貼紙又能觀測到點擊又能産生實際的效果。

　　工具篇

　　最後我想談談火山引擎的生産工具,生産工具在我們整個的鍊路裡面是非常非常重要的環節。

　　我認為的生産效率對于能不能落地業務起着決定性的作用,在這一個環節裡,我會跟大家分享三個關鍵詞,第一個是提升生産效率,第二個是完善設計生态,最後一個是引擎同步升級。

　　像我們的2D、3D,甚至美顔等如何快速生産,如果需要一個人幹好幾天來生産,是無法支撐業務的。我們自己有一個生産工具,這個工具的底層和SDK都是同樣的引擎,它可以幫助我們的設計師用無代碼的方式,快速地生産一個,比如生産2D,5天生産3D。并且,因為工具是抽象的,我們也可以向外部提供,讓外部的設計師生産了素材之後反哺我們的平台,外部設計師願意在我們的生态上繼續生産貼紙可以實現變現,同時也提升了我們的效率。

　　最後是工具和引擎的聯動,算法創新了馬上會上到引擎。按照傳統的工作流程,一個開發設計師為了對接引擎和渲染之間關鍵點的東西就需要好幾天,是非常浪費時間的。我們的工具就是為了提升生産效率,讓外部的用戶也能使用到我們的工具,得到效率的提升。