如何一鍵變身“奧運冠軍”？騰訊QQ影像中心告訴你

　　在剛剛落幕的東京奧運會上，中國體育代表團取得了38枚、32枚銀牌、18枚銅牌的優異成績。這屆奧運會期間，除了全民熱議運動健兒的精彩表現之外，還有一項神奇的變身活動——「我的奧運奪冠時刻」也在全網發酵，引得網民争相試玩和轉發。

　　在手機QQ的相機功能中，或者天天P圖app中，隻需上傳一張自己的半身照或是全身照，就可以一秒get奧運健兒的同款奪冠時刻，讓衆多網友大呼“神奇”，“玩得停不下來”。

　　在這個變身視頻的背後，是QQ影像中心研發的人體姿态遷移技術。人體姿态遷移技術簡單來說，就是給到機器一副含有人物的圖片和一個目标姿态，之後經過計算将人物轉換為目标姿态的狀态。

　　區别于人臉功能，圍繞人體的GAN生成落地難度較大。在人體動作遷移實現過程中，動作跨度大、像素搬移多、紋理複雜、動作自由度高和自遮擋頻繁等幹擾因素導緻生成指定姿态的人體一直比較困難。目前，主流的人體人體姿态遷移方案有2D warp、3D warp和不依賴warp的解決方案，這三種方式各有利弊，且并未真正落地于實際商業生産應用。

　　三大技術突破，解鎖人體姿态遷移動效新體驗

　　針對現有方案的不足，并考慮在實際應用中，多圖或視頻輸入的姿态遷移方法會使得用戶使用門檻很高，帶來不太好的用戶體驗。QQ影像中心團隊采用基于單圖的3D人體重建結合GAN生成的技術路線。

　　首先，比起主流方式所需要的視頻+在線微調(finetune)模式，QQ影像中心的技術隻需要單張用戶圖就可以完成姿态遷移，并且不需要在線進行模型微調。如此，便能成功将用戶的交互難度大大降低。

　　針對難度極大的3D人體重建，雖然市面上有開源的3D mesh數據庫，比如加州伯克利分校的開源端到端框架HMR，但是效果并不理想。所以QQ影像中心團隊為此專門研發了一套人體3D重建算法，讓整個效果更為流暢連貫。輸入單張用戶圖片，就能得到地人體形狀和紋理，繼而将動态變化的每一幀都轉化到參考幀上，再經過計算制作成。

　　其次，是生成清晰度高，紋理還原度好，支持更高分辨率輸出(1024x1024)。比起原先2D warp、3D warp在逼真程度和清晰度上的短闆，QQ影像中心算法能夠保證其生成質量。其中利用人體分割和背景填充技術，完成目标視頻的背景修補。

　　而針對3D warp圖紋理信息粗糙的現象，則利用GAN網絡來細化(refine)用戶warp圖。具體做法是将用戶信息與warp圖信息在GAN網絡中融合，生成自然的目标姿态用戶圖。在這一步中GAN網絡又分為兩個子網絡，分别是重建網絡與姿态生成網絡。将用戶圖重建，之後生成網絡輸入粗粒度warp圖，之後接受重建網絡的特征圖并進行特征融合，以保證細節信息的準确性，之後特征圖将進入解碼器，融合前景和特征圖，最後得到輸出圖。

　　最後，針對基于3D的技術方案容易遇到動作僵硬的問題，QQ影像中心通過平滑策略、2D點輔助優化等策略，既保證了素材的動作準确性，也使動作更加連貫自然。

　　其實，這次「我的奧運奪冠時刻」變身的爆款出圈并非首例。此前，手機 QQ相機功能中内嵌的熱門AI玩法——漫畫臉，迪士尼童話臉等，同樣出自QQ影像中心團隊。

　　從人臉到人體動作遷移，QQ影像中心持續探索前沿 AI 和 CV 算法，緻力于将前沿的 AI 能力、3D 渲染技術以及先進的玩法賦能産品。團隊在語義分割、目标檢測、分類識别、GAN生成對抗等方面的深厚技術積累，在AI生成領域已進行了很多相關算法的研發和落地工作。

　　值得期待的是，未來QQ影像中心也會帶來更多玩法落地，給用戶帶來更多有趣的科技體驗。

　　關于騰訊QQ影像中心

　　騰訊QQ影像中心(原騰訊光影研究室)是騰訊旗下專注于研究前沿影像處理技術的團隊，在單目深度估計技術、語義分割、目标檢測、分類識别、GAN生成對抗等方面均有深厚的技術積累。團隊一直緻力于探索泛娛樂綜合解決方案，将前沿的AI能力、先進的玩法引擎和3D渲染技術賦能産品，讓視覺創意更多樣，音視頻編輯更智能，社交溝通更趣味。