雲從科技3D人體技術取得重大突破 刷新三項世界紀錄

　　近年來，應用場景的旺盛需求，推動AI領域将技術能力從感知延伸到認知、從2D擴展到3D。

　　3月19日，雲從科技基于單幀圖像的3D人體重建技術同時在Human3.6M、Surreal和UP-3D上創造了的世界紀錄，此次突破将原有誤差記錄大幅降低30%，也是繼去年雲從在3D人臉數據集上大幅刷新紀錄後，再次在此類3D重建技術上取得重要成果。

　　Human3.6M數據集上對比

　　Surreal數據集上對比

　　UP-3D數據集上對比

　　3D重建領域通常以誤差(Error)作為衡量算法能力的主要指标，誤差(Error)就是生成模型與實際圖像的差别。一般來說，誤差(Error)越低，精度越高，意味着技術的性能越好。

　　雲從科技3D人體重建技術全身精度誤差(Surface Error)在Surreal上從75.4毫米降低到52.7毫米，關節精度誤差(3D Joint Error)從55.8毫米降低到40.1毫米，Human3.6M上的關節精度誤差(3D Joint Error)從59.9毫米降低到46.7毫米，技術的執行速度從之前的上百毫秒降低到僅需5毫秒。

　　論文中，雲從科技針對人體具有豐富多樣的姿态和穿着的特點，提出了一套全新的基于人體3D縱深預測的3D信息表征方式。通過對三原色圖像(RGB，不含深度信息)的分析，預測人體的3D形态和姿勢，并用6萬多個點完整描繪人體，從而在人體重建技術上取得速度與精度的雙突破，呈現出來的模型更精細，幀率更是高達到200fps，原本由于受實時顯示限制而無法實現的應用可以一一實現——這将極大地推動相關智能圖像應用的落地步伐。

　　由于對輸入圖像的要求低，使3D重建技術将可以利用普通光學攝像頭作為感知設備。該技術将會使美顔APP無需結構光攝像頭也能具備高精準度的瘦身與動畫合成功能;商場内試衣魔鏡将會自動根據身形生成你所想要更換的衣服，大大節省商場空間的同時提升用戶體驗度，使更多智能應用成為可能。

　　通過重要人員影像重建、醫療仿真肢體打印、虛拟試衣、美顔化妝、表情姿态動畫合成等應用場景在大型商場、直播平台、美顔軟件、影視制作等行業普惠AI能力。

　　值得一提的是，Human3.6M、Surreal和UP-3D是全球關于3D人體重建技術的權威數據集，加州大學伯克利分校、馬克斯-普朗克研究所、Amazon、賓夕法尼亞大學、北京大學、浙江大學、Microsoft Research、法國國家信息與自動化研究所、Adobe Research等知名企業、研究所和大學都在該榜單的競争隊列中，算法實力比拼可謂激烈，相較于以往，中國企業與高校機構開始逐漸在國外老牌優勢領域展露頭角。

　　與傳統關鍵點檢測、3D重建技術的區别

　　傳統的人體關鍵點檢測技術往往以2D的人體骨骼關節點檢測形式出現，即通過技術預測RGB圖像中人體的十幾個關節點的坐标，一方面結果非常稀疏，将人體大為簡化成骨骼的形式，另一方面結果往往隻包含二維平面上的坐标預測，不能還原深度信息，因此無法體現縱深的感覺。而基于單幀圖像的3D重建技術不僅能輸出骨骼關節點信息，更能同時預測大量的人體表面關鍵點信息，預測結果更加豐富，而且每個點的坐标都是3D的，能夠體現不同軀幹的縱深信息。

　　3D關鍵點檢測

　　并且傳統3D重建技術大多需要連續的圖像序列或是多視角的圖像，在硬件設備上一般需要采用雙目攝像機或者結構光攝像機等設備，因此在手機等便攜設備上往往難以實現;另一方面，專用設備還會增加部署成本，增加大規模普及3D重建技術的難度。

　　基于單幀圖像的3D重建技術對原始圖像的需求放松的同時，對背後的技術提出了更難的挑戰：技術需要從單幀圖像中推理出人體或人臉的3D形态，并通過【光學透視】【陰影疊加】等基本光學原則準确預測出各個關鍵點在3D空間的位置和朝向，從而得到人體的姿态或表情信息。

　　人體姿态和服飾複雜多樣，精度提升意味着對複雜場景的适應性更好，模型更接近真實的情況。如阿凡達、漫威電影、阿麗塔等電影中，都需要專用設備與面部貼點來完成精細的人像采集，基于單幀圖像的3D人體/人臉重建技術将徹底颠覆電影視頻的拍攝制作，同時降低工業級3D動畫合成的門檻。