金山AI Lab獲 2019國際大數據分析競賽雙料冠軍

　　近日，金山AI Lab獲得了計算機視覺界的競賽之一MS COCO Image Captioning以及IEEE特别發起的國際大數據分析競賽(IEEE ISI World Cup 2019)雙料。

　　兩大賽事競争激烈

　　MS COCO(Microsoft Common Objects in Context，常見物體圖像識别)是計算機視覺領域最受關注和最權威的比賽之一，是圖像(物體)識别方向最重要的标杆，也是目前國際領域能夠彙集谷歌、微軟、Facebook 三大巨頭以及國際院校共同參與的大賽。目前MS COCO 競賽，共有物體檢測 (Detection)、人體關鍵點檢測 (Keypoints)、圖像分割 (Stuff)、全景分割(Panoptic)和圖像描述生成 (Captions) 五個類别的比賽任務，其中圖像描述生成任務 (Captions)需要同時對圖像與文本進行深度的理解與融合，相比其他任務更具有挑戰性。包括騰訊、華為、Microsoft、中科院自動化所、北京大學、中國科學技術大學、UC Berkeley、Stanford University等企業、科研機構和高校，迄今共有 200 多支隊伍參與了這項比賽。

　　而由IEEE(IEEE ISI安全信息學領域的旗艦會議)，特别發起的國際大數據分析競賽(IEEE ISI World Cup 2019)同樣競争激烈，有來自中國、美國、巴基斯坦、英國、德國等7個國家的企業、高校共363支隊伍，1001名選手參戰。

　　金山AI Lab在圖像描述、大數據分析兩大領域表現不俗

　　金山AI Lab在大數據人工智能飛速發展的背景下成立。目前，金山AI Lab以NLP為核心，涵蓋圖像、文本、語音三大方向，主要研究内容分為知識圖譜、機器翻譯、内容推薦和智能校對等。研究項目主要分為兩類，一類是專注于落地的項目，如機器翻譯、智能校對等;另一類是專注于基礎服務的項目，例如知識圖譜，可以對這些直接落地的項目提供長期的輔助研究。這兩項比賽取得的成功很好地證明了金山AI Lab在圖像及大數據分析方面的實力。

　　MS COCO比賽中，金山AI Lab團隊參與了挑戰性的圖像描述生成任務 (Captions)項目。圖像描述生成(image caption)是使機器理解圖像内容，并用人類語言描述其所理解的圖像内容。圖像描述生成(image caption)技術是一個結合計算機視覺與 NLP技術的多模态交叉研究領域，這個任務不僅僅需要理解圖像，更需要理解自然語言，是深度學習處理多模态數據的一個重要任務。

　　金山AI Lab團隊使用目前流行的Transformer模型，并針對圖像信息利用不充分的問題提出了結合圖像關鍵信息的keywords Transformer、利用動态卷積結構改進Transformer的解碼端、提出了有效的多特征融合機制和多模型系統融合等技術，使生成的圖像描述更準确、相關性更高、句子更流暢。結合WPS在辦公場景下的優勢，前述技術可以在公式識别、圖像描述、圖像檢索等場景大顯身手。

　　總體流程

　　keywords transformer模型

　　Keywords_MIA Transformer模型

　　在ISI World Cup競賽中，金山AI Lab派出兩支團隊分别參加兩個任務，一支隊伍在M2中以44分奪得，分數比其他隊伍高了接近一倍，達到了參賽隊伍中的水平，可以在生産環境中直接應用，解決企業痛點。在M2上面，金山AI Lab使用了遞進優化的策略，對數據進行多層次的分類，避免了數據分布因極度不均衡而帶來的訓練失效問題。另一支隊伍在M1中取得第五名。