NLP新跑分标準SuperGLUE排名更新：谷歌追一科技Facebook霸榜

　近日，自然語言處理領域權威數據集SuperGLUE榜單排名更新。Google預訓練模型T5保持第一，中國AI創業公司追一科技AI Lab團隊超越Facebook AI，躍居榜單第二。值得注意的是，相比谷歌T5等超大規模研究型模型，追一此次登榜的RoBERTa-mtl-adv模型在商業化能力也非常強勁，相關技術已經落地到追一科技的AI數字員工産品線上，持續賦能銀行、保險、證券、零售、地産、能源，教育，互聯網等多個行業。

　　追一科技躍居SuperGLUE測試榜第二

　　SuperGLUE(Super General Language Understanding Evaluation)是當下NLP領域難度，權威性，含金量最足的測評标準之一，由紐約大學、華盛頓大學以及谷歌旗下的DeepMind聯合Facebook作為主要發起人推出，程度涵蓋了現實生活中可能遇到的不同類型的NLP任務，旨在更真實地反映當前最前沿的NLP技術可以達到的認知智能水平。

　　追一科技在為企業提供智能交互服務的過程中，技術和應用互相驅動，将實際商業化應用中總結出的多任務學習、對抗訓練、知識蒸餾等技術手段和經驗融入到參賽模型中，并在SuperGLUE測評數據集上拿到第二的成績。

　　除去作為參照的人類水平，目前排名榜單第一的是Google的T5模型。從學術研究看，T5模型達到了目前“實驗室智能”的水平，但如果考慮商用，T5需要耗費大量的算力，且模型自身體積過于龐大，目前還不能落地到實際業務場景中，缺少實際的商業應用價值。

　　而追一科技通過多任務學習、對抗訓練以及知識蒸餾的方式，使得RoBERTa-mtl-adv模型大小合理，效果僅次于Google的T5。同時，相關技術也落地到了追一科技AI數字員工的産品線上。就SuperGLUE排名而言，可以說追一科技的RoBERTa-mtl-adv模型在目前全球具有實際落地能力的NLP模型中效果，排名。

　　“學霸”模型的商業化能力

　　SuperGLUE測試項目并非是“花拳繡腿”，而是實實在在考驗模型通用能力的“鐵人三項”;參加SuperGLUE也并非隻是為了刷新評分，更重要的是檢驗當前技術能否很好地落地到實際應用場景中去。

　　SuperGLUE覆蓋了問答、推斷、語義理解、常識判斷等自然語言理解維度，是人機智能交互過程中的核心環節，在具體的業務場景中都有很重要的應用價值。追一科技此次參賽模型的相關NLP技術已經被成熟運用于到自主研發的全套AI數字員工産品線上，廣泛服務于銀行、保險、泛互聯網、地産、政企等多個行業的标杆客戶。例如，在追一科技的智能在線機器人Bot中就融入了多輪問答技術、語義檢索、機器閱讀理解技術等NLP技術，能準确識别用戶意圖，滿足用戶需求。

　　口說無憑，接下來就結合SuperGLUE中的任務與Bot的具體案例，一探虛實。

　　單/多輪問答技術是指機器人和用戶之間一問一答，實現多輪對話的過程。例如下面這個智能在線機器人Bot服務餐飲行業的場景：

　　智能在線機器人Bot不僅可以從對話中準确識别出地點，人數等信息，還能進一步追問用戶未給出的“用餐時間”的信息，滿足客戶的需求。而傳統的客服機器人并不會對未給出的潛在信息做出反應。

　　機器閱讀理解技術在于機器人去“用力”理解文檔中内容的意思，從而根據用戶需求輸出相應的結果。例如在金融保險領域會涉及到大量保險業務文檔的修訂、新增等情況。在面對客戶時，即使是富有經驗的客戶經理，往往也很難迅速結合所有新增的文檔内容進行有效回答。這時，定制了閱讀理解技術的智能在線機器人Bot就又可以發揮作用了——可以實時幫助業務人員，針對相關問題從新文檔中提取出答案，解決問題，降低出錯的概率。

　　自然語言推斷任務中“文本蘊含”是常出現的形式，在實際用語中非常的普遍，參考下面這個銀行領域的例子：

　　因為白金信用卡屬于信用卡，因此“我的白金信用卡需要挂失”蘊含在“我的信用卡需要挂失”中，因此，智能在線機器人Bot 在回答用戶時隻需準确指引用戶如何挂失信用卡即可。

　　指代消解在人的交流過程中非常常見，在表達中适當地使用指代會讓表達更加簡練卻不影響本意的闡述。如下面這個出行領域的例子：

　　智能在線機器人Bot理解了客戶問句裡的“上次”其實指代的是“上次中途取消訂單”，所以立馬給出了正确回複。

　　然而，最難為機器人的是常識推斷，對語言的理解離不開對常識的掌握。舉這麼一個例子：

　　機器人需要具備“影子是由太陽升起照射留下的”這樣的常識性推斷，才能正确的選擇答案。對于人來說，這些常識很簡單，但是對于機器來說，大量的這種常識知識都潛藏在我們意識的深處，AI系統的研究者幾乎不可能把所有這樣的常識都總結出來，并灌入到系統中，所以機器人在該數據集的表現往往不盡如人意。

　　落地到現實場景中，比如我們可以對智能在線機器人Bot說“我銀行卡弄丢了”，Bot就會詢問你是否需要挂失。因為它具備了“弄丢銀行卡需要挂失”這樣的業務常識。

　　可以看到，真實的交互場景中模型需要對語言的不同維度都具有理解能力才能完全正常流暢的對話。而上述的幾個例子中的問題形式都很好地包含在了SuperGLUE的不同數據集中，因此，此次追一科技在SuperGLUE測評指标上獲得的成績，不僅是對其RoBERTa-mtl-adv模型在理解自然語言技術上的一個肯定，還驗證了“技術驅動應用，應用導向技術”策略的可行性，更加堅定了追一科技繼續深耕技術，持續用AI賦能百業的信念。