近年來,人工智能 (AI) 在涉及單一模态如語音、自然語言和視覺等領域,取得了重大突破。在單一模态的任務上,如物體識别、語音識别、機器翻譯等,AI 系統在特定數據集上的表現水平與人類相當。随着單模态人工智能潛在問題的解決,研究人員意識到更高層次的AI任務往往涉及到跨多種模式的更複雜的信息處理。同時,局限于單一模态的研究往往不能充分利用跨模态信息。因此,研究多模态建模與學習方法具有重要的意義。
在本次國際自然語言處理與中文計算會議 (NLPCC 2020)上, 京東智聯雲舉辦了第一屆“多模态自然語言處理研讨會”。該研讨會邀請了多位學術大咖進行學術分享,吸引了自然語言處理、多模态、圖像處理等多領域衆多學者參與。會中,各位學者就跨語言跨模态信息處理、多模态預訓練、AI與藝術、視覺與語言交互、多模态對話系統等領域的研究熱點和技術應用展開讨論,反響熱烈。
看點一 多模态自動摘要生成
多模态已成為新聞報道和信息交流的主要呈現形式,多模态自動摘要技術,旨在利用計算機自動實現從多個模态的信息中壓縮生成摘要的過程,可以廣泛應用于新聞推送和電商推薦等多個領域。
在本次研讨會中,來自中科院自動化所的研究員張家俊老師,為大家介紹其所在的課題組近年來在多模态摘要方法和評價等方面的研究進展。張老師重點介紹了異源多模态摘要生成的研究方法變遷:從抽取式方法到生成式方法,再到目前融入多模态注意力機制的圖文式摘要生成方法等。同時,張老師也介紹了多模态自動摘要的自動評價方法: 綜合考慮文本和圖片重要性以及文本圖片相關性更加貼近人工打分。
看點二 多模态預訓練模型
預訓練模型的出現,使自然語言處理由原來的手工調參、依靠機器學習專家的階段,進入到可以大規模、可複制的大工業施展階段。此階段基于預訓練模型+微調機制,具備很高的可擴展性,展現出很高潛力。而當前研究也從單一語言擴展到多模态。
微軟亞洲研究院的研究員段楠博士為大家介紹了多模态預訓練模型的研究進展。他首先回顧了典型的預訓練模型。随後,重點介紹了3種的多模态預訓練模型:Unicoder主要應用于跨語言的語言理解和生成任務;Unicoder VL專注于視頻語言任務,對視頻片段和對應的自然語言描述進行聯合建模;CodeBERT則關注在代碼語言任務。段博士也和與會學者一起讨論了當前多模态預訓練的問題和可能的未來方向。
看點三 人工智能藝術與設計
“AI+藝術是一個跨界領域。藝術家的想象力往往啟發着科學家的創造力,而在AI時代,藝術家用人工智能機器學習相關技術來創作藝術,表達自己的想法和概念,設計師用神經網絡模型創造自己的設計工具和助手。”
清華大學未來實驗室博士後高峰分享了AI技術在藝術與設計領域的創新性應用。其團隊開發的道子智能繪畫系統,利用計算機将自然圖像以風格遷移的方式轉變成藝術圖像,根據所得藝術圖像進行水墨畫繪作,實現技術與藝術間的跨界融合。高博士也介紹了道子在服裝設計、工業設計、裝置藝術等領域的探索成果。
看點四 多模态智能分析
多模态智能分析是近期的研究熱點。來自北航的劉偲教授圍繞視覺和語言的交互介紹兩方面的内容進行了分享。她首先介紹了視覺關系檢測的研究,包括人-物關系檢測,人-物關系分割,視頻關系檢測等方面的内容。其次,她指出視覺指代表達和指代分割,對于智能機器人和交互式圖像編輯等實際應用有重要意義。 傳統的視覺指代表達方法采用兩階段式架構,模型複雜且速度受限,而傳統的指代分割方法聚焦于多模态特征融合,缺乏利用語言信息進行上下文建模和推理的能力。在本次讨論中,她給出了針對性的解決方法。
看點五 多模态對話系統
對話系統一直是自然語言理解領域一個重要的研究内容,它可以使人們更便捷的與機器進行交互,而多模态的對話系統是非常重要的一個研究方向。
平安壽險AI研發團隊的楊海欽博士,分享了多模态對話系統在平安人壽各種場景的應用,包括保單回訪服務和視頻櫃員客服等。在本次講座中,楊博士重點介紹了多模态對話系統的核心和創新技術,實際部署經驗以及如何應用該系統來降低運營成本,同時增加用戶體驗。
在此次NLPCC 會議中,京東智聯雲成功舉辦了第一屆“多模态自然語言處理研讨會”,吸引衆多參會學者的積極參與和熱烈讨論。同時京東AI研究院NLP算法科學家吳友政博士受大會邀請作“智能人機交互及其應用”的主題分享。另外京東AI研究院一篇論文被大會收錄并進行口頭彙報。
免責聲明：本文僅代表作者個人觀點，與每日科技網無關。其原創性以及文中陳述文字和内容未經本站證實，對本文以及其中全部或者部分内容、文字的真實性、完整性、及時性本站不作任何保證或承諾，請讀者僅作參考，并請自行核實相關内容。
本網站有部分内容均轉載自其它媒體，轉載目的在于傳遞更多信息，并不代表本網贊同其觀點和對其真實性負責，若因作品内容、知識産權、版權和其他問題，請及時提供相關證明等材料并與我們聯系，本網站将在規定時間内給予删除等相關處理.
