近日,由追一科技主辦的首屆中文NL2SQL挑戰賽初賽結束。來自海内外的1457支隊伍,經過1個多月的初賽角逐,決出30強隊伍。來自國防科技大學、北京交通大學、國雙科技、清華大學、哈爾濱工業大學等高校、企業的30支優勝團隊,晉級下一階段複賽挑戰。
此次比賽,也是中文NLP領域舉辦NL2SQL主題比賽,并發布相關數據集,引起了業内和海内外廣泛關注。自6月24日比賽啟動以來,共有1457支隊伍、1630名選手報名參賽,參與院校數達170所,其中227支隊伍、318名選手提交成績。廣泛的參與,使得NL2SQL成為國内NLP技術比賽領域參賽規模的賽道之一。

挑戰中文數據集
值得注意的是,本次比賽提出的NL2SQL中文數據集比英文數據集WikiSQL引入了口語化表達、結合表格内容、命名實體鍊接、更複雜的SQL語法等挑戰,難度更高的同時也更貼近于真實應用場景,但在選手們的積極、多方探索下,短期内就已經可以達到與英文數據集上相當水平的分數。
近兩個月的初賽過程中,選手們的方案一直持續刷新着本次比賽的新記錄。

比賽初期,排行榜頭部選手們的分數聚集在0.58左右,已經超過了比賽方所提供的baseline。随後,選手通過各種讨論、交流,加深對數據集理解,不斷探索更優的方案,從而提高成績,頭部選手的分數很快突破了0.80大關。在8月12日初賽結束時,比賽榜上的頭部分數已經達到0.89,已經接近WikiSQL的成績。
比賽成績的快速提升,充分體現出選手們的投入與方案的,同時也側面反映出,目前積累的許多技術方案都可以在NL2SQL這一個新任務上發揮作用,大家也意識到,隻要有充分的數據來支撐, 目前人工智能領域的方法論可以有效地為數據庫乃至結構化數據提供自然語言的交互方式。
千支隊伍挑戰NL2SQL
任務上的創新、應用上的潛力,NL2SQL比賽一經推出,就受到了學界和工業界的廣泛關注。
據了解,本次1457支參賽隊伍中,院校和企業參與者各占“半壁江山”。其中,學生及科研人員占比48%,企業技術員工占比52%。學生參賽隊伍來自衆多知名院校,如北京大學、清華大學、複旦大學、上海交通大學、南京大學、浙江大學、中國科學技術大學、哈爾濱工業大學、西安交通大學等。
雖然本次比賽的數據内容是中文形式,但仍然吸引了美國、英國、新加坡、日本、澳大利亞、加拿大等海外院校參與,包括卡内基梅隆、墨爾本大學、新加坡國立大學、南安普頓大學、新南威爾士大學、布裡斯托大學、昆士蘭大學等。
作為新興NLP研究任務,NL2SQL在專業難度上,也對選手提出較高要求。據了解,本次參賽選手中,碩士及以上學曆占比57%,其中,博士學曆占比6%;而專業分布上,計算機科學專業背景的選手則屬于參賽主力。
應用潛力吸引名企參賽
值得注意的是,NL2SQL挑戰賽,還吸引了衆多的企業技術人員參與。
來自中國移動、平安集團、搜狗、達闼科技、中興通訊、網宿科技、國雙科技、捷通華聲等衆多企業的技術人員,也成為參賽隊伍的重要力量。
“此次挑戰賽參與規模遠超預期,顯示出NL2SQL在學術和工業應用上的潛力,數據庫的交互創新,正在受到越來越多關注。”追一科技聯合創始人兼CTO劉雲峰博士表示,追一科技将與更多院校、企業界同仁攜手,共同推動中文NLP研究與應用突破。
據了解,中文NL2SQL挑戰賽複賽将于8月19至9月9日進行。複賽階段采用線上運行的方式來進行評測,測試集不可下載,并且内容對選手不可見。同時,測試集在保證數據分布與初賽測試集一緻同時,加入更多在初賽中沒有出現過的表格數據,屆時,将對選手方案提出更高挑戰。而複賽勝出者,将會參加10月份的最終決賽。
免責聲明:本文僅代表作者個人觀點,與每日科技網無關。其原創性以及文中陳述文字和内容未經本站證實,對本文以及其中全部或者部分内容、文字的真實性、完整性、及時性本站不作任何保證或承諾,請讀者僅作參考,并請自行核實相關内容。
本網站有部分内容均轉載自其它媒體,轉載目的在于傳遞更多信息,并不代表本網贊同其觀點和對其真實性負責,若因作品内容、知識産權、版權和其他問題,請及時提供相關證明等材料并與我們聯系,本網站将在規定時間内給予删除等相關處理.

