大幅刷新世界紀錄，網易數帆×雲音樂奪得MIREX兩冠軍

　　在近期揭榜的2021國際音頻檢索評測大賽(MIREX)上，網易數帆易智語音團隊攜手網易雲音樂音視頻實驗室，憑借生産級AI技術創新能力，在歌詞識别和歌單識别兩個賽道大幅打破世界紀錄奪得。

　　MIREX是國際音頻檢索領域的賽事，為音頻信息檢索及音樂信号處理領域中的各種前沿技術提供公正、可信的評估，自2005年啟動以來吸引了世界知名大學、研究機構和科技公司企業的廣泛參與。領域内知名的團隊，如新加坡國立大學、倫敦大學瑪麗皇後學院等都參加過此項賽事。

　　大幅刷新世界紀錄

　　MIREX 2021中，網易數帆攜手雲音樂團隊參加了Automatic Lyrics Transcription(歌詞識别)和Set List Identification(歌單識别)兩個賽道的比賽，後者任務為針對給定演唱會現場音頻和歌手的studio歌曲版本，按時間順序輸出演唱會中演唱的歌曲曲目(task1)，以及每首曲目的開始和結束時間(task2)。

　　在歌詞識别賽道，網易實現了WER(詞錯誤率，Word Error Rate)從37.02(2020年成績)到11.45的突破。于實驗而言，這是2倍以上的提升，但對于産品化，這是不可用和可用的巨大區别。

　　歌單識别賽道則由于領域技術沉寂曾缺席MIREX數年，于本屆恢複并成了網易表演的舞台。如下表所示，網易提交模型的各項指标較往年均有顯著提升，單項指标的差别甚至超過了12倍。

　　驗證集曆年成績對比：

　　其中，ED為task1中預測出的song序列和ground truth的編輯距離，數值越小越好;sBD和eBD分别為task2中預測出的song的開始時間和結束時間的評價誤差，單位秒，也是越小越好。

　　測試集曆年成績對比：

　　多項創新提升模型抗幹擾能力

　　網易數帆易智團隊參賽人員介紹，這項賽事的任務與語音識别不同，歌詞識别賽道的數據集來自國外K歌APP，這意味着訓練數據有更嘈雜的背景，更多的噪音幹擾，更低質量的歌詞音頻，如漏唱、錯唱、即興對白/獨白等，此外同樣的詞語在不同曲風不同節奏下往往呈現出不同的音高、音調和語速。如此複雜的場景，對模型訓練帶來了巨大的挑戰，模型必須具備很強的針對背景音樂及噪音的抗幹擾能力，才能正确識别歌詞。

　　針對歌詞識别，網易在數據和模型方面做了大量針對性的優化，基于語音識别技術方案進行細化，把框架用到，采用預訓練語言模型的思想提升抗幹擾能力，并分階段進行調優，以提升模型精度，從而大幅刷新世界紀錄。

　　針對歌單識别，業界傳統的方案是基于信号處理技術，網易此次将歌詞識别+文本檢索的方案引入這一領域，從而取得了飛躍式的提升。

　　基于音樂業務的生産級創新

　　大幅破紀錄并不是全部的結果，網易數帆這套技術方案還具有良好的可擴展能力，在訓練數據充足情況下(比賽所用數據集不是很大)會有更好的表現，也可以非常方便地擴展到日韓歌詞/歌單領域。事實上，這些技術已經在網易雲音樂業務落地應用。換言之，這是工業界生産級的技術突破，而非實驗室的AI學術研究。

　　網易雲音樂自2016年末上線“網易音樂人”産品服務，到2021年年底聚集了超過40萬原創音樂人。網易雲音樂不斷改善産品功能和體驗，拓展音樂的價值，如社區視頻歌曲檢索、look直播等，2020年就在線上系統使用了歌詞識别的功能。在此過程中，網易雲音樂與網易數帆易智團隊合作，通過技術創新來提升産品體驗。

　　網易雲音樂音視頻實驗室專家介紹，兩個團隊攜手将參賽方案中所包含的歌詞識别、文本檢索技術，與網易雲音樂團隊研發的哼唱識别、翻唱識别、音頻指紋及旋律提取等技術相互結合取長補短，在雲音樂落地，實現了節省人力成本和提升業務效果等業務價值。

　　節省人力成本方面，音樂曲庫的需求之一是将逐行歌詞升級為逐字歌詞(如卡拉OK效果) ，技術實現是給每個字加上一個時間戳，通過歌詞識别技術創新，結合旋律提取做到歌詞和旋律邊界對齊，節省了大量的人力。另一個場景是曲庫安全，網易雲音樂基于歌詞識别技術開發的敏感歌詞返檢系統，從而低成本、自動化地将敏感詞檢測出來。

　　提升業務效果方面，一個典型場景是哼唱識别，網易雲音樂通過旋律匹配+歌詞識别的技術方案，有效提升了識别效果。其次是将歌單識别技術方案用于mlog的視頻識曲，結合音頻指紋、翻唱識别形成統一的識曲方案，針對網易雲音樂用戶發布在mlog的視頻，該方案可以有效識别視頻中所唱的歌曲，并匹配曲庫中對應的歌曲，從而實現該視頻和曲庫裡的歌曲關聯，進而相互引流。此外在look直播場景，基于該技術也可以準确識别主播所唱的歌曲。

　　展望未來，兩個團隊參賽人員預測，本次大賽中的技術将能夠在安全檢測、音樂版權檢測、音樂内容提供商、傳媒行業探索等場景大放異彩。