文章來(lái)源：維也納聲學(xué) 時(shí)間：2024-09-23
中國(guó)科學(xué)院噪聲與振動(dòng)重點(diǎn)實(shí)驗(yàn)室Lab9_DSP411團(tuán)隊(duì)參加了音頻信號(hào)處理領(lǐng)域頂級(jí)會(huì)議ICASSP 2022舉辦的深度學(xué)習(xí)3D音頻信號(hào)處理挑戰(zhàn)賽（L3DAS22: Machine Learning for 3D Audio Signal Processing），在L3DAS22任務(wù)二——3D聲事件定位與檢測(cè)（Sound Event Localization and Detection, SELD）中斬獲冠軍。
L3DAS22 Challenge是由快手聯(lián)合意大利羅馬第一大學(xué)（Sapienza University of Rome, Italy）在ICASSP 2022 Grand Challenge中發(fā)起的挑戰(zhàn)賽。該挑戰(zhàn)賽旨在促進(jìn)3D信號(hào)處理的機(jī)器學(xué)習(xí)研究。本次挑戰(zhàn)賽共設(shè)置兩個(gè)子任務(wù)：
任務(wù)一：多通道3D語(yǔ)音增強(qiáng)任務(wù)，專(zhuān)注于辦公室場(chǎng)景的實(shí)時(shí)語(yǔ)音增強(qiáng)需求。
任務(wù)二：真實(shí)場(chǎng)景下特定聲事件定位和檢測(cè)任務(wù)。
兩項(xiàng)任務(wù)都是在混響辦公室條件下使用兩個(gè)一階全景聲麥克風(fēng)（First-order Ambisonics, FOA）錄制。
L3DAS22的數(shù)據(jù)集采用實(shí)錄的房間脈沖響應(yīng)（Room Impulse Responses, RIRs）與純凈的單聲道聲源信號(hào)卷積合成。在任務(wù)二中，最多有3個(gè)聲事件同時(shí)發(fā)生，而這些聲事件可能都屬于同一個(gè)類(lèi)別。該任務(wù)需要在100毫秒的時(shí)間精度下預(yù)測(cè)這些活動(dòng)的聲事件的類(lèi)別與其對(duì)應(yīng)的空間位置。該任務(wù)使用的是聲源定位和聲事件檢測(cè)的聯(lián)合估計(jì)指標(biāo)：對(duì)定位敏感的檢測(cè)指標(biāo)F-score，定位閾值為2米。在預(yù)測(cè)正確類(lèi)別的聲事件中，只有當(dāng)聲定位誤差在2m范圍內(nèi)，該預(yù)測(cè)才是有效的。
基于深度學(xué)習(xí)的3D音頻信號(hào)處理技術(shù)引起學(xué)術(shù)界和工業(yè)界廣泛關(guān)注，在虛擬和真實(shí)會(huì)議、游戲開(kāi)發(fā)、音樂(lè)制作，自動(dòng)駕駛及監(jiān)控等領(lǐng)域深入應(yīng)用。相較于單通道音頻，3D音頻攜帶的空間三維聲源方位信息，有助于提升語(yǔ)音和情感識(shí)別、聲源分離、語(yǔ)音增強(qiáng)和去噪，以及促進(jìn)機(jī)器聲場(chǎng)感知效果。
中國(guó)科學(xué)院噪聲與振動(dòng)重點(diǎn)實(shí)驗(yàn)室的楊軍研究員、吳鳴研究員和楊飛然研究員帶領(lǐng)博士研究生胡錦波，聯(lián)合英國(guó)薩里大學(xué)（University of Surrey）的Mark D. Plumbley教授、曹寅博士和孔秋強(qiáng)博士（現(xiàn)任職于字節(jié)跳動(dòng)）組成Lab9_DSP411團(tuán)隊(duì)參加此次比賽，取得L3DAS22 Task 2中第一名的成績(jī)。
在本次挑戰(zhàn)賽中，Lab9_DSP411團(tuán)隊(duì)提出一個(gè)具有新型數(shù)據(jù)增強(qiáng)方法的集成事件獨(dú)立網(wǎng)絡(luò)（Ensemble Event Independent Network）。由于不同模型的集成存在軌道排列問(wèn)題，該集成模型也結(jié)合軌道輸出格式、排列不變訓(xùn)練和多任務(wù)學(xué)習(xí)的軟參數(shù)共享方法，旨在解決具有軌道輸出格式的事件獨(dú)立網(wǎng)絡(luò)的集成模型問(wèn)題。我們也采取了一種新型的數(shù)據(jù)增強(qiáng)方法，混合了隨機(jī)生成的增強(qiáng)方法的數(shù)據(jù)處理技術(shù)，以提高模型的穩(wěn)健性和不確定性估計(jì)。該提出的數(shù)據(jù)增強(qiáng)方法將一些增強(qiáng)操作隨機(jī)采樣和組合，以產(chǎn)生多樣性的增強(qiáng)頻譜圖。我們提出的該軌道輸出格式的集成模型系統(tǒng)，提高了模型的性能。 該系統(tǒng)在L3DAS22 Task 2中獲得了第一名，相較于第二名有顯著優(yōu)勢(shì)。
該模型對(duì)應(yīng)的論文：A Track-wise Ensemble Event Independent Network for Polyphonic Sound Event Localization and Detection也被ICASSP 2022接收，該論文將在今年5月 ICASSP 2022 大會(huì)的 Special Session與同行上進(jìn)行分享。
熱線電話
掃一掃關(guān)注我們