環(huán)境輔助的多任務(wù)混合聲音事件檢測方法
發(fā)布時(shí)間:2021-04-29 05:02
在混合聲音事件檢測任務(wù)中,不同事件的聲音信號相互混雜,從混合語音信號中提取的全局特征無法很好地表達(dá)每種單獨(dú)的事件,導(dǎo)致當(dāng)聲音事件數(shù)量增加或者環(huán)境變化時(shí),聲音事件檢測性能急劇下降。目前已存在的方法尚未考慮環(huán)境變化對檢測性能的影響。鑒于此,文中提出了一種基于多任務(wù)學(xué)習(xí)的環(huán)境輔助的聲音事件檢測模型(Environment-Assisted Multi-Task,EAMT),該模型主要包含場景分類器和事件檢測器兩大核心部分,其中場景分類器用于學(xué)習(xí)環(huán)境上下文特征,該特征作為事件檢測的額外信息與聲音事件特征融合,并通過多任務(wù)學(xué)習(xí)方式來輔助聲音事件檢測,以此提高模型對環(huán)境變化的魯棒性及多目標(biāo)事件檢測的性能;诼曇羰录䴔z測領(lǐng)域的主流公開數(shù)據(jù)集Freesound以及通用性能評估指標(biāo)F1分?jǐn)?shù),將所提模型與基準(zhǔn)模型(Deep Neural Network,DNN)及主流模型(Convolutional Recurrent Neural Network,CRNN)進(jìn)行對比,共設(shè)置了3組對比實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明:1)相比單一任務(wù)的模型,基于多任務(wù)學(xué)習(xí)的EAMT模型的場景分類效果和事件檢測性能均有所提升,且環(huán)境上...
【文章來源】:計(jì)算機(jī)科學(xué). 2020,47(01)北大核心CSCD
【文章頁數(shù)】:6 頁
【文章目錄】:
1 引言
2 環(huán)境輔助的混合聲音事件檢測
2.1 EAMT模型結(jié)構(gòu)
2.1.1 輸入層
2.1.2 硬共享層
2.1.3 場景分類器
2.1.4 聲音事件檢測器
2.2 多任務(wù)學(xué)習(xí)方法
3 實(shí)驗(yàn)
3.1 數(shù)據(jù)集
1)Freesound-env:
2)Freesound-6:
3)Freesound-9:
4)Freesound-12:
3.2 實(shí)驗(yàn)設(shè)置
3.3 性能評估
1)不同的多任務(wù)學(xué)習(xí)結(jié)構(gòu)對F1分?jǐn)?shù)的影響。
2)環(huán)境變化對聲音事件檢測F1的影響。
3)聲音事件數(shù)量對聲音事件檢測F1的影響。
本文編號:3166892
【文章來源】:計(jì)算機(jī)科學(xué). 2020,47(01)北大核心CSCD
【文章頁數(shù)】:6 頁
【文章目錄】:
1 引言
2 環(huán)境輔助的混合聲音事件檢測
2.1 EAMT模型結(jié)構(gòu)
2.1.1 輸入層
2.1.2 硬共享層
2.1.3 場景分類器
2.1.4 聲音事件檢測器
2.2 多任務(wù)學(xué)習(xí)方法
3 實(shí)驗(yàn)
3.1 數(shù)據(jù)集
1)Freesound-env:
2)Freesound-6:
3)Freesound-9:
4)Freesound-12:
3.2 實(shí)驗(yàn)設(shè)置
3.3 性能評估
1)不同的多任務(wù)學(xué)習(xí)結(jié)構(gòu)對F1分?jǐn)?shù)的影響。
2)環(huán)境變化對聲音事件檢測F1的影響。
3)聲音事件數(shù)量對聲音事件檢測F1的影響。
本文編號:3166892
本文鏈接:http://sikaile.net/kejilunwen/wltx/3166892.html
最近更新
教材專著