本文關(guān)鍵詞：基于深度學(xué)習(xí)和遷移學(xué)習(xí)的環(huán)境聲音識(shí)別

  更多相關(guān)文章： 環(huán)境聲音識(shí)別 特征融合 深度學(xué)習(xí) 遷移學(xué)習(xí)

【摘要】：作為一種感知周?chē)h(huán)境十分有效的方法,環(huán)境聲音識(shí)別(Enviorment Sound Recognition,ESR)被廣泛的應(yīng)用在機(jī)器人導(dǎo)航、移動(dòng)機(jī)器人、音頻檢索、音頻取證以及其它基于情景感知、可穿戴的應(yīng)用中。目前,多種經(jīng)典的分類(lèi)器被廣泛的應(yīng)用在ESR問(wèn)題中,但其性能還遠(yuǎn)未達(dá)到理想的水平,為了進(jìn)一步提升ESR性能,本文首先引入了深度學(xué)習(xí)技術(shù),深度神經(jīng)網(wǎng)絡(luò)作為一種高性能、多層級(jí)的神經(jīng)網(wǎng)絡(luò),已經(jīng)被廣泛證明在提取數(shù)據(jù)特征和建立識(shí)別模型方面具有一定優(yōu)勢(shì)。聲音因采集時(shí)無(wú)方向要求、且始終蘊(yùn)含環(huán)境信息等優(yōu)勢(shì),在環(huán)境識(shí)別時(shí)扮演主要角色,但考慮到一般情況下采集音頻時(shí)容易獲取若干輔助的視頻信息,而且顯然多模態(tài)信息更有助于提升環(huán)境識(shí)別的準(zhǔn)確率,所以本文在構(gòu)建基于深度神經(jīng)網(wǎng)的環(huán)境識(shí)別方法時(shí),同時(shí)利用音頻特征和輔助視頻特征。此外,針對(duì)在實(shí)際應(yīng)用中環(huán)境類(lèi)別非常多,新的識(shí)別需求不斷涌現(xiàn),針對(duì)新類(lèi)別的數(shù)據(jù)標(biāo)注和訓(xùn)練開(kāi)銷(xiāo)過(guò)大的問(wèn)題,提出基于遷移學(xué)習(xí)的環(huán)境聲音識(shí)別方法,基于已建模的相似環(huán)境類(lèi),和新類(lèi)別的少量標(biāo)注數(shù)據(jù),學(xué)習(xí)得到新環(huán)境類(lèi)別模型。本文將深度神經(jīng)網(wǎng)絡(luò)應(yīng)用在環(huán)境聲音識(shí)別問(wèn)題中,為了充分利用聲音特征和輔助視頻特征,本文對(duì)如何融合兩種模態(tài)信息進(jìn)行探討,提出兩種特征融合方法,分別為基于特征的融合以及基于模型的融合�；谔卣魅诤系沫h(huán)境聲音識(shí)別方法,將音頻特征和視頻特征直接拼接作為深度信念網(wǎng)絡(luò)(Deep Belief Network,DBN)的輸入,并通過(guò)訓(xùn)練DBN進(jìn)行環(huán)境場(chǎng)景的識(shí)別;基于模型融合的環(huán)境聲音識(shí)別方法分別對(duì)音頻信息和輔助視頻信息建立DBN模型,并調(diào)至最優(yōu)性能,然后用一個(gè)新的DBN用來(lái)代替原有兩個(gè)DBN的輸出層以實(shí)現(xiàn)模型融合,最終通過(guò)訓(xùn)練新的DBN進(jìn)行環(huán)境聲音識(shí)別。實(shí)驗(yàn)結(jié)果表明,基于模型融合的方法取得了最好的效果,識(shí)別性能相較于其它方法和基線(xiàn)系統(tǒng)有明顯的提升本文提出基于遷移學(xué)習(xí)的環(huán)境聲音建模方法,堆疊去噪自編碼網(wǎng)絡(luò)(Stacked Denoised Auto Encoder,SDA)的無(wú)監(jiān)督訓(xùn)練較為簡(jiǎn)單,并能良好的學(xué)習(xí)數(shù)據(jù)集的特征,為其和遷移學(xué)習(xí)的融合提供了良好的基礎(chǔ)。本文在遷移學(xué)習(xí)的框架下,結(jié)合SDA網(wǎng)絡(luò),通過(guò)衡量新環(huán)境類(lèi)別的語(yǔ)料與現(xiàn)有環(huán)境語(yǔ)料之間的關(guān)系實(shí)現(xiàn)識(shí)別模型的遷移,實(shí)驗(yàn)表明此方法能有效地區(qū)分新場(chǎng)景,準(zhǔn)確率有明顯提升。在遷移學(xué)習(xí)理論框架下,反觀DBN的預(yù)訓(xùn)練與微調(diào)過(guò)程,提出基于通用預(yù)訓(xùn)練的方法。該方法采用擴(kuò)大DBN預(yù)訓(xùn)練數(shù)據(jù)集規(guī)模的策略,達(dá)到待識(shí)別數(shù)據(jù)只需在此通用預(yù)訓(xùn)練基礎(chǔ)上進(jìn)行快速的微調(diào)過(guò)程即可實(shí)現(xiàn)分類(lèi)的目的。實(shí)驗(yàn)結(jié)果表明,此方法可以顯著的提升待識(shí)別數(shù)據(jù)的性能,且用以擴(kuò)大訓(xùn)練集的數(shù)據(jù)可以包括非場(chǎng)景數(shù)據(jù),初步實(shí)驗(yàn)表明,部分說(shuō)話(huà)人數(shù)據(jù)的加入有利于提升系統(tǒng)的穩(wěn)定性和魯棒性。
【學(xué)位授予單位】：哈爾濱工業(yè)大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類(lèi)號(hào)】：TN912.34

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 張宏超;聲音識(shí)別簡(jiǎn)介[J];信息與控制;1979年03期

2 劉礫;日研制成功世界上第一個(gè)連續(xù)聲音識(shí)別系統(tǒng)[J];國(guó)外自動(dòng)化;1979年Z1期

3 王憲忠;;前景光明的聲音識(shí)別技術(shù)[J];華夏星火;2001年09期

4 郭利剛;方土富;;智能聲音識(shí)別技術(shù)在廣播電視廣告監(jiān)測(cè)中的應(yīng)用[J];廣播與電視技術(shù);2006年12期

5 施智雄;;基于聲音識(shí)別的氣味發(fā)生裝置設(shè)計(jì)與實(shí)現(xiàn)[J];電聲技術(shù);2009年05期

6 蔡時(shí)昊;顏偉國(guó);;智能聲音識(shí)別技術(shù)構(gòu)建廣播電視廣告節(jié)目監(jiān)測(cè)系統(tǒng)[J];信息通信;2012年03期

7 王再歡;唐云建;韓鵬;;一種利用聲音識(shí)別的森林盜伐檢測(cè)方法[J];計(jì)算機(jī)工程與應(yīng)用;2012年30期

8 甘振新 ,金世龍;關(guān)于聲音識(shí)別的一些研究課題[J];信息與控制;1979年03期

9 千葉 ,成美 ,劉小立 ,祝景成;聲音識(shí)別技術(shù)的現(xiàn)狀與未來(lái)[J];國(guó)外自動(dòng)化;1983年02期

10 碧仁 ,陳淑媛;國(guó)內(nèi)外市場(chǎng)大視野[J];現(xiàn)代情報(bào);1993年01期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前3條

1 楊曜;郭斌;於志文;;一種基于背景聲音識(shí)別的社會(huì)情境感知方法[A];第八屆和諧人機(jī)環(huán)境聯(lián)合學(xué)術(shù)會(huì)議（HHME2012)論文集PCC[C];2012年

2 張明瀚;石為人;丁寧;;一種基于學(xué)習(xí)的異常聲音識(shí)別研究[A];2009中國(guó)儀器儀表與測(cè)控技術(shù)大會(huì)論文集[C];2009年

3 高思澤;倪邦發(fā);張貴英;趙常軍;肖才錦;劉存兄;劉超;管永精;;過(guò)熱液滴探測(cè)器的聲音識(shí)別系統(tǒng)設(shè)計(jì)[A];第十二屆全國(guó)活化分析學(xué)術(shù)交流會(huì)論文摘要匯編[C];2010年

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫(kù) 前3條

1 日立邋編譯;聲音識(shí)別：下一代手機(jī)輸入接口[N];中國(guó)電子報(bào);2007年

2 本報(bào)駐以色列記者　田學(xué)科;藏在舌尖上的“身份證”[N];科技日?qǐng)?bào);2006年

3 李莉;反恐戰(zhàn)場(chǎng)另類(lèi)“靈眼”[N];中國(guó)國(guó)防報(bào);2004年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前1條

1 張文娟;基于聽(tīng)覺(jué)仿生的目標(biāo)聲音識(shí)別系統(tǒng)研究[D];中國(guó)科學(xué)院研究生院（長(zhǎng)春光學(xué)精密機(jī)械與物理研究所）;2012年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 張楠;西湖之聲“杭州味道”品牌戰(zhàn)略方案評(píng)估和建議[D];浙江大學(xué);2015年

2 張?zhí)K楠;基于視頻跟蹤與多模型聲音識(shí)別的豬行為檢測(cè)與分析[D];太原理工大學(xué);2016年

3 張小霞;基于能量檢測(cè)的復(fù)雜環(huán)境聲音識(shí)別[D];福州大學(xué);2014年

4 尤冠瑜;基于時(shí)間編碼的環(huán)境聲音識(shí)別[D];福州大學(xué);2013年

5 王熙;基于多頻段譜減法的魯棒性生態(tài)環(huán)境聲音識(shí)別[D];福州大學(xué);2013年

6 顏鑫;真實(shí)噪聲下利用抗噪冪歸一化倒譜系數(shù)的兩層魯棒環(huán)境聲音識(shí)別[D];福州大學(xué);2013年

7 史秋瑩;基于深度學(xué)習(xí)和遷移學(xué)習(xí)的環(huán)境聲音識(shí)別[D];哈爾濱工業(yè)大學(xué);2016年

8 胡志峰;基于嵌入式聲音識(shí)別技術(shù)的列車(chē)預(yù)警研究[D];西南交通大學(xué);2007年

9 黃偉鴻;工廠噪聲環(huán)境下聲音識(shí)別系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];中山大學(xué);2014年

10 吳弘;空中目標(biāo)聲音識(shí)別技術(shù)的研究[D];南京理工大學(xué);2004年

，

本文編號(hào)：1218500