語(yǔ)音是人類最常用的信息傳遞方式之一。近年來(lái),以兒童語(yǔ)音為核心的數(shù)據(jù)吸引了大量的研究。這些兒童語(yǔ)音的數(shù)據(jù)多為嬰兒和幼兒每天生活中四處走動(dòng)時(shí)收集的錄音。兒童語(yǔ)音的數(shù)據(jù)對(duì)于理論學(xué)科的發(fā)展,比如發(fā)展心理學(xué)和認(rèn)知科學(xué)等,以及許多應(yīng)用,比如潛在語(yǔ)言障礙的診斷和干預(yù)兒童效果的測(cè)量等,有著廣泛的意義。然而在對(duì)兒童語(yǔ)音感興趣的情況下,卻很少有分析算法能夠做到將兒童語(yǔ)音較好地提取出來(lái),究其原因主要有以下幾個(gè)難點(diǎn):首先,記錄的聲音大部分屬于嬰兒或者是戴著錄制設(shè)備的孩子,他們會(huì)發(fā)出非語(yǔ)言的聲音,比如哭泣。此外,由于兒童這一群體的特殊性,在兒童語(yǔ)音錄制的同時(shí)會(huì)有成人語(yǔ)音的出現(xiàn),不同成人與錄音設(shè)備位置的不同導(dǎo)致了遠(yuǎn)場(chǎng)聲音和近場(chǎng)聲音的交替混雜。最后,錄音設(shè)備錄入的可能是多個(gè)兒童以及多個(gè)成人的混合語(yǔ)音。如果想要利用兒童語(yǔ)音的數(shù)據(jù)做其他應(yīng)用,我們需要將兒童的語(yǔ)音盡可能地分離出來(lái),因此真實(shí)場(chǎng)景下的兒童語(yǔ)音提取任務(wù)在兒童語(yǔ)音的實(shí)際應(yīng)用中具有重要意義。近些年來(lái),隨著深度學(xué)習(xí)方法在成人語(yǔ)音信號(hào)提取的任務(wù)中達(dá)到了較好的效果,這也為兒童語(yǔ)音的分離提取提供了一種可行的思路。然而,基于深度學(xué)習(xí)的成人語(yǔ)音分離算法往往是在仿真環(huán)境下進(jìn)行的... 

【文章來(lái)源】：中國(guó)科學(xué)技術(shù)大學(xué)安徽省 211工程院校 985工程院校

【文章頁(yè)數(shù)】：71 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖２．１基于深度神經(jīng)網(wǎng)絡(luò)的語(yǔ)音分離模型??２．２基于掩蔽的深度學(xué)習(xí)語(yǔ)音分離技術(shù)??在計(jì)算聽覺場(chǎng)景分析中，理想二值掩蔽（Ｉｄｅａｌ?Ｂｉｎａｒｙ?Ｍａｓｋ，?ＩＢＭ）是其主??要的計(jì)算目標(biāo)［２４，４３］

?第２章基于深度學(xué)習(xí)的語(yǔ)音分離技術(shù)????？?．—Ｖ－？??—？（ｘ）?，（ｉ＾）??一?Ｓ?Ｅ?Ｓ?Ｓ?Ｋｘ）??？—－＾＾＾?？??ｖ｜?Ｊ??？??圖２．２?ＬＳＴＭ基礎(chǔ)單元結(jié)構(gòu)示意圖??更為復(fù)雜的結(jié)構(gòu)。圖２．２是ＬＳＴＭ—個(gè)基礎(chǔ)模塊的結(jié)構(gòu)圖。在此結(jié)構(gòu)圖中，矩形??框代表神經(jīng)網(wǎng)絡(luò)層，圓圈和橢圓代表逐點(diǎn)的運(yùn)算操作，每一條黑線代表傳輸一個(gè)??向量，合在一起的線表示向量的連接，分開的線表示內(nèi)容的復(fù)制。ｃｒ表示ｓｉｇｍｏｉｄ??函數(shù)，它輸出０－１之間的數(shù)值，描述有多少量可以通過(guò)。／ｚ，４和＼分別表示卜１??時(shí)刻和？時(shí)刻的參數(shù)，ｃ，＿ｉ和ｃ，分別表示ｒ?－?１時(shí)刻和ｆ時(shí)刻的細(xì)胞（ｃｅｌｌ）狀態(tài)，??ｘ，表示當(dāng)前／時(shí)刻的輸入。ＬＳＴＭ最為關(guān)鍵的設(shè)計(jì)是細(xì)胞狀態(tài)，它在水平線上方??貫穿運(yùn)行，只有少量的線性操作會(huì)使其改變。ＬＳＴＭ引入了門結(jié)構(gòu)并通過(guò)其來(lái)增??加或者減少信息到細(xì)胞狀態(tài)的能力。門結(jié)構(gòu)是一個(gè)ｓｉｇｍｏｉｄ神經(jīng)網(wǎng)絡(luò)層和一個(gè)點(diǎn)??乘操作共同構(gòu)成。ＬＳＴＭ單元結(jié)構(gòu)共包括三個(gè)門，在圖２．２中由左至右分別是遺??忘門、輸入門和輸出門。??ＬＳＴＭ的第一步是決定我們會(huì)從細(xì)胞狀態(tài)中丟棄什么信息。這個(gè)決定通過(guò)遺??忘門完成。遺忘門會(huì)讀取和ｘ，，輸出在０到１之間的數(shù)值給之前時(shí)刻細(xì)胞??狀態(tài)中的每個(gè)值，１表示“全保留”，０表示“完全舍棄”，用來(lái)表示對(duì)于之??前的細(xì)胞狀態(tài)保留多少。遺忘門的工作原理可以用公式２．９來(lái)表示：??ｆｔ?＝?■?［ｈ，－ｉ，ｘｔ］?＋?ｂｆ）?（２．９）??ＬＳＴＭ的第二步是決定被存放在細(xì)胞狀態(tài)中的新信息量，這個(gè)決定通過(guò)輸??入門完成。這個(gè)部分包括兩步，一是ｓｉｇｍｏｉｄ層來(lái)決定哪些

運(yùn)行ｓｉｇｍｏｉｄ層來(lái)決定細(xì)胞狀態(tài)的哪些部分被輸出，如公式２．１３所??示，并利用之前得到的新細(xì)胞狀態(tài)，通過(guò)ｔａｎｈ層進(jìn)行處理，最后將ｔａｎｈ處理后??的結(jié)果與ｓｉｇｍｏｉｄ處理后的系數(shù)相乘得到最終的輸出，如公式２．１４所示。??ＬＳＴＭ網(wǎng)絡(luò)通過(guò)遺忘門、輸入門和輸出門的設(shè)計(jì)來(lái)實(shí)現(xiàn)了對(duì)于長(zhǎng)期信息的記??憶，在語(yǔ)音以及圖像各個(gè)任務(wù)上表現(xiàn)出色，因此本文中使用的神經(jīng)網(wǎng)絡(luò)模型均以??ＬＳＴＭ層作為隱層，以求達(dá)到最優(yōu)性能。??２．３．２基于ＬＳＴＭ的語(yǔ)音分離??基于ＬＳＴＭ的語(yǔ)音分離處理流程如圖２．３所示：基于ＬＳＴＭ的語(yǔ)音分離技??Ｍｏｄｅｌ?Ｔｒａｉｎｉｎｇ?Ｓｔａｇｅ??’?Ｃｈｉｌｄ／Ｍｉｘｅｄ?ｆ＼?Ｓｅｐａｒａｔｉｏｎ??？－Ｖ－＼?？?？?１—Ａ?？?ｍ?？?？??Ｔｒａｉｎｉｎｇ??？?＾??？?Ｍｏｄｅｌ??＼?Ｓａｍｐｌｅｓ?＼）?＼?ＥｘｔｒａＣｔｌ〇ｎ?［?Ｔｒａｉｎｉｎｇ??Ｄｅｃｏｄｉｎｇ?Ｓｔａｇｅ??＾?Ｎｏｉｓｙ?Ｍｉｘｅｄ?ＬＰＳ?Ｆｅａｔｕｒｅ???Ｓｐｅｅｃｈ???Ｗａｖｅｆｏｒｍ??Ｕｔｔｅｒａｎｃｅ?Ｅｘｔｒａｃｔｉｏｎ?Ｓｅｐａｒａｔｉｏｎ?Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ??Ｖ?Ｗ?Ｉ?：?Ｉ?Ｉ?Ｉ??Ｐｈａｓｅ??圖２．３基于ＬＳＴＭ的語(yǔ)音分離基本框架??術(shù)的基本框架主要分為兩個(gè)階段，分別是ＬＳＴＭ模型的訓(xùn)練階段以及對(duì)測(cè)試數(shù)??據(jù)進(jìn)行分離的階段。模型的訓(xùn)練階段主要目的是用混合語(yǔ)音和與之對(duì)應(yīng)的兒童??語(yǔ)音的數(shù)據(jù)對(duì)來(lái)對(duì)模型的參數(shù)進(jìn)行訓(xùn)練，得到可以用于語(yǔ)音分離的ＬＳＴＭ模型，??模型訓(xùn)練部分主要包含數(shù)據(jù)生成、特征提取以及神經(jīng)網(wǎng)絡(luò)訓(xùn)練三個(gè)部分。在分離??

【參考文獻(xiàn)】：
博士論文
[1]復(fù)雜環(huán)境下基于深度學(xué)習(xí)的語(yǔ)音信號(hào)預(yù)處理方法研究[D]. 高天.中國(guó)科學(xué)技術(shù)大學(xué) 2018
[2]基于深度學(xué)習(xí)的說(shuō)話人無(wú)關(guān)單通道語(yǔ)音分離[D]. 王燕南.中國(guó)科學(xué)技術(shù)大學(xué) 2017
[3]基于深層神經(jīng)網(wǎng)絡(luò)的語(yǔ)音增強(qiáng)方法研究[D]. 徐勇.中國(guó)科學(xué)技術(shù)大學(xué) 2015

碩士論文
[1]基于聽覺計(jì)算模型和深度神經(jīng)網(wǎng)絡(luò)的雙耳語(yǔ)音分離[D]. 范娜娜.中國(guó)科學(xué)技術(shù)大學(xué) 2017



本文編號(hào)：2928422