在現(xiàn)實(shí)環(huán)境中,人們感興趣的語音信號通常會(huì)被噪音或其他背景音所干擾,這些噪音對現(xiàn)實(shí)語音質(zhì)量存在嚴(yán)重的損害,也對語音識別模型的性能存在一定考驗(yàn)。為了區(qū)分真實(shí)語音中的噪音和混合的目標(biāo)說話人聲音,語音分離技術(shù)是最常用的方法。近年來,得益于深度學(xué)習(xí)的發(fā)展,語音分離技術(shù)取得長足進(jìn)步,但也仍然有許多難點(diǎn),對于分離后的語音信號的恢復(fù)程度和純凈度仍需要不斷提升。因此,基于以上背景,本文圍繞獨(dú)立成分分析、語音視頻處理、生成對抗策略和梯度約束策略等相關(guān)技術(shù)方面對語音信號的分離任務(wù)展開研究。在論文的主體部分中,文章以深度學(xué)習(xí)方法為基礎(chǔ),主要解決的問題是對混合的語音信號進(jìn)行分離,得到純凈的目標(biāo)語音。針對以上問題,本論文基于獨(dú)立性分析和相關(guān)性抑制的思想方法,提出了以下幾點(diǎn)新的應(yīng)用方案:(1)本論文以語音信號作為輸入,提出了一種基于獨(dú)立性分析方法的單通道語音分離結(jié)構(gòu),以及一種基于相關(guān)性抑制方法的單通道語音分離結(jié)構(gòu)。在獨(dú)立性分析方法的結(jié)構(gòu)中,該結(jié)構(gòu)通過分離和重采樣模塊獲得混合信號的聯(lián)合采樣和邊緣乘積采樣,使用對抗網(wǎng)絡(luò)的思想不斷優(yōu)化兩種采樣的相似度,從而保證分離信號之間是相互獨(dú)立的;在相關(guān)性抑制方法的結(jié)構(gòu)中,該結(jié)構(gòu)從最小...

【文章頁數(shù)】：86 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖4-7視頻片段示意

第四章結(jié)合視頻的語音信號分離方法51根據(jù)論文介紹，AVSpeech的生成過程有兩步。第一步，使用Hoover等人[39]的說話人追蹤算法，在眾多的視頻中檢測出包含人類說話動(dòng)作的片段，其中，說話人的臉必須是可見的，模糊、光照不足或姿勢夸張的圖像幀會(huì)被棄用，但如果一個(gè)片段的圖像幀缺失....

本文編號：4020784