基于深度學習的說話人識別算法
發(fā)布時間：2020-12-26 00:56
說話人識別又稱為聲紋識別,是一門根據(jù)聲紋特征來判斷說話者身份的技術(shù),廣泛的應用于各個領(lǐng)域,具有很實用的研究價值。隨著計算機硬件性能的提升,基于深度學習的聲紋識別技術(shù)成為了主流方法之一,然而在深度學習任務(wù)中,往往是學習單一的說話人分類器模型來預測標簽,又或者采用簡單的相似度判決方法實現(xiàn)模型的匹配,導致最終訓練出的聲紋特征判別力不足,本文為了提取判別能力較強的聲紋特征,通過對傳統(tǒng)的損失函數(shù)進行改進,使得改進的損失函數(shù)監(jiān)督訓練出的網(wǎng)絡(luò)模型能夠有效的提高說話人識別精度。本文的工作內(nèi)容如下:1.首先從稠密型網(wǎng)絡(luò)(DenseNet)的最后一層隱藏層提取出說話人的低維特征,然后采用提出的ICTL,損失函數(shù)作為DenseNet最后一層隱藏層的目標函數(shù),ICTL由三元組損失(Triplet Loss)和改進的三元組損失(ICL)組合而成,它們負責計算出最后一層隱藏層中提取的三元組特征之間的相似度損失,然后使用Softmax Loss計算出DenseNet最后一層分類層對應的三元組樣本的預測身份與真實身份之間的誤差損失。ICTL是Softmax Loss的輔助損失函數(shù),通過ICTL對DenseNet最后一...
【文章來源】：南昌大學江西省 211工程院校
【文章頁數(shù)】：62 頁
【學位級別】：碩士
【部分圖文】：
圖２．５?ＣＮＮ模型??
?第２章說話人識別基本概述???數(shù)、池化層以及全連接層四部分構(gòu)成，如圖２．５所示。??ｒ—?■分類??輸入層?卷積層?泄化層?全連接１??激活函數(shù)??圖２．５?ＣＮＮ模型??（１）卷積層??卷積層由多個卷積核進行卷積操作，卷積核等同于一個特征提取器，每個卷??積核可以從單一的角度提取特征，其表達式如下：??０－１?／－Ｉ?、??（２－２６）??ｙ?ｙ＝ｏ?／＝〇?）??其中，ｘ表示大小為ＭｘｉＶ的二維矩陣，＞１；是／＼／的卷積核，６表示偏置，／為??激活函數(shù)。??（２）激活函數(shù)??ＣＮＮ中最常用的激活函數(shù)是ＲｅＬＵ函數(shù)ｔ５１］，它可以有效地解決網(wǎng)絡(luò)訓練時??產(chǎn)生的梯度消失問題，其學習曲線如圖２．６所示。??“?ｙ??ｆ（ｘ）＝ｘ??／（■＊）＝〇?ｙ／????？??０?－Ｖ??圖２．６?ＲｅＬＵ函數(shù)曲線圖??（３）池化層??池化層通過池化操作可以縮減特征圖的規(guī)模，從而有效降低網(wǎng)絡(luò)參數(shù)的復??１３??
?第２章說話人識別基本概述???從式（２．３３）可以看出，Ｔｒｉｐｌｅｔ?Ｌｏｓｓ?要求丨｜／Ｋ）－／（ｘｆ）ｇ?比｜｜／（＜）－／（ｘ；）｜｜；至少??要小于三元組才能產(chǎn)生損失值。??Ｄｅｅｐ?Ｓｐｅａｋｅｒ中三元組樣本的學習過程可表示成圖２．９的形式。??Ｎｅｇａｔｉｖｅ?Ｐｏｓｉｔｉｖｅ??Ｌｅａｒｎｉｎｇ??＾?？＜??Ａｎｃｈｏｒ＾?ＡｎｃｈｏＮ＾??Ｐｏｓｉｔｉｖｅ?Ｎｅｇａｔｉｖｅ??圖２．９三元組樣本的的學習過程??值得注意的是，Ｄｅｅｐ?Ｓｐｅａｋｅｒ識別系統(tǒng)采用在線挖掘的方式生成三元組樣本??對。在每一批輸入樣本中，根據(jù)每個樣本對應的輸出特征，進行三元組樣本對的??選擇，最后根據(jù)損失函數(shù)計算出當前誤差。本文選擇ＲｅｓＮｅｔ－３４作為實驗中的對??比模型。其中輸入端選擇１６０巾貞的Ｆｂａｎｋｓ＋Ａ＋Ａ２作為模型的輸入巾貞大小，對每中貞??提�。叮淳S的動靜態(tài)特征信息，并堆疊成６４ｘ３的形式，ＲｅｓＮｅｔ－３４模型最后一層隱??藏層輸出的聲紋特征為５１２維，批次大小設(shè)置為６４。Ｄｅｅｐ?Ｓｐｅａｋｅｒ系統(tǒng)的訓練??過程如圖２．１０所示。??ＢＰ算法??ＲｅｓＮｅｔ??聲紋特征ｊ?１??１???二兀組?？?ＲｅｓＮｅｔ內(nèi)部丨一？最后一層隱藏層Ｔｒｉｐｌｅｔ?Ｌｏｓｓ??圖２．１０?Ｄｅｅｐ?Ｓｐｅａｋｅｒ的訓練流程??２．５．５?ＤｅｎｓｅＮｅｔ??ＤｅｎｓｅＮｅｔ的模型結(jié)構(gòu)如圖２．１１所示。??１７??
【參考文獻】：
期刊論文
[1]基于深度學習的指紋識別方法研究[J]. 陳虹旭,李曉坤,鄭永亮,袁烺,邵娜,楊磊,劉磊. 智能計算機與應用. 2018(03)
[2]基于改進的深度神經(jīng)網(wǎng)絡(luò)的說話人辨認研究[J]. 趙艷,呂亮,趙力. 電子器件. 2017(05)
[3]基于語音信號時變特性的說話人辨認[J]. 徐良軍,費萬春,張偉杰,魯星星. 數(shù)字技術(shù)與應用. 2010(01)
[4]基于MFCC和LPCC的說話人識別[J]. 余建潮,張瑞林. 計算機工程與設(shè)計. 2009(05)
[5]幾種人體生物特征的生物識別技術(shù)比較[J]. 吳作好,曾潔,鄒娟,楊曉東,張堯. 現(xiàn)代電子技術(shù). 2007(14)
碩士論文
[1]基于發(fā)音動作參數(shù)的說話人確認技術(shù)研究[D]. 張艷.上海師范大學 2018
本文編號：2938719
【文章來源】：南昌大學江西省 211工程院校
【文章頁數(shù)】：62 頁
【學位級別】：碩士
【部分圖文】：
圖２．５?ＣＮＮ模型??
?第２章說話人識別基本概述???數(shù)、池化層以及全連接層四部分構(gòu)成，如圖２．５所示。??ｒ—?■分類??輸入層?卷積層?泄化層?全連接１??激活函數(shù)??圖２．５?ＣＮＮ模型??（１）卷積層??卷積層由多個卷積核進行卷積操作，卷積核等同于一個特征提取器，每個卷??積核可以從單一的角度提取特征，其表達式如下：??０－１?／－Ｉ?、??（２－２６）??ｙ?ｙ＝ｏ?／＝〇?）??其中，ｘ表示大小為ＭｘｉＶ的二維矩陣，＞１；是／＼／的卷積核，６表示偏置，／為??激活函數(shù)。??（２）激活函數(shù)??ＣＮＮ中最常用的激活函數(shù)是ＲｅＬＵ函數(shù)ｔ５１］，它可以有效地解決網(wǎng)絡(luò)訓練時??產(chǎn)生的梯度消失問題，其學習曲線如圖２．６所示。??“?ｙ??ｆ（ｘ）＝ｘ??／（■＊）＝〇?ｙ／????？??０?－Ｖ??圖２．６?ＲｅＬＵ函數(shù)曲線圖??（３）池化層??池化層通過池化操作可以縮減特征圖的規(guī)模，從而有效降低網(wǎng)絡(luò)參數(shù)的復??１３??
?第２章說話人識別基本概述???從式（２．３３）可以看出，Ｔｒｉｐｌｅｔ?Ｌｏｓｓ?要求丨｜／Ｋ）－／（ｘｆ）ｇ?比｜｜／（＜）－／（ｘ；）｜｜；至少??要小于三元組才能產(chǎn)生損失值。??Ｄｅｅｐ?Ｓｐｅａｋｅｒ中三元組樣本的學習過程可表示成圖２．９的形式。??Ｎｅｇａｔｉｖｅ?Ｐｏｓｉｔｉｖｅ??Ｌｅａｒｎｉｎｇ??＾?？＜??Ａｎｃｈｏｒ＾?ＡｎｃｈｏＮ＾??Ｐｏｓｉｔｉｖｅ?Ｎｅｇａｔｉｖｅ??圖２．９三元組樣本的的學習過程??值得注意的是，Ｄｅｅｐ?Ｓｐｅａｋｅｒ識別系統(tǒng)采用在線挖掘的方式生成三元組樣本??對。在每一批輸入樣本中，根據(jù)每個樣本對應的輸出特征，進行三元組樣本對的??選擇，最后根據(jù)損失函數(shù)計算出當前誤差。本文選擇ＲｅｓＮｅｔ－３４作為實驗中的對??比模型。其中輸入端選擇１６０巾貞的Ｆｂａｎｋｓ＋Ａ＋Ａ２作為模型的輸入巾貞大小，對每中貞??提�。叮淳S的動靜態(tài)特征信息，并堆疊成６４ｘ３的形式，ＲｅｓＮｅｔ－３４模型最后一層隱??藏層輸出的聲紋特征為５１２維，批次大小設(shè)置為６４。Ｄｅｅｐ?Ｓｐｅａｋｅｒ系統(tǒng)的訓練??過程如圖２．１０所示。??ＢＰ算法??ＲｅｓＮｅｔ??聲紋特征ｊ?１??１???二兀組?？?ＲｅｓＮｅｔ內(nèi)部丨一？最后一層隱藏層Ｔｒｉｐｌｅｔ?Ｌｏｓｓ??圖２．１０?Ｄｅｅｐ?Ｓｐｅａｋｅｒ的訓練流程??２．５．５?ＤｅｎｓｅＮｅｔ??ＤｅｎｓｅＮｅｔ的模型結(jié)構(gòu)如圖２．１１所示。??１７??
【參考文獻】：
期刊論文
[1]基于深度學習的指紋識別方法研究[J]. 陳虹旭,李曉坤,鄭永亮,袁烺,邵娜,楊磊,劉磊. 智能計算機與應用. 2018(03)
[2]基于改進的深度神經(jīng)網(wǎng)絡(luò)的說話人辨認研究[J]. 趙艷,呂亮,趙力. 電子器件. 2017(05)
[3]基于語音信號時變特性的說話人辨認[J]. 徐良軍,費萬春,張偉杰,魯星星. 數(shù)字技術(shù)與應用. 2010(01)
[4]基于MFCC和LPCC的說話人識別[J]. 余建潮,張瑞林. 計算機工程與設(shè)計. 2009(05)
[5]幾種人體生物特征的生物識別技術(shù)比較[J]. 吳作好,曾潔,鄒娟,楊曉東,張堯. 現(xiàn)代電子技術(shù). 2007(14)
碩士論文
[1]基于發(fā)音動作參數(shù)的說話人確認技術(shù)研究[D]. 張艷.上海師范大學 2018
本文編號：2938719
本文鏈接：http://sikaile.net/kejilunwen/zidonghuakongzhilunwen/2938719.html
最近更新
教材專著
