本文關(guān)鍵詞：多人會(huì)話語音中的說話人角色分析，由筆耕文化傳播整理發(fā)布。

【摘要】：語音處理的重點(diǎn)正逐步從獨(dú)白語音處理轉(zhuǎn)向多人會(huì)話語音處理。多人會(huì)話語音中出現(xiàn)了獨(dú)白語音所沒有的重要信息:說話人數(shù)、說話人角色、說話人關(guān)鍵程度、重疊語音等。這些信息對(duì)多人會(huì)話語音的語義理解和檢索非常重要。如何有效分析海量的多人會(huì)話語音并從中提取上述重要信息,已成為目前語音處理領(lǐng)域的研究熱點(diǎn)。本文以多人會(huì)話語音作為研究對(duì)象,重點(diǎn)關(guān)注多人參與的討論會(huì)語音、高峰論壇語音、領(lǐng)導(dǎo)人的新聞發(fā)布會(huì)語音及演講語音;主要研究說話人譜聚類、關(guān)鍵說話人估計(jì)、關(guān)鍵說話人同源確認(rèn)、說話人角色聚類、重疊語音檢測(cè)等問題,旨在從海量多人會(huì)話語音中提取更多的說話人信息,拓展目前語音處理系統(tǒng)的功能。本文的主要工作及貢獻(xiàn)如下:(1)針對(duì)當(dāng)前譜聚類方法對(duì)信源空間分布描述不夠準(zhǔn)確,提出一種基于模型距離的說話人譜聚類算法。利用大量說話人無關(guān)語音樣本建立一個(gè)通用背景模型,并在此通用背景模型的基礎(chǔ)上為每個(gè)語音段訓(xùn)練一個(gè)高斯混合模型,最終采用各語音段的高斯混合模型之間的距離構(gòu)建親和矩陣,在模型層實(shí)現(xiàn)說話人譜聚類。采用新聞聯(lián)播和論壇、訪談?wù)Z音作為實(shí)驗(yàn)數(shù)據(jù),實(shí)驗(yàn)結(jié)果表明:所提出的算法與目前基于特征矢量距離的說話人譜聚類算法相比,F值提高了6.38%,運(yùn)算速度約為后者的11.72倍。(2)在(1)的基礎(chǔ)上,通過分析說話人語音,提出一種基于多特征組合的方法估計(jì)多人會(huì)話語音中的關(guān)鍵說話人。首先,對(duì)多個(gè)特征進(jìn)行定義,并分析這些特征對(duì)關(guān)鍵說話人與其他說話人的差異;然后,提取四個(gè)有效的音頻特征,構(gòu)造一個(gè)加權(quán)判決函數(shù);最后,采用遺傳算法對(duì)各個(gè)特征權(quán)重系數(shù)進(jìn)行優(yōu)化獲得最佳加權(quán)系數(shù)。該方法無需訓(xùn)練復(fù)雜的分類器,有效實(shí)現(xiàn)多人會(huì)話語音中的關(guān)鍵說話人估計(jì)。采用三種不同類型的多人會(huì)話語音進(jìn)行評(píng)估,實(shí)驗(yàn)結(jié)果表明:采用優(yōu)化后的特征權(quán)重系數(shù)估計(jì)關(guān)鍵說話人得到的平均正確率為93.3%,比文獻(xiàn)報(bào)道的主流方法提高了9.7%,比優(yōu)化前提高了4.1%。(3)對(duì)關(guān)鍵說話人語音進(jìn)行同源確認(rèn),目的是去除被誤判為關(guān)鍵說話人的非關(guān)鍵說話人語音,以及找回被誤判為非關(guān)鍵說話人的關(guān)鍵說話人語音。為此提出深層說話人矢量的概念,并闡述了深層說話人矢量的構(gòu)建方法;然后利用深層特征對(duì)關(guān)鍵說話人進(jìn)行同源確認(rèn)。同源確認(rèn)分為三個(gè)階段:1)利用淺層特征在被初判為關(guān)鍵說話人的語音里找出最有可能的關(guān)鍵說話人語音;2)利用這些關(guān)鍵說話人語音進(jìn)行深度學(xué)習(xí),訓(xùn)練深層特征和深層說話人矢量;3)使用深層說話人矢量對(duì)關(guān)鍵說話人進(jìn)行確認(rèn)。最終關(guān)鍵說話人同源確認(rèn)的錯(cuò)誤接受率為1.28%,錯(cuò)誤拒絕率為4.79%,該算法能有效地將關(guān)鍵說話人確認(rèn)出來。(4)在(2)的基礎(chǔ)上,為了有效分析不同類型多人會(huì)話語音中的說話人角色個(gè)數(shù)及各角色的說話人語音,定義并提取各個(gè)說話人的角色特征;然后,借鑒于半監(jiān)督學(xué)習(xí)因?yàn)閹?biāo)簽的訓(xùn)練數(shù)據(jù)很難得到,從而利用其他任務(wù)的數(shù)據(jù)、模型、或者沒有標(biāo)簽的數(shù)據(jù)來提升算法的性能,提出利用待聚類音頻文件數(shù)據(jù)與其它音頻文件數(shù)據(jù)共同建立圖模型,并采用該圖模型上的測(cè)地距離來衡量單個(gè)音頻文件中說話人樣本之間的相似度,進(jìn)而提升無監(jiān)督聚類的性能;接著,針對(duì)層次聚類的不足,提出一種利用類內(nèi)距離控制類間合并的說話人角色聚類算法。最后,采用四種不同類型多人會(huì)話語音對(duì)說話人角色聚類方法進(jìn)行性能評(píng)估,實(shí)驗(yàn)結(jié)果表明:該方法能有效解決多說話人角色聚類問題,為后續(xù)說話人檢索、說話人高層語義信息提取奠定堅(jiān)實(shí)基礎(chǔ)。(5)為了消除重疊語音對(duì)多人會(huì)話語音的說話人分割聚類所產(chǎn)生的負(fù)面影響,針對(duì)目前重疊語音檢測(cè)方法所采用特征的不足,闡述短時(shí)語音分形維數(shù)特征的提取方法,分析分形維數(shù)對(duì)重疊語音與單人語音的區(qū)分性能,并提出一種基于分形維數(shù)的重疊語音檢測(cè)方法。實(shí)驗(yàn)結(jié)果表明:美爾頻率倒譜系數(shù)特征與分形維數(shù)特征的結(jié)合能夠達(dá)到最高81%的重疊語音辨識(shí)率,優(yōu)于其它傳統(tǒng)特征的辨識(shí)率。綜上所述,本文以多人會(huì)話語音作為研究對(duì)象,對(duì)多人會(huì)話語音的說話人譜聚類、關(guān)鍵說話人估計(jì)及同源確認(rèn)、說話人角色聚類、重疊語音檢測(cè)等問題進(jìn)行了深入研究,并取得了一些有益的研究成果,為進(jìn)一步提高多人會(huì)話語音分析與檢索系統(tǒng)的性能奠定了基礎(chǔ)。
【關(guān)鍵詞】：說話人角色 說話人譜聚類 關(guān)鍵說話人 同源確認(rèn) 重疊語音
【學(xué)位授予單位】：華南理工大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2015
【分類號(hào)】：TN912.34
【目錄】：

• 摘要5-7
• ABSTRACT7-16
• 主要縮寫對(duì)照表16-18
• 第一章 緒論18-29
• 1.1 選題背景及意義18-19
• 1.2 國(guó)內(nèi)外研究現(xiàn)狀19-24
• 1.3 實(shí)驗(yàn)數(shù)據(jù)庫及實(shí)驗(yàn)平臺(tái)24-26
• 1.3.1 自建數(shù)據(jù)庫24-25
• 1.3.2 通用數(shù)據(jù)庫25-26
• 1.3.3 實(shí)驗(yàn)平臺(tái)26
• 1.4 論文主要工作及章節(jié)安排26-29
• 1.4.1 論文主要工作26-27
• 1.4.2 論文章節(jié)安排27-29
• 第二章 基于模型距離的說話人譜聚類29-49
• 2.1 譜聚類簡(jiǎn)介29-35
• 2.1.1 譜圖理論29-30
• 2.1.2 譜圖劃分準(zhǔn)則30-32
• 2.1.3 譜聚類算法32-35
• 2.2 基于模型距離的說話人譜聚類35-41
• 2.2.1 GMM-UBM-MAP結(jié)構(gòu)35-38
• 2.2.2 有限長(zhǎng)觀察序列的模型對(duì)概率距離38-39
• 2.2.3 基于模型距離的親和矩陣39-40
• 2.2.4 基于模型距離的說話人譜聚類方法40-41
• 2.3 算法復(fù)雜度分析41-42
• 2.4 實(shí)驗(yàn)結(jié)果及分析42-48
• 2.4.1 實(shí)驗(yàn)數(shù)據(jù)42-43
• 2.4.2 評(píng)價(jià)指標(biāo)43
• 2.4.3 結(jié)果及分析43-48
• 2.5 本章小結(jié)48-49
• 第三章 基于多特征組合的關(guān)鍵說話人估計(jì)49-61
• 3.1 特征區(qū)分性分析49-52
• 3.2 關(guān)鍵說話人估計(jì)方法52-56
• 3.2.1 關(guān)鍵說話人估計(jì)52-53
• 3.2.2 特征加權(quán)系數(shù)優(yōu)化53-56
• 3.3 實(shí)驗(yàn)結(jié)果及分析56-60
• 3.3.1 實(shí)驗(yàn)設(shè)置56-57
• 3.3.2 結(jié)果分析57-60
• 3.4 本章小結(jié)60-61
• 第四章 基于深層特征的關(guān)鍵說話人同源確認(rèn)61-77
• 4.1 深度學(xué)習(xí)介紹63-66
• 4.2 深度特征提取器構(gòu)建66-69
• 4.3 深層說話人矢量構(gòu)建69-70
• 4.4 基于深層特征的關(guān)鍵說話人同源確認(rèn)70-72
• 4.4.1 關(guān)鍵說話人語音尋找71
• 4.4.2 關(guān)鍵說話人同源確認(rèn)71-72
• 4.5 實(shí)驗(yàn)結(jié)果及分析72-76
• 4.5.1 實(shí)驗(yàn)設(shè)置72-74
• 4.5.2 結(jié)果分析74-76
• 4.6 本章小結(jié)76-77
• 第五章 多說話人角色聚類77-93
• 5.1 相關(guān)聚類及距離度量方法78-80
• 5.1.1 分層聚類78-79
• 5.1.2 距離度量方法79-80
• 5.2 不同角色說話人的區(qū)分性特征80-81
• 5.3 說話人角色聚類81-87
• 5.3.1 改進(jìn)的測(cè)地距離82-85
• 5.3.2 說話人聚類算法85-87
• 5.4 實(shí)驗(yàn)結(jié)果及分析87-92
• 5.4.1 實(shí)驗(yàn)設(shè)置87-89
• 5.4.2 結(jié)果分析89-92
• 5.5 本章小結(jié)92-93
• 第六章 重疊語音檢測(cè)93-102
• 6.1 特征定義93-97
• 6.1.1 傳統(tǒng)特征93-95
• 6.1.2 分形維數(shù)95-97
• 6.2 重疊語音的檢測(cè)97-100
• 6.2.1 分形維數(shù)特征的提取97-98
• 6.2.2 重疊與非重疊語音分形維數(shù)特征差異98-99
• 6.2.3 重疊語音檢測(cè)流程99-100
• 6.3 實(shí)驗(yàn)結(jié)果及分析100-101
• 6.3.1 實(shí)驗(yàn)設(shè)置100
• 6.3.2 結(jié)果分析100-101
• 6.4 本章小結(jié)101-102
• 結(jié)論102-105
• 研究總結(jié)102-103
• 后續(xù)工作展望103-105
• 參考文獻(xiàn)105-117
• 攻讀博士學(xué)位期間取得的研究成果117-119
• 致謝119-120
• 附件120

【參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫 前3條

1 Jia ZHOU;Liang Wen LIAO;;Hausdorf Dimension of Quadratic Rational Julia Sets[J];Acta Mathematica Sinica(English Series);2014年02期

2 余凱;賈磊;陳雨強(qiáng);徐偉;;深度學(xué)習(xí)的昨天、今天和明天[J];計(jì)算機(jī)研究與發(fā)展;2013年09期

3 賈麗會(huì);張修如;;分形理論及在信號(hào)處理中的應(yīng)用[J];計(jì)算機(jī)技術(shù)與發(fā)展;2007年09期

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫 前2條

1 李艷雄;自然口語語音中非文字音頻事件檢測(cè)方法研究[D];華南理工大學(xué);2009年

2 楊繼臣;說話人信息分析及其在多媒體檢索中的應(yīng)用研究[D];華南理工大學(xué);2010年

  本文關(guān)鍵詞：多人會(huì)話語音中的說話人角色分析，由筆耕文化傳播整理發(fā)布。

，

本文編號(hào)：370298