本文關(guān)鍵詞：普通話自由表述口語評(píng)測(cè)關(guān)鍵技術(shù)的研究

  更多相關(guān)文章： PSC 自由表述口語 語音評(píng)測(cè) 后驗(yàn)概率 多語種-神經(jīng)網(wǎng)絡(luò) 遞歸神經(jīng)網(wǎng)絡(luò) 條件隨機(jī)場(chǎng) 矢量空間模型

【摘要】：口語評(píng)測(cè)是一種學(xué)生按照某種要求發(fā)音,計(jì)算機(jī)根據(jù)學(xué)生發(fā)音的標(biāo)準(zhǔn)程度來自動(dòng)評(píng)分的技術(shù)。傳統(tǒng)的文本相關(guān)評(píng)測(cè)任務(wù)要求學(xué)生嚴(yán)格依照指定的文本發(fā)音,對(duì)應(yīng)朗讀或者嚴(yán)格背誦的情境,通常采用幀規(guī)整對(duì)數(shù)后驗(yàn)概率作為衡量發(fā)音標(biāo)準(zhǔn)程度最主要的特征,該特征與人工分具有較高的相關(guān)度,此技術(shù)也已經(jīng)有了廣泛而成功的應(yīng)用。但在文本無關(guān)情境下,比如要求考生在給定主題約束下,針對(duì)該主題進(jìn)行一段自由表述,通過衡量發(fā)音的標(biāo)準(zhǔn)程度和詞匯語法使用規(guī)范程度來評(píng)分,這種任務(wù)無論國內(nèi)還是國際上都鮮有研究；本文嘗試對(duì)此展開初步的研究工作。具體的,是針對(duì)國內(nèi)普通話水平測(cè)試(Putonghua Shuiping Ceshi, PSC)的第4題進(jìn)行自動(dòng)評(píng)分的研究。該題要求考生在3分鐘內(nèi)進(jìn)行一段給定主題的自由表述,與本文的研究非常契合。本文的主要研究工作概述如下：首先,本文探究了如何采用識(shí)別的方法,對(duì)文本無關(guān)口語評(píng)測(cè)計(jì)算類似于文本相關(guān)任務(wù)中常用的后驗(yàn)概率特征,以此來評(píng)估發(fā)音的標(biāo)準(zhǔn)程度。具體的,利用DNN-HMM的語音識(shí)別模型對(duì)考生表述的語音做識(shí)別,再在此框架下計(jì)算解碼中的每個(gè)音素相對(duì)于發(fā)音矢量的后驗(yàn)概率,并針對(duì)PSC考試第4題的具體情境進(jìn)行了改進(jìn)。實(shí)驗(yàn)表明,該后驗(yàn)概率與人工分具有較高的相關(guān)度。其次,由于本論文后驗(yàn)概率特征計(jì)算的過程非常依賴于識(shí)別的性能,為了提升識(shí)別器的準(zhǔn)確率,采用遞歸神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network, RNN)語言模型來對(duì)一遍解碼出的N-best候選做語言模型得分重估計(jì)(Rescoring),選取Rescoring后得分最大的候選句子作為新的識(shí)別結(jié)果：實(shí)驗(yàn)結(jié)果發(fā)現(xiàn),這樣修正后無論是識(shí)別率還是后驗(yàn)概率特征與人工分的相關(guān)度,都有一定的提升。再者,為了衡量考生表述語音中的方言口音程度,本論文借鑒多語種-神經(jīng)網(wǎng)絡(luò)(Multi-lingual Neural Network)的方法,在解碼神經(jīng)網(wǎng)絡(luò)的輸出引入額外的方言數(shù)據(jù)狀態(tài)節(jié)點(diǎn),獲得每一幀數(shù)據(jù)相對(duì)于方言數(shù)據(jù)模型的似然度得分,從而在后驗(yàn)概率計(jì)算公式的分母上引入方言得分,初步估計(jì)發(fā)音的方言程度。然后,為了關(guān)注表述的流暢程度,本論文采用每句話的音素平均發(fā)音幀數(shù)來計(jì)算語速特征,以此初步估計(jì)流暢程度。另外,嘗試使用條件隨機(jī)場(chǎng)(Conditional Random Field, CRF)訓(xùn)練分句模型,從內(nèi)容上對(duì)識(shí)別結(jié)果進(jìn)行句子邊界判斷。實(shí)驗(yàn)表明,重新分句后計(jì)算的語速特征與人工分具有更高的相關(guān)度。最后,使用矢量空間模型(Vector Space Model, VSM)對(duì)識(shí)別結(jié)果建模,從內(nèi)容上評(píng)估表述的詞匯語法使用規(guī)范程度。實(shí)驗(yàn)發(fā)現(xiàn),對(duì)VSM模型采用一層RBM變換會(huì)獲得較好的性能。同時(shí),為了評(píng)分的公平性,還進(jìn)行了離題檢測(cè)相關(guān)任務(wù)。
【關(guān)鍵詞】：PSC 自由表述口語 語音評(píng)測(cè) 后驗(yàn)概率 多語種-神經(jīng)網(wǎng)絡(luò) 遞歸神經(jīng)網(wǎng)絡(luò) 條件隨機(jī)場(chǎng) 矢量空間模型
【學(xué)位授予單位】：中國科學(xué)技術(shù)大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：TN912.34
【目錄】：

• 摘要5-6
• ABSTRACT6-12
• 第一章 緒論12-20
• 1.1 研究背景及意義12-14
• 1.2 國內(nèi)外研究現(xiàn)狀14-17
• 1.3 本文主要研究內(nèi)容及結(jié)構(gòu)安排17-20
• 第二章 基于深度神經(jīng)網(wǎng)絡(luò)的后驗(yàn)概率計(jì)算方法20-28
• 2.1 基于HMM模型的語音識(shí)別基本原理20-22
• 2.2 DNN模型應(yīng)用于語音識(shí)別22-24
• 2.3 DNN-HMM模型下后驗(yàn)概率的計(jì)算24-25
• 2.4 針對(duì)PSC考試背景的后驗(yàn)概率應(yīng)用25
• 2.4.1 靜音段比例與后驗(yàn)概率加權(quán)25
• 2.4.2 后驗(yàn)概率判斷發(fā)音正確與否25
• 2.5 實(shí)驗(yàn)結(jié)果和分析25-28
• 2.5.1 DNN-HMM識(shí)別器識(shí)別性能簡介25-26
• 2.5.2 評(píng)測(cè)集合簡介26
• 2.5.3 后驗(yàn)概率特征初步性能26-28
• 第三章 后驗(yàn)概率計(jì)算改進(jìn)算法28-36
• 3.1 基于語言模型的識(shí)別結(jié)果修正28-30
• 3.1.1 RNN語言模型簡介28-29
• 3.1.2 RNN語言模型修正識(shí)別結(jié)果29-30
• 3.2 基于多語種-神經(jīng)網(wǎng)絡(luò)方法的發(fā)音方言程度評(píng)估30-32
• 3.2.1 多語種-神經(jīng)網(wǎng)絡(luò)方法簡介30-31
• 3.2.2 多語種方法應(yīng)用于方言程度評(píng)估31-32
• 3.3 實(shí)驗(yàn)結(jié)果和分析32-36
• 3.3.1 RNN語言模型修正性能32-34
• 3.3.2 語種-神經(jīng)網(wǎng)絡(luò)方法性能34-36
• 第四章 基于條件隨機(jī)場(chǎng)的語速特征計(jì)算方法36-44
• 4.1 條件隨機(jī)場(chǎng)模型簡介36-40
• 4.2 基礎(chǔ)語速特征提取方法40-41
• 4.3 CRF模型判斷句子邊界標(biāo)識(shí)41-42
• 4.4 實(shí)驗(yàn)結(jié)果和分析42-44
• 第五章 基于矢量空間模型的詞匯語法使用規(guī)范評(píng)估44-52
• 5.1 矢量空間模型簡介44-45
• 5.2 詞匯語法規(guī)范評(píng)估方法45-46
• 5.3 離題檢測(cè)方法46-48
• 5.4 實(shí)驗(yàn)結(jié)果和分析48-52
• 5.4.1 VSM特征性能48
• 5.4.2 離題檢測(cè)性能48-50
• 5.4.3 最終評(píng)分性能50-52
• 第六章 總結(jié)52-54
• 6.1 本文的主要貢獻(xiàn)與創(chuàng)新點(diǎn)52-53
• 6.2 后續(xù)工作展望53-54
• 參考文獻(xiàn)54-58
• 致謝58-60
• 在讀期間發(fā)表的學(xué)術(shù)論文與取得的研究成果60

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 婁震,金忠,楊靜宇;基于類條件置信變換的后驗(yàn)概率估計(jì)方法[J];計(jì)算機(jī)學(xué)報(bào);2005年01期

2 周壽軍;周智洋;邱建平;王文輝;尹洪男;;基于后驗(yàn)概率的呼吸信號(hào)預(yù)測(cè)[J];中國生物醫(yī)學(xué)工程學(xué)報(bào);2009年02期

3 馮志遠(yuǎn);張連海;;基于音素后驗(yàn)概率和層次凝聚聚類算法的音素邊界檢測(cè)[J];太赫茲科學(xué)與電子信息學(xué)報(bào);2014年02期

4 鄭海紅;曾平;;基于最大后驗(yàn)概率的逆半調(diào)改進(jìn)方法[J];西安交通大學(xué)學(xué)報(bào);2005年12期

5 李向軍;李良福;;基于后驗(yàn)概率度量的粒子濾波跟蹤算法研究[J];應(yīng)用光學(xué);2011年04期

6 張文生,王玨,戴國忠;支持向量機(jī)中引入后驗(yàn)概率的理論和方法研究[J];計(jì)算機(jī)研究與發(fā)展;2002年04期

7 鄒士新;馬遠(yuǎn)良;楊坤德;雷波;;匹配場(chǎng)反演后驗(yàn)概率分析[J];系統(tǒng)仿真學(xué)報(bào);2005年12期

8 孟莎;余鵬;Frank Seide;劉加;;基于后驗(yàn)概率詞格的漢語自然對(duì)話語音索引[J];清華大學(xué)學(xué)報(bào)(自然科學(xué)版);2008年S1期

9 文志強(qiáng);蔡自興;;一種最大后驗(yàn)概率條件下的運(yùn)動(dòng)目標(biāo)檢測(cè)方法[J];小型微型計(jì)算機(jī)系統(tǒng);2008年05期

10 鄭鐵然;韓紀(jì)慶;;基于后驗(yàn)概率的漢語語音檢索方法研究[J];高技術(shù)通訊;2009年02期

中國重要會(huì)議論文全文數(shù)據(jù)庫 前10條

1 鄒士新;馬遠(yuǎn)良;楊坤德;雷波;;匹配場(chǎng)反演后驗(yàn)概率分析[A];中國聲學(xué)學(xué)會(huì)2005年青年學(xué)術(shù)會(huì)議[CYCA'05]論文集[C];2005年

2 嚴(yán)可;魏思;戴禮榮;劉慶峰;;基于音素相關(guān)后驗(yàn)概率變換的發(fā)音質(zhì)量評(píng)價(jià)[A];第十一屆全國人機(jī)語音通訊學(xué)術(shù)會(huì)議論文集（二）[C];2011年

3 張文生;王玨;;支持向量機(jī)中引入后驗(yàn)概率的理論和方法研究[A];2001年中國智能自動(dòng)化會(huì)議論文集（下冊(cè)）[C];2001年

4 張希娟;朱靖波;;主動(dòng)學(xué)習(xí)中后驗(yàn)概率尖銳現(xiàn)象的平滑處理[A];第三屆全國信息檢索與內(nèi)容安全學(xué)術(shù)會(huì)議論文集[C];2007年

5 張學(xué)磊;李整林;;簡正波頻散特性反演結(jié)果的后驗(yàn)概率分析[A];2008年全國聲學(xué)學(xué)術(shù)會(huì)議論文集[C];2008年

6 韋艷艷;李陶深;;一種改進(jìn)的基于加權(quán)平均后驗(yàn)概率的1-層泛化方法[A];第二十一屆中國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2004年

7 孟莎;余鵬;Frank Seide;劉加;;基于后驗(yàn)概率詞格的漢語自然對(duì)話語音索引[A];第九屆全國人機(jī)語音通訊學(xué)術(shù)會(huì)議論文集[C];2007年

8 王曉紅;;一種改進(jìn)多類支持向量機(jī)加權(quán)后驗(yàn)概率重構(gòu)策略[A];2009中國控制與決策會(huì)議論文集（3）[C];2009年

9 嚴(yán)可;魏思;戴禮榮;劉慶峰;;基于音素相關(guān)后驗(yàn)概率變換的發(fā)音質(zhì)量評(píng)價(jià)[A];第十一屆全國人機(jī)語音通訊學(xué)術(shù)會(huì)議論文集（一）[C];2011年

10 姚舒恬;陸佶人;方世良;;一種基于最大后驗(yàn)概率判決的線譜檢測(cè)方法[A];2004年全國水聲學(xué)學(xué)術(shù)會(huì)議論文集[C];2004年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前1條

1 石磊;自主式車輛環(huán)境感知技術(shù)研究[D];南京理工大學(xué);2010年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前5條

1 許蘇魁;普通話自由表述口語評(píng)測(cè)關(guān)鍵技術(shù)的研究[D];中國科學(xué)技術(shù)大學(xué);2016年

2 代大攀;基于后驗(yàn)概率和流形正則化的半監(jiān)督分類方法研究[D];華中科技大學(xué);2012年

3 石磊;基于后驗(yàn)概率加權(quán)的模糊支持向量分類機(jī)研究及應(yīng)用[D];重慶師范大學(xué);2009年

4 萬方;一種基于ROC分析的多類別分類方法[D];山東大學(xué);2010年

5 張如艷;基于核函數(shù)的最大后驗(yàn)概率的分類方法的研究及其應(yīng)用[D];江南大學(xué);2012年

，

本文編號(hào)：1104395