本文關鍵詞：普通話自由表述口語評測關鍵技術的研究

  更多相關文章： PSC 自由表述口語 語音評測 后驗概率 多語種-神經網絡 遞歸神經網絡 條件隨機場 矢量空間模型

【摘要】：口語評測是一種學生按照某種要求發(fā)音,計算機根據學生發(fā)音的標準程度來自動評分的技術。傳統(tǒng)的文本相關評測任務要求學生嚴格依照指定的文本發(fā)音,對應朗讀或者嚴格背誦的情境,通常采用幀規(guī)整對數后驗概率作為衡量發(fā)音標準程度最主要的特征,該特征與人工分具有較高的相關度,此技術也已經有了廣泛而成功的應用。但在文本無關情境下,比如要求考生在給定主題約束下,針對該主題進行一段自由表述,通過衡量發(fā)音的標準程度和詞匯語法使用規(guī)范程度來評分,這種任務無論國內還是國際上都鮮有研究；本文嘗試對此展開初步的研究工作。具體的,是針對國內普通話水平測試(Putonghua Shuiping Ceshi, PSC)的第4題進行自動評分的研究。該題要求考生在3分鐘內進行一段給定主題的自由表述,與本文的研究非常契合。本文的主要研究工作概述如下：首先,本文探究了如何采用識別的方法,對文本無關口語評測計算類似于文本相關任務中常用的后驗概率特征,以此來評估發(fā)音的標準程度。具體的,利用DNN-HMM的語音識別模型對考生表述的語音做識別,再在此框架下計算解碼中的每個音素相對于發(fā)音矢量的后驗概率,并針對PSC考試第4題的具體情境進行了改進。實驗表明,該后驗概率與人工分具有較高的相關度。其次,由于本論文后驗概率特征計算的過程非常依賴于識別的性能,為了提升識別器的準確率,采用遞歸神經網絡(Recurrent Neural Network, RNN)語言模型來對一遍解碼出的N-best候選做語言模型得分重估計(Rescoring),選取Rescoring后得分最大的候選句子作為新的識別結果：實驗結果發(fā)現,這樣修正后無論是識別率還是后驗概率特征與人工分的相關度,都有一定的提升。再者,為了衡量考生表述語音中的方言口音程度,本論文借鑒多語種-神經網絡(Multi-lingual Neural Network)的方法,在解碼神經網絡的輸出引入額外的方言數據狀態(tài)節(jié)點,獲得每一幀數據相對于方言數據模型的似然度得分,從而在后驗概率計算公式的分母上引入方言得分,初步估計發(fā)音的方言程度。然后,為了關注表述的流暢程度,本論文采用每句話的音素平均發(fā)音幀數來計算語速特征,以此初步估計流暢程度。另外,嘗試使用條件隨機場(Conditional Random Field, CRF)訓練分句模型,從內容上對識別結果進行句子邊界判斷。實驗表明,重新分句后計算的語速特征與人工分具有更高的相關度。最后,使用矢量空間模型(Vector Space Model, VSM)對識別結果建模,從內容上評估表述的詞匯語法使用規(guī)范程度。實驗發(fā)現,對VSM模型采用一層RBM變換會獲得較好的性能。同時,為了評分的公平性,還進行了離題檢測相關任務。
【關鍵詞】：PSC 自由表述口語 語音評測 后驗概率 多語種-神經網絡 遞歸神經網絡 條件隨機場 矢量空間模型
【學位授予單位】：中國科學技術大學
【學位級別】：碩士
【學位授予年份】：2016
【分類號】：TN912.34
【目錄】：

• 摘要5-6
• ABSTRACT6-12
• 第一章 緒論12-20
• 1.1 研究背景及意義12-14
• 1.2 國內外研究現狀14-17
• 1.3 本文主要研究內容及結構安排17-20
• 第二章 基于深度神經網絡的后驗概率計算方法20-28
• 2.1 基于HMM模型的語音識別基本原理20-22
• 2.2 DNN模型應用于語音識別22-24
• 2.3 DNN-HMM模型下后驗概率的計算24-25
• 2.4 針對PSC考試背景的后驗概率應用25
• 2.4.1 靜音段比例與后驗概率加權25
• 2.4.2 后驗概率判斷發(fā)音正確與否25
• 2.5 實驗結果和分析25-28
• 2.5.1 DNN-HMM識別器識別性能簡介25-26
• 2.5.2 評測集合簡介26
• 2.5.3 后驗概率特征初步性能26-28
• 第三章 后驗概率計算改進算法28-36
• 3.1 基于語言模型的識別結果修正28-30
• 3.1.1 RNN語言模型簡介28-29
• 3.1.2 RNN語言模型修正識別結果29-30
• 3.2 基于多語種-神經網絡方法的發(fā)音方言程度評估30-32
• 3.2.1 多語種-神經網絡方法簡介30-31
• 3.2.2 多語種方法應用于方言程度評估31-32
• 3.3 實驗結果和分析32-36
• 3.3.1 RNN語言模型修正性能32-34
• 3.3.2 語種-神經網絡方法性能34-36
• 第四章 基于條件隨機場的語速特征計算方法36-44
• 4.1 條件隨機場模型簡介36-40
• 4.2 基礎語速特征提取方法40-41
• 4.3 CRF模型判斷句子邊界標識41-42
• 4.4 實驗結果和分析42-44
• 第五章 基于矢量空間模型的詞匯語法使用規(guī)范評估44-52
• 5.1 矢量空間模型簡介44-45
• 5.2 詞匯語法規(guī)范評估方法45-46
• 5.3 離題檢測方法46-48
• 5.4 實驗結果和分析48-52
• 5.4.1 VSM特征性能48
• 5.4.2 離題檢測性能48-50
• 5.4.3 最終評分性能50-52
• 第六章 總結52-54
• 6.1 本文的主要貢獻與創(chuàng)新點52-53
• 6.2 后續(xù)工作展望53-54
• 參考文獻54-58
• 致謝58-60
• 在讀期間發(fā)表的學術論文與取得的研究成果60

【相似文獻】

中國期刊全文數據庫 前10條

1 婁震,金忠,楊靜宇;基于類條件置信變換的后驗概率估計方法[J];計算機學報;2005年01期

2 周壽軍;周智洋;邱建平;王文輝;尹洪男;;基于后驗概率的呼吸信號預測[J];中國生物醫(yī)學工程學報;2009年02期

3 馮志遠;張連海;;基于音素后驗概率和層次凝聚聚類算法的音素邊界檢測[J];太赫茲科學與電子信息學報;2014年02期

4 鄭海紅;曾平;;基于最大后驗概率的逆半調改進方法[J];西安交通大學學報;2005年12期

5 李向軍;李良福;;基于后驗概率度量的粒子濾波跟蹤算法研究[J];應用光學;2011年04期

6 張文生,王玨,戴國忠;支持向量機中引入后驗概率的理論和方法研究[J];計算機研究與發(fā)展;2002年04期

7 鄒士新;馬遠良;楊坤德;雷波;;匹配場反演后驗概率分析[J];系統(tǒng)仿真學報;2005年12期

8 孟莎;余鵬;Frank Seide;劉加;;基于后驗概率詞格的漢語自然對話語音索引[J];清華大學學報(自然科學版);2008年S1期

9 文志強;蔡自興;;一種最大后驗概率條件下的運動目標檢測方法[J];小型微型計算機系統(tǒng);2008年05期

10 鄭鐵然;韓紀慶;;基于后驗概率的漢語語音檢索方法研究[J];高技術通訊;2009年02期

中國重要會議論文全文數據庫 前10條

1 鄒士新;馬遠良;楊坤德;雷波;;匹配場反演后驗概率分析[A];中國聲學學會2005年青年學術會議[CYCA'05]論文集[C];2005年

2 嚴可;魏思;戴禮榮;劉慶峰;;基于音素相關后驗概率變換的發(fā)音質量評價[A];第十一屆全國人機語音通訊學術會議論文集（二）[C];2011年

3 張文生;王玨;;支持向量機中引入后驗概率的理論和方法研究[A];2001年中國智能自動化會議論文集（下冊）[C];2001年

4 張希娟;朱靖波;;主動學習中后驗概率尖銳現象的平滑處理[A];第三屆全國信息檢索與內容安全學術會議論文集[C];2007年

5 張學磊;李整林;;簡正波頻散特性反演結果的后驗概率分析[A];2008年全國聲學學術會議論文集[C];2008年

6 韋艷艷;李陶深;;一種改進的基于加權平均后驗概率的1-層泛化方法[A];第二十一屆中國數據庫學術會議論文集（技術報告篇）[C];2004年

7 孟莎;余鵬;Frank Seide;劉加;;基于后驗概率詞格的漢語自然對話語音索引[A];第九屆全國人機語音通訊學術會議論文集[C];2007年

8 王曉紅;;一種改進多類支持向量機加權后驗概率重構策略[A];2009中國控制與決策會議論文集（3）[C];2009年

9 嚴可;魏思;戴禮榮;劉慶峰;;基于音素相關后驗概率變換的發(fā)音質量評價[A];第十一屆全國人機語音通訊學術會議論文集（一）[C];2011年

10 姚舒恬;陸佶人;方世良;;一種基于最大后驗概率判決的線譜檢測方法[A];2004年全國水聲學學術會議論文集[C];2004年

中國博士學位論文全文數據庫 前1條

1 石磊;自主式車輛環(huán)境感知技術研究[D];南京理工大學;2010年

中國碩士學位論文全文數據庫 前5條

1 許蘇魁;普通話自由表述口語評測關鍵技術的研究[D];中國科學技術大學;2016年

2 代大攀;基于后驗概率和流形正則化的半監(jiān)督分類方法研究[D];華中科技大學;2012年

3 石磊;基于后驗概率加權的模糊支持向量分類機研究及應用[D];重慶師范大學;2009年

4 萬方;一種基于ROC分析的多類別分類方法[D];山東大學;2010年

5 張如艷;基于核函數的最大后驗概率的分類方法的研究及其應用[D];江南大學;2012年

，

本文編號：1104395