本文關(guān)鍵詞：語音到手勢轉(zhuǎn)換的FPGA實現(xiàn)，，由筆耕文化傳播整理發(fā)布。

【摘要】：目前,全球超過6.3億人因為聽力障礙給生活和學(xué)習(xí)造成極大的困擾。雖然現(xiàn)有的研究已經(jīng)實現(xiàn)了手勢到語音的轉(zhuǎn)換,但是缺乏語音到手勢的轉(zhuǎn)換研究,這使得言語障礙者與外界溝通之間存在極大的障礙。為此,論文設(shè)計并實現(xiàn)了一個基于FPGA的語音到手勢的轉(zhuǎn)換系統(tǒng)。首先訓(xùn)練了孤立詞的語音識別聲學(xué)模型,同時根據(jù)《中國手語》錄制了孤立詞所對應(yīng)的手勢圖像。在此基礎(chǔ)上,利用FPGA實現(xiàn)了語音到手勢的轉(zhuǎn)換,將手勢圖像和訓(xùn)練好的孤立詞聲學(xué)模型存入FPGA的SDRAM中,將輸入的孤立詞語音信號與孤立詞聲學(xué)模型進行匹配,輸出匹配度最優(yōu)的結(jié)果,最終將識別出的孤立詞對應(yīng)的手勢顯示在FPGA的配套LCD液晶屏上。論文的主要工作和創(chuàng)新如下:1.實現(xiàn)了一個基于隱Markov模型(Hidden Markov Model,HMM)的語音孤立詞識別系統(tǒng)。錄制了20個孤立詞的訓(xùn)練語料,采用梅爾頻率倒譜系數(shù)(Mel Frequency Cepstrum Coefficient,MFCC)作為聲學(xué)特征,利用HTK實現(xiàn)了模型的訓(xùn)練。實驗結(jié)果表明,本文實現(xiàn)的孤立詞識別系統(tǒng)能夠在特定人上達(dá)到100%的識別率。2.錄制20個孤立詞語音所對應(yīng)的手勢圖像。在《中國手語》日常會話教材中選取0-10這11個阿拉伯?dāng)?shù)字,以及贊美、友好、拒絕、感恩、好的、鄙視、愛心、愛、差勁合計20個孤立詞所對應(yīng)的手勢圖像。將選取的孤立詞手勢圖像用分辨率為240x320的BMP格式來保存,用于最終在液晶屏上手勢圖像的顯示。3.實現(xiàn)了基于FPGA的語音到手勢的轉(zhuǎn)換系統(tǒng)。以NIOS II為軟核處理器系統(tǒng),將Nios II嵌入到FGPA芯片EP4CE115F29C7N中,完成語音信號實時采集、語音解碼存儲、語音識別模式匹配、手勢圖像液晶顯示四個部分。對系統(tǒng)架構(gòu)進行了單一模塊的調(diào)試與整合調(diào)試。此外,結(jié)合SOPC特性,設(shè)計了人機接口,完成了一個基于FPGA平臺的語音識別到手勢圖像顯示的系統(tǒng)。4.對系統(tǒng)進行了測試。對硬件平臺運行速度與軟件平臺運行速度進行了對比,結(jié)果表明FPGA硬件平臺識別的時間比軟件平臺快30倍。對兩個不同環(huán)境下的系統(tǒng)進行特定人和非特定人語音識別到手勢顯示識別率的測試,得出安靜環(huán)境下特定人和非特定人的平均識別率分別為100%、82.6%,噪聲的環(huán)境下特定人和非特定人的平均識別率分別為88.9%、72.6%。
【關(guān)鍵詞】：語音到手勢轉(zhuǎn)換 語音識別 手勢顯示 FPGA HMM
【學(xué)位授予單位】：西北師范大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2016
【分類號】：TN912.34;TN791
【目錄】：

• 摘要4-5
• Abstract5-9
• 第1章 緒論9-14
• 1.1 研究背景9-10
• 1.2 國內(nèi)外研究進展10-11
• 1.2.1 語音識別的研究狀況10
• 1.2.2 語音識別硬件技術(shù)的研究狀況10-11
• 1.3 SOPC技術(shù)11-12
• 1.3.1 SOPC技術(shù)介紹11
• 1.3.2 FPGA技術(shù)介紹11-12
• 1.4 主要工作12
• 1.5 研究意義12-13
• 1.6 論文主要內(nèi)容和章節(jié)安排13-14
• 第2章 基于HMM的孤立詞語音識別原理14-28
• 2.1 語音識別的基本原理14-15
• 2.2 語音信號的特征提取15-18
• 2.2.1 線性預(yù)測分析15-16
• 2.2.2 倒譜分析16-18
• 2.3 模版匹配18-19
• 2.3.1 動態(tài)時間規(guī)整18
• 2.3.2 人工神經(jīng)網(wǎng)絡(luò)18-19
• 2.3.3 隱馬爾可夫模型19
• 2.4 HMM訓(xùn)練和識別算法19-22
• 2.4.1 訓(xùn)練—Baum-Welch算法19-21
• 2.4.2 識別—Viterbi算法21-22
• 2.5 HTK工具箱22-27
• 2.5.1 HTK軟件體系結(jié)構(gòu)22-23
• 2.5.2 PC機的孤立詞訓(xùn)練和識別23-27
• 2.6 本章小結(jié)27-28
• 第3章 系統(tǒng)整體設(shè)計28-45
• 3.1 FPGA設(shè)計基礎(chǔ)28-31
• 3.1.1 FPGA簡介及開發(fā)流程28-30
• 3.1.2 FPGA硬件開發(fā)板簡介30-31
• 3.2 系統(tǒng)整體架構(gòu)設(shè)計31-32
• 3.3 FPGA中各功能模塊的設(shè)計32-44
• 3.3.1 語音采集模塊32-34
• 3.3.2 存儲系統(tǒng)設(shè)計34-35
• 3.3.3 NIOS Ⅱ程序控制模塊35-42
• 3.3.4 液晶顯示模塊42-44
• 3.4 本章小結(jié)44-45
• 第4章 基于FPGA的孤立詞語音到手勢轉(zhuǎn)換整體實現(xiàn)45-60
• 4.1 系統(tǒng)整體實現(xiàn)45-46
• 4.2 系統(tǒng)性能分析46-51
• 4.2.1 資源利用率情況48
• 4.2.2 系統(tǒng)運行速度48-51
• 4.3 系統(tǒng)功能測試51-59
• 4.3.1 軟件平臺的識別測試51-53
• 4.3.2 硬件平臺的識別測試53-55
• 4.3.3 系統(tǒng)整體測試結(jié)果55-59
• 4.4 本章小結(jié)59-60
• 第5章 總結(jié)與展望60-62
• 5.1 論文工作總結(jié)60-61
• 5.2 工作展望61-62
• 參考文獻(xiàn)62-65
• 附錄A65-66
• 附錄B66-67
• 攻讀學(xué)位期間的研究成果67-68
• 致謝68

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 徐文盛,戴蓓倩,方紹武,李輝;基于連續(xù)HMM的孤立語音魯棒性識別方法[J];電路與系統(tǒng)學(xué)報;1999年04期

2 宋志輝,徐勁飛,周兵;語音撥號電話的研究與開發(fā)[J];微型機與應(yīng)用;2000年05期

3 張磊,韓紀(jì)慶,王承發(fā);一種對應(yīng)力變異語音的特征補償方法[J];聲學(xué)學(xué)報;2004年01期

4 陳文;學(xué)會使用語音——IBM-ViaVoice[J];電腦技術(shù);2004年04期

5 盧艷;呂梅蕾;;一種基于HL7003的語音門鎖控制器的設(shè)計[J];機電工程;2008年07期

6 周軍;;語音辨識在醫(yī)療設(shè)備中應(yīng)用探討[J];醫(yī)療裝備;2009年01期

7 劉萬鳳;胡軍;袁偉偉;;陸空通話標(biāo)準(zhǔn)用語(英語)的語音指令識別技術(shù)研究[J];計算機科學(xué);2013年07期

8 胡萍;劉曉文;袁保鋒;李雪峰;劉艷;;具有語音辨識能力的聲控汽車的實現(xiàn)[J];通信技術(shù);2007年05期

9 G·菲利普 ,尹漢軍 ,殷懷義;聯(lián)機檢索系統(tǒng)中的語音接口研究[J];情報理論與實踐;1991年03期

10 張照坤;;語音轉(zhuǎn)換關(guān)鍵技術(shù)研究[J];電腦知識與技術(shù);2008年07期

中國重要會議論文全文數(shù)據(jù)庫 前8條

1 李峰;劉瑞紅;靳利敏;朱改芳;;腭裂術(shù)后語音訓(xùn)練選擇最佳介入時機的臨床研究[A];2011年河南省五官科護理優(yōu)質(zhì)服務(wù)管理新工程與臨床護理新技術(shù)交流會論文集[C];2011年

2 靳慧龍;;基于DSP的電視語音撥號遙控技術(shù)[A];中國自動化學(xué)會、中國儀器儀表學(xué)會2004年西南三省一市自動化與儀器儀表學(xué)術(shù)年會論文集[C];2004年

3 陳偉;李成榮;高倩倩;;兒童語音數(shù)據(jù)庫與兒童語音識別技術(shù)初探[A];第八屆全國人機語音通訊學(xué)術(shù)會議論文集[C];2005年

4 張梅;;腭裂術(shù)后語音形成的影響因素分析及對策[A];全國口腔科護理學(xué)術(shù)交流暨專題講座會議論文匯編[C];2002年

5 王淑蓮;;語音正音方法例談[A];江西省語言學(xué)會2005年年會論文集[C];2005年

6 趙麗;李小妹;;腭裂患者語音康復(fù)需求的調(diào)查分析[A];中華護理學(xué)會2009全國口腔科護理學(xué)術(shù)交流暨專題講座會議論文匯編[C];2009年

7 靳利敏;李峰;翟英;付坤;;咳痰誘導(dǎo)法在腭裂術(shù)后舌根音發(fā)音矯正中的應(yīng)用[A];2012年河南省五官科優(yōu)質(zhì)服務(wù)護理管理與�？谱o士培養(yǎng)學(xué)術(shù)研討會論文集[C];2012年

8 靳利敏;李新明;李峰;翟瑛;付坤;;咳痰誘導(dǎo)法在腭裂術(shù)后舌根音發(fā)音矯正中的應(yīng)用[A];河南省五官科�？谱o士培養(yǎng)及崗位管理學(xué)術(shù)會議論文集[C];2013年

中國重要報紙全文數(shù)據(jù)庫 前5條

1 劉柳;患兒腭裂術(shù)后語音訓(xùn)練[N];醫(yī)藥養(yǎng)生保健報;2008年

2 黃明明;語音訓(xùn)練中的“矯枉過正”[N];語言文字周報;2005年

3 北京清華大學(xué)電子工程系副教授 劉加 教授 劉潤生;讓機器聽懂我的話[N];科技日報;2001年

4 山東 周少軍;Web-TalkIt讓瀏覽器聽你的指揮[N];電腦報;2001年

5 吳一福;腭裂綜合序列治療新技術(shù)[N];中國醫(yī)藥報;2006年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前1條

1 徐靜波;語音時頻及非線性增強處理方法研究[D];解放軍信息工程大學(xué);2005年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 高楠;腭裂術(shù)后患者舌尖音構(gòu)音異常的語音特點及語音訓(xùn)練[D];鄭州大學(xué);2016年

2 白祖仕;語音到手勢轉(zhuǎn)換的FPGA實現(xiàn)[D];西北師范大學(xué);2016年

3 王正昊;腭裂術(shù)后患兒語音訓(xùn)練前后普通話塞音的強頻集中區(qū)頻率及沖直條分析[D];廣西醫(yī)科大學(xué);2015年

4 嚴(yán)舒;3-5歲學(xué)前兒童語音能力評估標(biāo)準(zhǔn)化及應(yīng)用研究[D];華東師范大學(xué);2012年

5 吳媛媛;關(guān)于與唇腭裂患者相關(guān)的語音標(biāo)準(zhǔn)值[D];上海師范大學(xué);2006年

6 安富菊;基于MOST網(wǎng)絡(luò)的車載語音接口設(shè)備的設(shè)計與實現(xiàn)[D];吉林大學(xué);2010年

7 金玉卿;情感變異語音的分類與識別的研究[D];黑龍江大學(xué);2012年

8 王莉莉;基于語音生成和獲取中聲音分類學(xué)習(xí)的神經(jīng)模型研究[D];南京郵電大學(xué);2012年

9 李清華;語音轉(zhuǎn)換技術(shù)研究及實現(xiàn)[D];湖南師范大學(xué);2015年

10 常景鑫;基于混淆網(wǎng)絡(luò)的語音文檔主題分類研究[D];哈爾濱工程大學(xué);2010年

  本文關(guān)鍵詞：語音到手勢轉(zhuǎn)換的FPGA實現(xiàn)，由筆耕文化傳播整理發(fā)布。

本文編號：269618