本文關鍵詞： 自動語音識別 唇讀 卷積核 濾波器 數(shù)據(jù)庫　出處：《電子科技大學》2014年碩士論文　論文類型：學位論文

【摘要】：在自動語音識別系統(tǒng)的領域,大多數(shù)的研究都集中在聲波信號上。但在現(xiàn)實世界中,由于噪音的存在,這些系統(tǒng)的性能很難達到預期的效果。因此,利用視覺信息在改善語音識別系統(tǒng)的性能方面起到了非常重要的作用,尤其是在噪音環(huán)境下。本論文將主要針對利用視覺信息來進行的唇讀技術研究。之前的研究表明,唇型的提取主要有兩種方法。第一種是基于模型或幾何的方法,例如,由于唇動導致唇部位置的偏差,可以從圖像中提取唇部的寬度和高度等特征值。第二種是基于像素和動態(tài)的方法,通過獲得原始像素值和強度值。第一種方法雖然比較直觀,但是由于涉及數(shù)據(jù)的流失,可能會造成大量信息的丟失。第二種方法雖然基本沒有信息丟失,但是高維度的圖像空間可能會造成計算上的弱勢。本論文將采用基于模型的方法進行唇型的識別,測量出的內唇寬度和高度可以代表不同的唇型。由于內唇的區(qū)域相比于其它唇部區(qū)域較暗,因此可以很容易對唇部特征進行提取并節(jié)省計算時間。利用這一優(yōu)點,可以設計一個空間濾波器來增強內唇區(qū)域的對比度。雖然此系統(tǒng)中濾波器的使用方法并非常用的方法,但是其性能的表現(xiàn)還是令人滿意的,同時,這種增強技術還可以應用到其它的區(qū)域。圖像對比度增強之后,可以使用一個高斯濾波器來消除噪音的影響,從而獲得一個清晰的內唇輪廓圖。另外,可以采用4種不同的卷積核對內唇的寬度和高度進行測量,并用得到的數(shù)據(jù)建立一個數(shù)據(jù)庫,來告訴系統(tǒng)單字和數(shù)據(jù)是如何相互對應的。數(shù)據(jù)庫建立完成后,系統(tǒng)就能識別視頻文件中的單字和由多字組成的單詞。當一個視頻文件導入到系統(tǒng)中后,系統(tǒng)會對每個圖像進行處理并與數(shù)據(jù)庫中的數(shù)據(jù)相對比。最終,系統(tǒng)通過計算與數(shù)據(jù)庫中數(shù)據(jù)的最小偏差來顯示識別的結果。雖然該識別技術取得了一些成績,但還是存在一些潛在的局限性,如對工作環(huán)境以及頭部位置擺放的要求。
[Abstract]:In the field of automatic speech recognition systems, most of the research is focused on acoustic signals, but in the real world, due to the existence of noise, the performance of these systems is difficult to achieve the desired results. The use of visual information plays a very important role in improving the performance of speech recognition system. Especially in the noise environment. This paper will mainly focus on the use of visual information to carry out lip reading technology. Previous studies show that. There are two main methods to extract lip shape. The first is model-based or geometric method, for example, the lip position deviation due to lip movement. The width and height of lips can be extracted from the image. The second method is based on pixel and dynamic, by obtaining the original pixel value and intensity value. The first method is more intuitive. However, due to the loss of data, a large number of information may be lost. The second method, although there is basically no loss of information. However, high-dimensional image space may cause computational weakness. This paper will adopt model-based approach to lip recognition. The measured width and height of the inner lip can represent different types of lips, because the region of the inner lip is darker than that of the other lip regions. Therefore, it is easy to extract lip features and save computing time. A spatial filter can be designed to enhance the contrast of the inner lip region. Although the use of the filter in this system is not commonly used, the performance of the filter is still satisfactory and at the same time. This enhancement technique can also be applied to other regions. After the image contrast is enhanced, a Gao Si filter can be used to eliminate the noise effect, thus obtaining a clear outline of the inner lip. We can measure the width and height of inner lip by four different convolution check, and set up a database with the obtained data to tell the system how words and data correspond to each other. When a video file is imported into the system, each image is processed and compared with the data in the database. The system displays the recognition result by calculating the minimum deviation between the data in the database. Although the recognition technology has made some achievements, there are still some potential limitations. Such as the working environment and head position requirements.
【學位授予單位】：電子科技大學
【學位級別】：碩士
【學位授予年份】：2014
【分類號】：TN912.34

【相似文獻】

相關期刊論文 前9條

1 柴秀娟;姚鴻勛;高文;王瑞;;唇讀識別中的基本口型分類[J];計算機科學;2002年02期

2 趙燕燕;王麗榮;;唇讀技術及其最新發(fā)展研究概述[J];長春大學學報;2007年10期

3 陳蓉;姚鴻勛;洪曉鵬;萬玉奇;;視覺單通道唇讀系統(tǒng)的有效性[J];計算機工程與應用;2007年20期

4 姚鴻勛,高文,王瑞,郎咸波;視覺語言——唇讀綜述[J];電子學報;2001年02期

5 單衛(wèi),姚鴻勛,高文;唇讀中序列口型的分類[J];中文信息學報;2002年01期

6 張澤梁;楊成佳;宋紹成;;唇讀研究進展綜述[J];計算機工程與設計;2014年06期

7 王丹;姚鴻勛;萬玉奇;洪曉鵬;;唇讀中的HLM模型及其文字流解析[J];計算機科學;2008年12期

8 洪曉鵬,姚鴻勛,徐銘輝;基于句子級的唇讀語料庫及其切分算法[J];計算機工程與應用;2005年03期

9 ;[J];;年期

相關會議論文 前7條

1 高文;王瑞;姚鴻勛;;唇讀和語音融合識別系統(tǒng)設計[A];第五屆全國人機語音通訊學術會議論文集[C];1998年

2 姚鴻勛;王晶;山世光;張洪明;王瑞;;唇讀系統(tǒng)中的話者唇定位與跟蹤[A];第五屆全國人機語音通訊學術會議論文集[C];1998年

3 單衛(wèi);姚鴻勛;高文;;唇讀中序列口型的分類[A];第六屆全國人機語音通訊學術會議論文集[C];2001年

4 徐銘輝;姚鴻勛;;唇讀及其在生物特征識別中的作用[A];第一屆中國情感計算及智能交互學術會議論文集[C];2003年

5 何俊;張華;;一種唇讀嘴唇的實時檢測方法[A];第二十六屆中國控制會議論文集[C];2007年

6 王曉平;付德剛;袁春偉;;一種面向唇讀的彩色人臉圖像唇部定位方法[A];第十三屆全國圖象圖形學學術會議論文集[C];2006年

7 雷江華;;助聽器對聽障學生唇讀漢字語音認知的作用研究[A];第十屆全國心理學學術大會論文摘要集[C];2005年

相關博士學位論文 前4條

1 何俊;服務機器人語音唇讀人機交互技術研究[D];南昌大學;2009年

2 張澤梁;唇讀識別中若干問題的研究[D];吉林大學;2012年

3 雷江華;聽覺障礙學生唇讀漢字語音識別的實驗研究[D];華東師范大學;2006年

4 梁亞玲;基于單視覺通道唇讀系統(tǒng)的研究[D];華南理工大學;2011年

相關碩士學位論文 前10條

1 吳迪;口型識別與唇讀算法研究[D];北京交通大學;2015年

2 王丹;唇讀的靜動態(tài)特征表示方法研究[D];哈爾濱工業(yè)大學;2008年

3 萬玉奇;提高唇讀理解的關鍵技術研究[D];哈爾濱工業(yè)大學;2007年

4 陶宏;基于視頻圖像的唇讀識別技術的研究[D];江蘇大學;2005年

5 解國明;唇讀技術的研究及其應用[D];天津大學;2005年

6 楊帆;基于動靜態(tài)多源特征選取、對齊與融合的唇讀方法[D];哈爾濱工業(yè)大學;2010年

7 閆龍;基于隱含馬爾可夫模型的計算機唇讀算法研究[D];哈爾濱工業(yè)大學;2013年

8 劉恒;基于唇讀技術的自動語音識別系統(tǒng)設計與實現(xiàn)[D];電子科技大學;2014年

9 李新;唇讀識別系統(tǒng)的研究與實現(xiàn)[D];華北電力大學（北京）;2011年

10 張欣;基于HMM的唇讀識別技術研究[D];哈爾濱工業(yè)大學;2013年

，

本文編號：1455160