科技發(fā)展的驚人速度為更多的新型智能設(shè)備誕生提供了可能。在過去幾十年里,科學(xué)家致力于語音識別的研究并獲得了巨大的成功。被廣泛運用的語音識別技術(shù)成為了最方便、最有效率的新型人機交互方式。然而,語音識別在許多場合下并不可靠。這是因為語音識別只收集說話者的音頻信號。這就對說話者的所處環(huán)境和說話者的發(fā)音準(zhǔn)確度有很高的要求。當(dāng)我們在吵雜的環(huán)境下使用語音識別,往往會得到錯誤的輸入結(jié)果。在這種環(huán)境下我們不僅需要使用語音表達我們的信息,同時還要通過視覺信息如口型、表情和動作配合理解。有時候在噪聲足夠大的情況下,視覺信息比聲音信號更加的重要。不滿足于傳統(tǒng)交互方式的人們產(chǎn)生了對新型人機交互技術(shù)的需求,唇讀技術(shù)就是一個新型人機交互技術(shù)的熱點。唇讀在許多場景下?lián)碛泻艽蟮氖褂脙r值,例如提升高噪聲環(huán)境下的語音識別準(zhǔn)確度、幫助語言交流障礙者交流和保障公共場合安全。傳統(tǒng)的唇讀是指通過觀察說話者在發(fā)音的過程中的唇部變化,推斷出說話的內(nèi)容。計算機的唇讀是指通過建立唇讀模型并分析唇部運動參數(shù)來對圖像序列進行分類和識別。然而,作為一項新興技術(shù)雖然可以利用其他領(lǐng)域的各種研究方法進行唇讀研究,但是存在精度較低和其他局限性的缺點。因... 

【文章頁數(shù)】：67 頁

【學(xué)位級別】：碩士

【文章目錄】：
Abstract
1 Introduction
    1.1 Research background and significance
    1.2 Research status at home and abroad
    1.3 Work in this paper
    1.4 Structure of this paper
2 Face image acquisition
    2.1 Video database creation
    2.2 Ways to identify faces
        2.2.1 Haar-like features
        2.2.2 Application of Adaboost algorithm in Haar classifier
        2.2.3 Integral image
    2.3 Facial extraction result
        2.3.1 Face region segmentation based on Mahalanobis distance
        2.3.2 Face segmentation based on skin color detection and Adaboost
    2.4 Chapter summary
3 Lip positioning and feature extraction
    3.1 Lip positioning
        3.1.1 Facial structure features localization method
        3.1.2 Color-based lip positioning method
    3.2 Lip feature extraction
        3.2.1 Pixel-based feature extraction method
        3.2.2 Shape-based feature extraction method
        3.2.3 Key point detection
    3.3 Lip feature extraction result
        3.3.1 Extract facial features using CLM
        3.3.2 Feature extraction and calculation
    3.4 chapter summary
4 Lip-reading based on HAM
    4.1 Hidden Markov Model
        4.1.1 Introduction of HMM
        4.1.2 Key parameters in HMM
    4.2 HMM-based lip-reading system
        4.2.1 DHMM model settings
        4.2.2 Baum-Welch algorithm
        4.2.3 DHMM parameter settings
    4.3 Results and analysis
5 Lip-reading for the profile face
    5.1 Adding profile face video data
    5.2 Lip feature extraction in side
        5.2.1 Face face segmentation and feature point extraction
        5.2.2 Image stretching of the profile face
        5.2.3 Calculating the value of a feature
    5.3 Lip-reading result
6 Conclusion
References
Acknowledgements
Appendix A 中文摘要


【參考文獻】：
期刊論文
[1]基于改進的Adaboost算法的人臉檢測系統(tǒng)[J]. 馮小建,馬明棟,王得玉.  計算機技術(shù)與發(fā)展. 2019(03)
[2]Adaboost人臉檢測算法研究及OpenCV實現(xiàn)[J]. 郭磊,王秋光.  哈爾濱理工大學(xué)學(xué)報. 2009(05)
[3]唇讀識別中的基本口型分類[J]. 柴秀娟,姚鴻勛,高文,王瑞.  計算機科學(xué). 2002(02)



本文編號：3666052