本文關(guān)鍵詞：基于LEAP MOTION的盲語識別系統(tǒng)研發(fā)

  更多相關(guān)文章： 盲語識別系統(tǒng) HMM模型 Leap Motion Unity3D 動態(tài)手勢

【摘要】：在我們的現(xiàn)實生活中,有著這樣的一類人群——聾啞人。據(jù)相關(guān)機構(gòu)統(tǒng)計中國的聾啞人人口大約有兩千萬,在這個龐大的人群中,盲語成為了他們之間交流的主要方式之一。由于盲語存在其自身的特殊性以及較低的普及度,所以這更加大了聾啞人與非聾啞人之間交流的障礙。本文圍繞如何解決聾啞人與非聾啞人之間的交流問題,研發(fā)出了盲語識別系統(tǒng),將聾啞人的盲語實時翻譯成能夠讓非聾啞人聽懂的語音形式。首先,我們通過體感設(shè)備Leap Motion將手語者的手部動作采集下來,結(jié)合利用Unity3D軟件進(jìn)行數(shù)據(jù)的處理并且儲存動態(tài)手勢的相關(guān)數(shù)據(jù)信息。然后,我們將儲存下來的動態(tài)手勢數(shù)據(jù)進(jìn)行一個三維坐標(biāo)的平面化轉(zhuǎn)換處理,將三維空間中的手勢坐標(biāo)信息轉(zhuǎn)化為在二維平面中的坐標(biāo)信息,這樣做是為了減少數(shù)據(jù)的處理量,從而可以加快我們系統(tǒng)識別的速度。最后,我們將已經(jīng)平面化的動態(tài)手勢數(shù)據(jù)進(jìn)行一個規(guī)一化處理,根據(jù)相關(guān)的規(guī)一化公式將數(shù)據(jù)信息規(guī)整為整數(shù)的形式,這樣做的目的是為了降低一些模糊手勢動作的誤識率,且也是為利用HMM模型進(jìn)行識別提供了一個前提條件。本文還通過查閱相關(guān)文獻(xiàn),利用HMM模型來對動態(tài)手勢進(jìn)行識別。我們設(shè)計了 一組盲語并在HMM模型的基礎(chǔ)上對其進(jìn)行實時識別的試驗。通過試驗結(jié)果分析,我們提出了一個基于HMM模型下的雙通道模型——坐標(biāo)特征模型、筆畫特征模型。我們分別對這兩種特征模型進(jìn)行了相關(guān)的試驗設(shè)計,根據(jù)試驗結(jié)果分析得出各種模型下進(jìn)行識別的優(yōu)勢和劣勢。我們還希望通過進(jìn)一步的研究,從而找到一種模型能夠更好地提高盲語識別系統(tǒng)的識別速度以及識別的準(zhǔn)確度。由于使用者的差異性,手勢識別面向不同的人群,就算是一個標(biāo)準(zhǔn)手部動作也會存在各種差異,這也就增大了識別的準(zhǔn)確度。在采集手勢數(shù)據(jù)的過程中產(chǎn)生大量的數(shù)據(jù),由于數(shù)據(jù)量過大就會對算法的要求有著很大的提高,我們希望在今后的研發(fā)過程中對于識別的速度以及識別的準(zhǔn)確度上面我們要有一個飛躍,我們希望找到一種全新的技術(shù)方法來從根本上解決這一問題。
【學(xué)位授予單位】：南京大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2017
【分類號】：TP391.41;TP274

【參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前4條

1 孫凱;嚴(yán)瀟然;謝榮平;;基于手勢識別的智能家居人機交互系統(tǒng)設(shè)計[J];工業(yè)控制計算機;2014年04期

2 趙建東;高光來;飛龍;;基于HMM的蒙古語語音合成技術(shù)研究[J];計算機科學(xué);2014年01期

3 萬華根;肖海英;鄒松;;面向新一代大眾游戲的手勢交互技術(shù)[J];計算機輔助設(shè)計與圖形學(xué)學(xué)報;2011年07期

4 任海兵,祝遠(yuǎn)新,徐光yP,林學(xué)，

本文編號：1277747