本文關(guān)鍵詞：基于Kinect的手語識(shí)別技術(shù)在聾啞教學(xué)中的應(yīng)用研究

  更多相關(guān)文章： 手語識(shí)別 動(dòng)態(tài)特征提取 聾啞手語 Kinect HMM SVM/HMM SVM

【摘要】：手語是聾啞人與其他人溝通的主要工具,應(yīng)用手語識(shí)別技術(shù)使計(jì)算機(jī)能夠理解并翻譯讀取的手語,幫助聾啞人與健全人溝通更加方便快捷。并且,隨著體感技術(shù)的發(fā)展,使計(jì)算機(jī)更加容易理解人們動(dòng)作,為手語識(shí)別技術(shù)的研究提供了新的方法與途徑。由于傳統(tǒng)的輸入設(shè)備不能很好的滿足人們對(duì)人機(jī)交互的要求。因此研究手語識(shí)別技術(shù),不僅使聾啞人更加容易與健全人進(jìn)行交流,同時(shí)有助于人機(jī)交互技術(shù)的發(fā)展。 本課題以聾啞學(xué)校教學(xué)需求為背景,在對(duì)傳統(tǒng)的手語識(shí)別方法進(jìn)行了深入研究的基礎(chǔ)上,基于Kinect體感攝像機(jī),對(duì)手語的特征提取方法和識(shí)別算法進(jìn)行了改進(jìn),并實(shí)現(xiàn)了手語識(shí)別系統(tǒng)。本系統(tǒng)包含動(dòng)態(tài)手語識(shí)別和靜態(tài)手語識(shí)別部分,其中,動(dòng)態(tài)手語識(shí)別包含手掌運(yùn)動(dòng)的手語識(shí)別和手指運(yùn)動(dòng)的手語識(shí)別。通過手語識(shí)別系統(tǒng)將手語進(jìn)行翻譯,并用人們理解的詞語表達(dá)出來,提供聾啞學(xué)生與不懂手語的健全人溝通的途徑,獲得更多的學(xué)習(xí)資源,從而提高聾啞學(xué)生的教學(xué)質(zhì)量。同時(shí)為改進(jìn)教師與電腦的交互方式等研究奠定了很好的基礎(chǔ)。 本文首先介紹了手語識(shí)別的背景和意義,并闡述了國內(nèi)外的研究現(xiàn)狀。接下來介紹了常用的特征提取和手語識(shí)別算法及與本文相關(guān)的技術(shù)和平臺(tái),同時(shí)闡釋了將手語識(shí)別系統(tǒng)應(yīng)用于聾啞兒童教育的理論支持。然后對(duì)手部特征提取和檢測方法做了詳細(xì)的描述。在動(dòng)態(tài)手語的特征提取部分,針對(duì)Kinect獨(dú)有的特點(diǎn)提出了手掌運(yùn)動(dòng)二次特征提取、手指運(yùn)動(dòng)變化深度直方圖的方法。在靜態(tài)手語特征提取部分,使用了手部的的Freeman鏈碼,并對(duì)其進(jìn)行了歸一化和旋轉(zhuǎn)不變性的處理。針對(duì)動(dòng)態(tài)手語的手掌運(yùn)動(dòng)識(shí)別,提出了雙層HMM模型,針對(duì)動(dòng)態(tài)手語中手指運(yùn)動(dòng)的識(shí)別提出了改進(jìn)的SVM/HMM模型,靜態(tài)手語的識(shí)別使用了SVM算法。最后,將以上方法進(jìn)行驗(yàn)證,同時(shí)給出了系統(tǒng)的設(shè)計(jì)和編碼實(shí)現(xiàn)。
【關(guān)鍵詞】：手語識(shí)別 動(dòng)態(tài)特征提取 聾啞手語 Kinect HMM SVM/HMM SVM
【學(xué)位授予單位】：西南交通大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2014
【分類號(hào)】：TP391.41;G762
【目錄】：

• 摘要6-7
• Abstract7-10
• 第1章 緒論10-13
• 1.1 課題研究的意義10-11
• 1.2 國內(nèi)外研究現(xiàn)狀11-12
• 1.3 研究內(nèi)容和組織結(jié)構(gòu)12-13
• 第2章 相關(guān)技術(shù)與開發(fā)平臺(tái)13-21
• 2.1 常用手語特征提取13-15
• 2.2 手語識(shí)別常用算法15-16
• 2.3 KINECT體感設(shè)備16-18
• 2.4 OPENNI與OPENCV18-20
• 2.4.1 OpenNI簡介18-19
• 2.4.2 OpenCV簡介19-20
• 2.5 本章小結(jié)20-21
• 第3章 相關(guān)理論基礎(chǔ)21-26
• 3.1 羅森塔爾效應(yīng)21-22
• 3.1.1 理論概述21
• 3.1.2 對(duì)系統(tǒng)的理論支持21-22
• 3.2 社會(huì)學(xué)習(xí)理論22-23
• 3.2.1 理論概述22-23
• 3.2.2 對(duì)系統(tǒng)的理論支持23
• 3.3 學(xué)習(xí)金字塔理論23-24
• 3.3.1 理論概述23-24
• 3.3.2 對(duì)系統(tǒng)的理論支持24
• 3.4 人本主義學(xué)習(xí)理論24-25
• 3.4.1 理論概述24-25
• 3.4.2 對(duì)系統(tǒng)的理論支持25
• 3.5 本章小結(jié)25-26
• 第4章 手部跟蹤及特征提取研究26-36
• 4.1 手語識(shí)別系統(tǒng)架構(gòu)26-27
• 4.2 手部檢測與追蹤27
• 4.3 手部特征提取27-35
• 4.3.1 手掌運(yùn)動(dòng)特征提取27-29
• 4.3.2 手指運(yùn)動(dòng)特征提取29-32
• 4.3.3 靜態(tài)手語特征提取32-35
• 4.4 本章小結(jié)35-36
• 第5章 基于HMM和SVM模型的手語識(shí)別36-46
• 5.1 HMM模型36-38
• 5.1.1 HMM基本原理36-37
• 5.1.2 HMM基本問題37-38
• 5.2 SVM模型38-40
• 5.2.1 SVM基本原理38-39
• 5.2.2 最優(yōu)分類面39
• 5.2.3 SVM核函數(shù)39-40
• 5.3 基于HMM的手掌動(dòng)態(tài)手語識(shí)別40-43
• 5.4 基于SVM/HMM的手指動(dòng)態(tài)手語識(shí)別43-45
• 5.5 基于SVM的靜態(tài)手語識(shí)別45
• 5.6 本章小結(jié)45-46
• 第6章 手語識(shí)別系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)46-57
• 6.1 系統(tǒng)硬件及軟件環(huán)境46-47
• 6.1.1 硬件環(huán)境46-47
• 6.1.2 軟件環(huán)境47
• 6.2 手部檢測與追蹤47-49
• 6.3 手語特征提取的實(shí)現(xiàn)49-51
• 6.3.1 手掌運(yùn)動(dòng)特征提取49
• 6.3.2 手指運(yùn)動(dòng)特征提取49-50
• 6.3.3 靜態(tài)手語特征提取50-51
• 6.4 手語識(shí)別的實(shí)現(xiàn)及運(yùn)行效果51-56
• 6.4.1 手掌動(dòng)態(tài)手語識(shí)別52-53
• 6.4.2 手指動(dòng)態(tài)手語識(shí)別53-54
• 6.4.3 靜態(tài)手語識(shí)別54-56
• 6.5 本章小結(jié)56-57
• 結(jié)論和展望57-59
• 致謝59-60
• 參考文獻(xiàn)60-63
• 攻讀碩士學(xué)位期間發(fā)表的論文63

【參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前7條

1 張亞新,原魁,杜清秀,鄒偉;一種用于手語識(shí)別的中國手語分類方法[J];北京科技大學(xué)學(xué)報(bào);2001年03期

2 甄素娟;;淺談聾啞兒童的人格行為特點(diǎn)與特殊教育[J];大連教育學(xué)院學(xué)報(bào);2011年01期

3 王志瑞;閆彩良;;圖像特征提取方法的綜述[J];吉首大學(xué)學(xué)報(bào)(自然科學(xué)版);2011年05期

4 楊健;汪海航;;基于隱馬爾可夫模型的文本分類算法[J];計(jì)算機(jī)應(yīng)用;2010年09期

5 周志峰;;一種正六邊形檢測方法的研究[J];應(yīng)用光學(xué);2012年01期

6 陳少毅,蘭繼軍;手語研究與聾人康復(fù)和聾校教學(xué)[J];中國特殊教育;2003年05期

7 楊寶燕;;淺談聾啞兒童學(xué)習(xí)動(dòng)機(jī)存在的問題、原因及對(duì)策[J];新課程(中旬);2011年11期

中國博士學(xué)位論文全文數(shù)據(jù)庫 前1條

1 戴金波;基于視覺信息的圖像特征提取算法研究[D];吉林大學(xué);2013年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前1條

1 張中甫;基于深度信息的手勢識(shí)別研究及應(yīng)用[D];浙江大學(xué);2013年

，

本文編號(hào)：518085