本文關鍵詞：基于Kinect的手語識別技術在聾啞教學中的應用研究

  更多相關文章： 手語識別 動態(tài)特征提取 聾啞手語 Kinect HMM SVM/HMM SVM

【摘要】：手語是聾啞人與其他人溝通的主要工具,應用手語識別技術使計算機能夠理解并翻譯讀取的手語,幫助聾啞人與健全人溝通更加方便快捷。并且,隨著體感技術的發(fā)展,使計算機更加容易理解人們動作,為手語識別技術的研究提供了新的方法與途徑。由于傳統(tǒng)的輸入設備不能很好的滿足人們對人機交互的要求。因此研究手語識別技術,不僅使聾啞人更加容易與健全人進行交流,同時有助于人機交互技術的發(fā)展。 本課題以聾啞學校教學需求為背景,在對傳統(tǒng)的手語識別方法進行了深入研究的基礎上,基于Kinect體感攝像機,對手語的特征提取方法和識別算法進行了改進,并實現(xiàn)了手語識別系統(tǒng)。本系統(tǒng)包含動態(tài)手語識別和靜態(tài)手語識別部分,其中,動態(tài)手語識別包含手掌運動的手語識別和手指運動的手語識別。通過手語識別系統(tǒng)將手語進行翻譯,并用人們理解的詞語表達出來,提供聾啞學生與不懂手語的健全人溝通的途徑,獲得更多的學習資源,從而提高聾啞學生的教學質量。同時為改進教師與電腦的交互方式等研究奠定了很好的基礎。 本文首先介紹了手語識別的背景和意義,并闡述了國內外的研究現(xiàn)狀。接下來介紹了常用的特征提取和手語識別算法及與本文相關的技術和平臺,同時闡釋了將手語識別系統(tǒng)應用于聾啞兒童教育的理論支持。然后對手部特征提取和檢測方法做了詳細的描述。在動態(tài)手語的特征提取部分,針對Kinect獨有的特點提出了手掌運動二次特征提取、手指運動變化深度直方圖的方法。在靜態(tài)手語特征提取部分,使用了手部的的Freeman鏈碼,并對其進行了歸一化和旋轉不變性的處理。針對動態(tài)手語的手掌運動識別,提出了雙層HMM模型,針對動態(tài)手語中手指運動的識別提出了改進的SVM/HMM模型,靜態(tài)手語的識別使用了SVM算法。最后,將以上方法進行驗證,同時給出了系統(tǒng)的設計和編碼實現(xiàn)。
【關鍵詞】：手語識別 動態(tài)特征提取 聾啞手語 Kinect HMM SVM/HMM SVM
【學位授予單位】：西南交通大學
【學位級別】：碩士
【學位授予年份】：2014
【分類號】：TP391.41;G762
【目錄】：

• 摘要6-7
• Abstract7-10
• 第1章 緒論10-13
• 1.1 課題研究的意義10-11
• 1.2 國內外研究現(xiàn)狀11-12
• 1.3 研究內容和組織結構12-13
• 第2章 相關技術與開發(fā)平臺13-21
• 2.1 常用手語特征提取13-15
• 2.2 手語識別常用算法15-16
• 2.3 KINECT體感設備16-18
• 2.4 OPENNI與OPENCV18-20
• 2.4.1 OpenNI簡介18-19
• 2.4.2 OpenCV簡介19-20
• 2.5 本章小結20-21
• 第3章 相關理論基礎21-26
• 3.1 羅森塔爾效應21-22
• 3.1.1 理論概述21
• 3.1.2 對系統(tǒng)的理論支持21-22
• 3.2 社會學習理論22-23
• 3.2.1 理論概述22-23
• 3.2.2 對系統(tǒng)的理論支持23
• 3.3 學習金字塔理論23-24
• 3.3.1 理論概述23-24
• 3.3.2 對系統(tǒng)的理論支持24
• 3.4 人本主義學習理論24-25
• 3.4.1 理論概述24-25
• 3.4.2 對系統(tǒng)的理論支持25
• 3.5 本章小結25-26
• 第4章 手部跟蹤及特征提取研究26-36
• 4.1 手語識別系統(tǒng)架構26-27
• 4.2 手部檢測與追蹤27
• 4.3 手部特征提取27-35
• 4.3.1 手掌運動特征提取27-29
• 4.3.2 手指運動特征提取29-32
• 4.3.3 靜態(tài)手語特征提取32-35
• 4.4 本章小結35-36
• 第5章 基于HMM和SVM模型的手語識別36-46
• 5.1 HMM模型36-38
• 5.1.1 HMM基本原理36-37
• 5.1.2 HMM基本問題37-38
• 5.2 SVM模型38-40
• 5.2.1 SVM基本原理38-39
• 5.2.2 最優(yōu)分類面39
• 5.2.3 SVM核函數(shù)39-40
• 5.3 基于HMM的手掌動態(tài)手語識別40-43
• 5.4 基于SVM/HMM的手指動態(tài)手語識別43-45
• 5.5 基于SVM的靜態(tài)手語識別45
• 5.6 本章小結45-46
• 第6章 手語識別系統(tǒng)的設計與實現(xiàn)46-57
• 6.1 系統(tǒng)硬件及軟件環(huán)境46-47
• 6.1.1 硬件環(huán)境46-47
• 6.1.2 軟件環(huán)境47
• 6.2 手部檢測與追蹤47-49
• 6.3 手語特征提取的實現(xiàn)49-51
• 6.3.1 手掌運動特征提取49
• 6.3.2 手指運動特征提取49-50
• 6.3.3 靜態(tài)手語特征提取50-51
• 6.4 手語識別的實現(xiàn)及運行效果51-56
• 6.4.1 手掌動態(tài)手語識別52-53
• 6.4.2 手指動態(tài)手語識別53-54
• 6.4.3 靜態(tài)手語識別54-56
• 6.5 本章小結56-57
• 結論和展望57-59
• 致謝59-60
• 參考文獻60-63
• 攻讀碩士學位期間發(fā)表的論文63

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前7條

1 張亞新,原魁,杜清秀,鄒偉;一種用于手語識別的中國手語分類方法[J];北京科技大學學報;2001年03期

2 甄素娟;;淺談聾啞兒童的人格行為特點與特殊教育[J];大連教育學院學報;2011年01期

3 王志瑞;閆彩良;;圖像特征提取方法的綜述[J];吉首大學學報(自然科學版);2011年05期

4 楊健;汪海航;;基于隱馬爾可夫模型的文本分類算法[J];計算機應用;2010年09期

5 周志峰;;一種正六邊形檢測方法的研究[J];應用光學;2012年01期

6 陳少毅,蘭繼軍;手語研究與聾人康復和聾校教學[J];中國特殊教育;2003年05期

7 楊寶燕;;淺談聾啞兒童學習動機存在的問題、原因及對策[J];新課程(中旬);2011年11期

中國博士學位論文全文數(shù)據(jù)庫 前1條

1 戴金波;基于視覺信息的圖像特征提取算法研究[D];吉林大學;2013年

中國碩士學位論文全文數(shù)據(jù)庫 前1條

1 張中甫;基于深度信息的手勢識別研究及應用[D];浙江大學;2013年

，

本文編號：518085