聽障人士占我國人口總數(shù)的5%,手語對他們來說是交流情感不可或缺的一種語言。但未學習過手語的人無法理解手語的含義,限制了聽障人士走出家門、與人交談的機會,因此對動態(tài)中國手語詞匯進行識別和理解有助于為聽障人士搭建無障礙交流平臺,對社會文明進步有著重要意義和應用價值。手語分為靜態(tài)手語和動態(tài)手語,與靜態(tài)手語相比,動態(tài)手語具有手部軌跡運動和手型變化的特點。本文利用Kinect傳感器作為硬件采集平臺對動態(tài)中國手語詞匯的識別進行研究,借助Kinect獲取彩色圖像、深度圖像以及骨骼點跟蹤,設計了一種利用運動軌跡和手型變化相結合的手語識別方案。本文首先給出一種結合卡爾曼濾波與區(qū)域生長法的改進手部跟蹤與分割算法,根據手部骨骼點坐標自適應地截取包含部分手和背景的區(qū)域,并統(tǒng)計該區(qū)域的深度直方圖。選取直方圖中靠近攝像頭的點作為區(qū)域生長種子點,得到同時符合膚色區(qū)域和深度值的手部區(qū)域。對分割區(qū)域應用距離變換得到手心坐標,并將其作為卡爾曼濾波跟蹤的測量值,對跟蹤骨骼點坐標重新校正。當雙手出現(xiàn)相互遮擋的情況時,利用多目標橢圓擬合假設區(qū)分雙手的跟蹤點,最終實現(xiàn)手部區(qū)域的準確跟蹤與精準分割。然后對手部運動軌跡進行歸一化處理... 

【文章頁數(shù)】：89 頁

【學位級別】：碩士

【文章目錄】：
摘要
Abstract
1 緒論
    1.1 研究背景及意義
    1.2 國內外研究現(xiàn)狀
    1.3 目前存在的問題
    1.4 論文的主要研究內容和章節(jié)安排
        1.4.1 論文的主要研究內容
        1.4.2 論文的章節(jié)安排
2 手部區(qū)域的分割與跟蹤
    2.1 手部區(qū)域分割方法
        2.1.1 基于膚色的分割
        2.1.2 基于深度信息的分割
        2.1.3 彩色與深度攝像頭定標
        2.1.4 結合膚色和深度信息的分割
    2.2 手部區(qū)域跟蹤方法
        2.2.1 基于目標模型建模法跟蹤
        2.2.2 相關濾波法跟蹤
        2.2.3 基于搜索法跟蹤
    2.3 卡爾曼濾波與區(qū)域生長法結合的手部改進跟蹤算法
        2.3.1 卡爾曼濾波跟蹤
        2.3.2 改進的結合區(qū)域生長法分割結果的卡爾曼濾波跟蹤
        2.3.3 當雙手接觸和遮擋時的跟蹤點預測
    2.4 實驗結果與分析
    2.5 本章小結
3 基于軌跡的手語識別
    3.1 數(shù)據集簡介
    3.2 軌跡數(shù)據預處理
        3.2.1 手語起止點的確定
        3.2.2 軌跡歸一化
        3.2.3 坐標系間轉換
    3.3 基于軌跡的動態(tài)手語識別算法
        3.3.1 動態(tài)時間規(guī)整算法
        3.3.2 支持向量機
        3.3.3 以DDTW為核函數(shù)的SVM
    3.4 基于不同特征的手語軌跡識別實驗對比與分析
        3.4.1 基于不同識別算法的對比實驗
        3.4.2 基于不同軌跡特征的對比實驗
    3.5 本章小結
4 基于深度運動圖的手型識別
    4.1 深度運動圖
        4.1.1 深度運動圖的生成
        4.1.2 加權提取的深度運動圖
    4.2 提取深度運動幀中關鍵手型的方法
    4.3 手型識別算法
        4.3.1 極限學習機
    4.4 手型特征提取與編碼
        4.4.1 方向梯度直方圖特征
        4.4.2 局部二值模式特征
        4.4.3 特征編碼
    4.5 實驗結果與分析
    4.6 本章小結
總結與展望
參考文獻
致謝
作者簡歷及攻讀碩士學位期間的科研成果


【參考文獻】：
期刊論文
[1]大規(guī)模連續(xù)中國手語數(shù)據集的創(chuàng)建與分析[J]. 袁甜甜,趙偉,楊學,胡彬.  計算機工程與應用. 2019(11)
[2]目標跟蹤算法綜述[J]. 孟琭,楊旭.  自動化學報. 2019(07)
[3]時間序列數(shù)據挖掘中的動態(tài)時間彎曲研究綜述[J]. 李海林,梁葉,王少春.  控制與決策. 2018(08)
[4]基于多線索的運動手部分割方法[J]. 阮曉鋼,林佳,于乃功,朱曉慶,Ouattara Sie.  電子與信息學報. 2017(05)
[5]基于深度圖像與骨骼數(shù)據的行為識別[J]. 陸中秋,侯振杰,陳宸,梁久禎.  計算機應用. 2016(11)
[6]基于Kinect的指尖檢測與手勢識別方法[J]. 談家譜,徐文勝.  計算機應用. 2015(06)
[7]基于深度圖像信息的手語識別算法[J]. 楊全,彭進業(yè).  計算機應用. 2013(10)
[8]人類膚色識別中高斯模型的應用[J]. 宗蘇.  中小企業(yè)管理與科技(下旬刊). 2011(12)
[9]移動背景下運動目標檢測與跟蹤技術研究[J]. 孫斌,黃神治.  電子測量與儀器學報. 2011(03)
[10]試論自然手語和文法手語的幾個問題[J]. 吳鈴.  中國特殊教育. 2005(09)

碩士論文
[1]基于非特定人群實時手語識別系統(tǒng)的研究[D]. 郭鑫鵬.南京航空航天大學 2018



本文編號：3704226