發(fā)布時間：2022-11-07 18:58

　　聽障人士占我國人口總數(shù)的5%,手語對他們來說是交流情感不可或缺的一種語言。但未學(xué)習(xí)過手語的人無法理解手語的含義,限制了聽障人士走出家門、與人交談的機會,因此對動態(tài)中國手語詞匯進行識別和理解有助于為聽障人士搭建無障礙交流平臺,對社會文明進步有著重要意義和應(yīng)用價值。手語分為靜態(tài)手語和動態(tài)手語,與靜態(tài)手語相比,動態(tài)手語具有手部軌跡運動和手型變化的特點。本文利用Kinect傳感器作為硬件采集平臺對動態(tài)中國手語詞匯的識別進行研究,借助Kinect獲取彩色圖像、深度圖像以及骨骼點跟蹤,設(shè)計了一種利用運動軌跡和手型變化相結(jié)合的手語識別方案。本文首先給出一種結(jié)合卡爾曼濾波與區(qū)域生長法的改進手部跟蹤與分割算法,根據(jù)手部骨骼點坐標自適應(yīng)地截取包含部分手和背景的區(qū)域,并統(tǒng)計該區(qū)域的深度直方圖。選取直方圖中靠近攝像頭的點作為區(qū)域生長種子點,得到同時符合膚色區(qū)域和深度值的手部區(qū)域。對分割區(qū)域應(yīng)用距離變換得到手心坐標,并將其作為卡爾曼濾波跟蹤的測量值,對跟蹤骨骼點坐標重新校正。當(dāng)雙手出現(xiàn)相互遮擋的情況時,利用多目標橢圓擬合假設(shè)區(qū)分雙手的跟蹤點,最終實現(xiàn)手部區(qū)域的準確跟蹤與精準分割。然后對手部運動軌跡進行歸一化處理... 

【文章頁數(shù)】：89 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
Abstract
1 緒論
    1.1 研究背景及意義
    1.2 國內(nèi)外研究現(xiàn)狀
    1.3 目前存在的問題
    1.4 論文的主要研究內(nèi)容和章節(jié)安排
        1.4.1 論文的主要研究內(nèi)容
        1.4.2 論文的章節(jié)安排
2 手部區(qū)域的分割與跟蹤
    2.1 手部區(qū)域分割方法
        2.1.1 基于膚色的分割
        2.1.2 基于深度信息的分割
        2.1.3 彩色與深度攝像頭定標
        2.1.4 結(jié)合膚色和深度信息的分割
    2.2 手部區(qū)域跟蹤方法
        2.2.1 基于目標模型建模法跟蹤
        2.2.2 相關(guān)濾波法跟蹤
        2.2.3 基于搜索法跟蹤
    2.3 卡爾曼濾波與區(qū)域生長法結(jié)合的手部改進跟蹤算法
        2.3.1 卡爾曼濾波跟蹤
        2.3.2 改進的結(jié)合區(qū)域生長法分割結(jié)果的卡爾曼濾波跟蹤
        2.3.3 當(dāng)雙手接觸和遮擋時的跟蹤點預(yù)測
    2.4 實驗結(jié)果與分析
    2.5 本章小結(jié)
3 基于軌跡的手語識別
    3.1 數(shù)據(jù)集簡介
    3.2 軌跡數(shù)據(jù)預(yù)處理
        3.2.1 手語起止點的確定
        3.2.2 軌跡歸一化
        3.2.3 坐標系間轉(zhuǎn)換
    3.3 基于軌跡的動態(tài)手語識別算法
        3.3.1 動態(tài)時間規(guī)整算法
        3.3.2 支持向量機
        3.3.3 以DDTW為核函數(shù)的SVM
    3.4 基于不同特征的手語軌跡識別實驗對比與分析
        3.4.1 基于不同識別算法的對比實驗
        3.4.2 基于不同軌跡特征的對比實驗
    3.5 本章小結(jié)
4 基于深度運動圖的手型識別
    4.1 深度運動圖
        4.1.1 深度運動圖的生成
        4.1.2 加權(quán)提取的深度運動圖
    4.2 提取深度運動幀中關(guān)鍵手型的方法
    4.3 手型識別算法
        4.3.1 極限學(xué)習(xí)機
    4.4 手型特征提取與編碼
        4.4.1 方向梯度直方圖特征
        4.4.2 局部二值模式特征
        4.4.3 特征編碼
    4.5 實驗結(jié)果與分析
    4.6 本章小結(jié)
總結(jié)與展望
參考文獻
致謝
作者簡歷及攻讀碩士學(xué)位期間的科研成果


【參考文獻】：
期刊論文
[1]大規(guī)模連續(xù)中國手語數(shù)據(jù)集的創(chuàng)建與分析[J]. 袁甜甜,趙偉,楊學(xué),胡彬.  計算機工程與應(yīng)用. 2019(11)
[2]目標跟蹤算法綜述[J]. 孟琭,楊旭.  自動化學(xué)報. 2019(07)
[3]時間序列數(shù)據(jù)挖掘中的動態(tài)時間彎曲研究綜述[J]. 李海林,梁葉,王少春.  控制與決策. 2018(08)
[4]基于多線索的運動手部分割方法[J]. 阮曉鋼,林佳,于乃功,朱曉慶,Ouattara Sie.  電子與信息學(xué)報. 2017(05)
[5]基于深度圖像與骨骼數(shù)據(jù)的行為識別[J]. 陸中秋,侯振杰,陳宸,梁久禎.  計算機應(yīng)用. 2016(11)
[6]基于Kinect的指尖檢測與手勢識別方法[J]. 談家譜,徐文勝.  計算機應(yīng)用. 2015(06)
[7]基于深度圖像信息的手語識別算法[J]. 楊全,彭進業(yè).  計算機應(yīng)用. 2013(10)
[8]人類膚色識別中高斯模型的應(yīng)用[J]. 宗蘇.  中小企業(yè)管理與科技(下旬刊). 2011(12)
[9]移動背景下運動目標檢測與跟蹤技術(shù)研究[J]. 孫斌,黃神治.  電子測量與儀器學(xué)報. 2011(03)
[10]試論自然手語和文法手語的幾個問題[J]. 吳鈴.  中國特殊教育. 2005(09)

碩士論文
[1]基于非特定人群實時手語識別系統(tǒng)的研究[D]. 郭鑫鵬.南京航空航天大學(xué) 2018



本文編號：3704226