發(fā)布時間：2023-01-12 18:21

　　手語是聽障人群的日常交流方式。手語識別將手語翻譯成文本或語音進行輸出,極大地促進了聾啞人群與其他人群之間的交流。同時,手語識別是人機交互系統(tǒng)發(fā)展的一個重要領(lǐng)域,在智能交互時代具有重要的現(xiàn)實意義。因此,本文針對非特定人的中國手語詞識別研究不僅具有豐富的理論意義,而且擁有廣闊的應(yīng)用前景。首先,闡述了手語識別技術(shù)的國內(nèi)外研究現(xiàn)狀,介紹了卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network,CNN）和循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network,RNN）的理論基礎(chǔ),研究了基于深度學(xué)習(xí)的手語識別方法,并設(shè)計了基于深度學(xué)習(xí)的手語識別系統(tǒng)。其次,針對手語識別中存在手語詞間的混淆干擾、時空關(guān)聯(lián)性不強的問題,本文提出一種基于長短期時空特征的手語詞識別方法。該方法首先將手語數(shù)據(jù)進行預(yù)處理,然后將殘差結(jié)構(gòu)引入到三維卷積神經(jīng)網(wǎng)絡(luò)（Three Dimension Convolutional Neural Network,3DCNN）中提取手語序列的短期時空特征,接著利用卷積長短時記憶（Convolutional Long Short Term Memory,ConvLSTM）... 

【文章頁數(shù)】：70 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
abstract
注釋表
第1章 緒論
    1.1 課題研究背景及意義
    1.2 國內(nèi)外研究現(xiàn)狀
    1.3 技術(shù)研究難點
    1.4 主要研究內(nèi)容
    1.5 章節(jié)安排
第2章 基于深度學(xué)習(xí)的手語識別理論基礎(chǔ)與系統(tǒng)設(shè)計
    2.1 卷積神經(jīng)網(wǎng)絡(luò)
        2.1.1 網(wǎng)絡(luò)特點
        2.1.2 網(wǎng)絡(luò)層
    2.2 循環(huán)神經(jīng)網(wǎng)絡(luò)
        2.2.1 網(wǎng)絡(luò)特點
        2.2.2 網(wǎng)絡(luò)原理
        2.2.3 基本類型
    2.3 手語識別的研究與系統(tǒng)設(shè)計
        2.3.1 基于3DCNN的手語識別研究
        2.3.2 基于CNN-RNN的手語識別研究
        2.3.3 手語識別系統(tǒng)的總體框架設(shè)計
    2.4 本章小結(jié)
第3章 基于長短期時空特征的手語詞識別
    3.1 模型框架
    3.2 預(yù)處理
    3.3 特征提取
        3.3.1 殘差網(wǎng)絡(luò)
        3.3.2 深度殘差三維卷積神經(jīng)網(wǎng)絡(luò)
    3.4 時序建模
        3.4.1 LSTM網(wǎng)絡(luò)
        3.4.2 ConvLSTM網(wǎng)絡(luò)
    3.5 手語分類器
    3.6 模型的訓(xùn)練
    3.7 實驗結(jié)果與分析
        3.7.1 實驗數(shù)據(jù)
        3.7.2 參數(shù)設(shè)置
        3.7.3 實驗結(jié)果分析
    3.8 本章小結(jié)
第4章 基于時空注意力的手語詞識別
    4.1 模型框架
    4.2 注意力機制概述
        4.2.1 注意力機制的應(yīng)用
        4.2.2 注意力機制原理
    4.3 基于時空注意力的手語詞識別
        4.3.1 空間注意力網(wǎng)絡(luò)
        4.3.2 時間注意力網(wǎng)絡(luò)
        4.3.3 模型的訓(xùn)練
    4.4 實驗結(jié)果與分析
        4.4.1 準(zhǔn)確性分析
        4.4.2 可視化分析
    4.5 本章小結(jié)
第5章 中國手語詞識別系統(tǒng)實現(xiàn)與分析
    5.1 中國手語詞識別系統(tǒng)總體框架
    5.2 中國手語詞識別系統(tǒng)平臺搭建
        5.2.1 硬件設(shè)備
        5.2.2 軟件平臺
    5.3 實驗分析
        5.3.1 自制數(shù)據(jù)集
        5.3.2 遷移學(xué)習(xí)
        5.3.3 特定人與非特定人實驗
        5.3.4 功能測試
    5.4 本章小結(jié)
第6章 總結(jié)與展望
    6.1 全文工作總結(jié)
    6.2 展望
參考文獻
致謝
攻讀碩士學(xué)位期間從事的科研工作及取得的成果


【參考文獻】：
期刊論文
[1]我國手語使用狀況的調(diào)查研究[J]. 劉艷虹,顧定倩,程黎,魏丹.  語言文字應(yīng)用. 2013(02)
[2]基于SRN/HMM的非特定人連續(xù)手語識別系統(tǒng)[J]. 方高林,高文,陳熙霖,王春立,馬繼勇.  軟件學(xué)報. 2002(11)

碩士論文
[1]基于Kinect的非特定人連續(xù)中國手語識別[D]. 馮欣.山東大學(xué) 2018



本文編號：3730267