手語(yǔ)翻譯是一個(gè)涉及計(jì)算機(jī)視覺、自然語(yǔ)言處理和模式識(shí)別等多個(gè)技術(shù)領(lǐng)域的綜合性任務(wù),在智能場(chǎng)景識(shí)別、手語(yǔ)視頻檢索等領(lǐng)域有著極為廣泛的應(yīng)用前景,尤其對(duì)于聾啞群體參與正常交流有著極其重要的意義。本文研究利用圖卷積網(wǎng)絡(luò)（Graph Convolutional Network,GCN）、人體骨架圖數(shù)據(jù)時(shí)空特征提取以及編碼-解碼網(wǎng)絡(luò)（Encoder-Decoder Network）的序列化建模輸出文本,提出基于時(shí)空?qǐng)D卷積網(wǎng)絡(luò)（ST-GCN）的手語(yǔ)翻譯方法�；诰矸e神經(jīng)網(wǎng)絡(luò)的深度模型方法廣泛用于諸如圖片識(shí)別、視頻分析等領(lǐng)域中的歐幾里德數(shù)據(jù)處理。非歐幾里德類型的人體骨架關(guān)節(jié)點(diǎn)數(shù)據(jù)無(wú)法被深度模型直接處理,而通常被轉(zhuǎn)換為歐幾里德類型的數(shù)據(jù)易導(dǎo)致結(jié)構(gòu)信息丟失。本文在人體骨架關(guān)節(jié)點(diǎn)數(shù)據(jù)上直接采用時(shí)空?qǐng)D卷積網(wǎng)絡(luò)進(jìn)行手語(yǔ)動(dòng)作分類識(shí)別。首先,借助姿態(tài)估計(jì)方法獲取骨架關(guān)節(jié)點(diǎn)的位置信息;在構(gòu)建骨架關(guān)節(jié)點(diǎn)圖數(shù)據(jù)之后,采用時(shí)空?qǐng)D卷積網(wǎng)絡(luò)提取時(shí)空特征;利用softmax分類器實(shí)現(xiàn)對(duì)視頻中手語(yǔ)動(dòng)作的分類識(shí)別。手語(yǔ)數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果表明,本文方法能直接對(duì)骨架關(guān)節(jié)點(diǎn)數(shù)據(jù)提取時(shí)空特征并在手語(yǔ)動(dòng)作識(shí)別任務(wù)上取得了較好的結(jié)果。手語(yǔ)視頻中手語(yǔ)... 

【文章來(lái)源】：南京郵電大學(xué)江蘇省

【文章頁(yè)數(shù)】：82 頁(yè)

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
abstract
第一章 緒論
    1.1 研究背景及意義
    1.2 國(guó)內(nèi)外研究現(xiàn)狀
        1.2.1 手語(yǔ)翻譯
        1.2.2 圖卷積神經(jīng)網(wǎng)絡(luò)模型
    1.3 主要研究?jī)?nèi)容和論文組織結(jié)構(gòu)
        1.3.1 主要研究?jī)?nèi)容
        1.3.2 論文組織結(jié)構(gòu)
第二章 手語(yǔ)翻譯的基本概念及相關(guān)原理
    2.1 手語(yǔ)動(dòng)作特征提取技術(shù)
        2.1.1 基于傳統(tǒng)方法的特征提取
        2.1.2 基于深度學(xué)習(xí)的特征提取
    2.2 圖卷積網(wǎng)絡(luò)相關(guān)模型
        2.2.1 基于譜域的圖卷積
        2.2.2 基于空域的圖卷積
    2.3 本章小結(jié)
第三章 基于時(shí)空?qǐng)D卷積網(wǎng)絡(luò)的手語(yǔ)識(shí)別
    3.1 骨架圖數(shù)據(jù)
        3.1.1 骨架關(guān)節(jié)點(diǎn)
        3.1.2 手語(yǔ)骨架圖數(shù)據(jù)
    3.2 時(shí)空?qǐng)D卷積神經(jīng)網(wǎng)絡(luò)模型
        3.2.1 時(shí)空?qǐng)D卷積神經(jīng)網(wǎng)絡(luò)
        3.2.2 基于時(shí)空?qǐng)D卷積網(wǎng)絡(luò)手語(yǔ)識(shí)別框架
    3.3 手語(yǔ)識(shí)別數(shù)據(jù)集
        3.3.1 數(shù)據(jù)集介紹
        3.3.2 數(shù)據(jù)集預(yù)處理
    3.4 實(shí)驗(yàn)過(guò)程與結(jié)果分析
        3.4.1 實(shí)驗(yàn)過(guò)程
        3.4.2 結(jié)果分析
    3.5 本章小結(jié)
第四章 基于雙流時(shí)空?qǐng)D卷積網(wǎng)絡(luò)的手語(yǔ)翻譯
    4.1 雙流時(shí)空?qǐng)D卷積神經(jīng)網(wǎng)絡(luò)
        4.1.1 基于雙流時(shí)空?qǐng)D卷積的手語(yǔ)翻譯模型
        4.1.2 雙流時(shí)空?qǐng)D卷積神經(jīng)網(wǎng)絡(luò)
        4.1.3 子圖特征聚合
    4.2 基于注意力機(jī)制的編碼-解碼翻譯模型
        4.2.1 編碼-解碼模型
        4.2.2 基于注意力機(jī)制的編碼-解碼網(wǎng)絡(luò)
    4.3 實(shí)驗(yàn)過(guò)程與結(jié)果分析
        4.3.1 實(shí)驗(yàn)過(guò)程
        4.3.2 實(shí)驗(yàn)方案
        4.3.3 結(jié)果分析
    4.4 本章小結(jié)
第五章 基于殘差連接時(shí)空?qǐng)D卷積的手語(yǔ)翻譯
    5.1 殘差連接網(wǎng)絡(luò)模型
        5.1.1 深度殘差網(wǎng)絡(luò)
        5.1.2 殘差連接時(shí)空?qǐng)D卷積網(wǎng)絡(luò)
    5.2 基于Transformer的翻譯模型
        5.2.1 編碼器網(wǎng)絡(luò)
        5.2.2 解碼器網(wǎng)絡(luò)
    5.3 實(shí)驗(yàn)過(guò)程與結(jié)果分析
        5.3.1 實(shí)驗(yàn)過(guò)程
        5.3.2 結(jié)果分析
    5.4 本章小結(jié)
第六章 總結(jié)與展望
    6.1 總結(jié)
    6.2 展望
參考文獻(xiàn)
附錄1 攻讀碩士學(xué)位期間撰寫的論文
附錄2 攻讀碩士學(xué)位期間申請(qǐng)的專利
附錄3 攻讀碩士學(xué)位期間參加的科研項(xiàng)目
致謝


【參考文獻(xiàn)】：
期刊論文
[1]基于Kinect的手語(yǔ)識(shí)別及播放器設(shè)計(jì)[J]. 陳德寧,馬銳軍,張俊源,王曉軍,董澤炯,龔立威,袁國(guó)樞.  科技風(fēng). 2020(14)
[2]基于時(shí)空注意力網(wǎng)絡(luò)的中國(guó)手語(yǔ)識(shí)別[J]. 羅元,李丹,張毅.  半導(dǎo)體光電. 2020(03)
[3]基于深度卷積神經(jīng)網(wǎng)絡(luò)的多特征融合的手勢(shì)識(shí)別[J]. 贠衛(wèi)國(guó),史其琦,王民.  液晶與顯示. 2019(04)

碩士論文
[1]基于強(qiáng)化學(xué)習(xí)的手語(yǔ)視頻翻譯[D]. 張之昊.中國(guó)科學(xué)技術(shù)大學(xué) 2019



本文編號(hào)：3633194