手語(yǔ)視頻翻譯技術(shù)是一種將手語(yǔ)視頻翻譯成文字的方法,不僅可以解決聾啞人群體和正常人交流的問(wèn)題,也能打破不同國(guó)度和不同語(yǔ)種間的手語(yǔ)界限,實(shí)現(xiàn)不同人群的有效交流。同時(shí),由于以深度學(xué)習(xí)為代表的人工智能技術(shù)正在快速進(jìn)步,不斷地向貼近大眾生活的方向發(fā)展,因此基于深度學(xué)習(xí)技術(shù)的手語(yǔ)視頻翻譯研究正成為研究者爭(zhēng)相研究的熱點(diǎn)。本文基于時(shí)域卷積網(wǎng)絡(luò)（Temporal Convolution Network,TCN）和雙路門控單元（Bidirectional Gated Recurrent Unit,BGRU）提出了 一種雙路并行的時(shí)序?qū)W習(xí)模型。該時(shí)序?qū)W習(xí)模型一方面利用TCN來(lái)捕獲短時(shí)的局部相關(guān)性信息,另一方面利用BGRU來(lái)捕獲長(zhǎng)時(shí)的上下文信息,從而充分利用視頻幀之間的時(shí)序信息。在將兩路網(wǎng)絡(luò)進(jìn)行后端融合后,利用級(jí)聯(lián)時(shí)序分類（Connectionist Temporal Classification,CTC）函數(shù)對(duì)來(lái)整個(gè)時(shí)序?qū)W習(xí)模型進(jìn)行端到端的訓(xùn)練。該模型在德國(guó)手語(yǔ)天氣數(shù)據(jù)集上較單一的TCN或BGRU較好值相比,降低了 0.3%的詞錯(cuò)率,有效驗(yàn)證了本方法的合理性。此外,本文針對(duì)手語(yǔ)視頻中監(jiān)督信息不足（視頻片段和... 

【文章頁(yè)數(shù)】：59 頁(yè)

【學(xué)位級(jí)別】：碩士

【文章目錄】：
致謝
摘要
ABSTRACT
第一章 緒論
    1.1 研究背景及意義
    1.2 研究現(xiàn)狀
        1.2.1 基于傳統(tǒng)方法的手語(yǔ)翻譯算法
        1.2.2 基于深度學(xué)習(xí)的手語(yǔ)翻譯算法
    1.3 研究?jī)?nèi)容及組織結(jié)構(gòu)
第二章 深度學(xué)習(xí)基礎(chǔ)
    2.1 神經(jīng)網(wǎng)絡(luò)算法基礎(chǔ)
        2.1.1 多層感知機(jī)
        2.1.2 卷積神經(jīng)網(wǎng)絡(luò)
        2.1.3 循環(huán)神經(jīng)網(wǎng)絡(luò)
    2.2 編碼解碼模型
        2.2.1 編解碼基礎(chǔ)結(jié)構(gòu)
        2.2.2 注意力機(jī)制
    2.3 級(jí)聯(lián)時(shí)序分類算法
    2.4 本章小結(jié)
第三章 基于時(shí)域卷積與雙向門控單元融合的時(shí)序?qū)W習(xí)模型
    3.1 方法描述
    3.2 時(shí)域卷積學(xué)習(xí)模塊
        3.2.1 時(shí)域卷積模型TCN概要
        3.2.2 基于TCN卷積的時(shí)序?qū)W習(xí)模塊
    3.3 雙向門控單元時(shí)序?qū)W習(xí)模塊
        3.3.1 雙向門控單元模塊概要
        3.3.2 基于BGRU的時(shí)序?qū)W習(xí)模塊
    3.4 基于雙路時(shí)序得分融合的CTC優(yōu)化
        3.4.1 雙路時(shí)序得分融合模塊
        3.4.2 CTC分類優(yōu)化
    3.5 實(shí)驗(yàn)結(jié)果與分析
        3.5.1 實(shí)驗(yàn)數(shù)據(jù)集與評(píng)價(jià)指標(biāo)
        3.5.2 實(shí)驗(yàn)參數(shù)設(shè)置
        3.5.3 網(wǎng)絡(luò)與單路網(wǎng)絡(luò)對(duì)比實(shí)驗(yàn)
        3.5.4 與其他手語(yǔ)翻譯方法的對(duì)比
    3.6 小結(jié)
第四章 基于偽監(jiān)督學(xué)習(xí)連續(xù)手語(yǔ)翻譯
    4.1 偽監(jiān)督學(xué)習(xí)簡(jiǎn)介
    4.2 模型描述
        4.2.1 3D CNN特征提取
        4.2.2 序列對(duì)齊學(xué)習(xí)
        4.2.3 偽監(jiān)督學(xué)習(xí)優(yōu)化策略
    4.3 實(shí)驗(yàn)分析
        4.3.1 實(shí)驗(yàn)數(shù)據(jù)集與評(píng)價(jià)指標(biāo)
        4.3.2 實(shí)驗(yàn)參數(shù)設(shè)置
        4.3.3 模型驗(yàn)證
        4.3.4 與現(xiàn)有方法對(duì)比
    4.4 小結(jié)
第五章 總結(jié)與展望
    5.1 工作總結(jié)
    5.2 未來(lái)展望
參考文獻(xiàn)
攻讀碩士學(xué)位期間的學(xué)術(shù)活動(dòng)及成果情況


【參考文獻(xiàn)】：
期刊論文
[1]基于深度學(xué)習(xí)的手語(yǔ)識(shí)別綜述[J]. 張淑軍,張群,李輝.  電子與信息學(xué)報(bào). 2020(04)
[2]基于深度學(xué)習(xí)的中國(guó)手語(yǔ)翻譯[J]. 袁甜甜,胡彬,楊學(xué),趙偉.  電視技術(shù). 2019(02)
[3]馬爾可夫及隱馬爾可夫模型的應(yīng)用[J]. 黃崗.  電子設(shè)計(jì)工程. 2013(17)



本文編號(hào)：3705617