自動(dòng)唇讀是一種集計(jì)算機(jī)視覺(jué)、人工智能與自然語(yǔ)言處理于一體的綜合技術(shù),可以直接從人講話時(shí)的嘴唇動(dòng)作圖像序列中識(shí)別講話內(nèi)容,是一種新型的人機(jī)交互方式。近年來(lái),隨著人工智能技術(shù)的快速發(fā)展,唇語(yǔ)識(shí)別技術(shù)也越發(fā)的更加成熟起來(lái),其網(wǎng)絡(luò)模型的識(shí)別準(zhǔn)確率也有著明顯的提高。本文利用公開(kāi)數(shù)據(jù)集GRID語(yǔ)料庫(kù)中的視頻數(shù)據(jù),在GPU平臺(tái)上搭建了一個(gè)固定結(jié)構(gòu)語(yǔ)句的唇語(yǔ)識(shí)別系統(tǒng),固定結(jié)構(gòu)語(yǔ)句中包括命令、顏色、介詞、字母、數(shù)字以及副詞,例如:“Place blue in m one soon”。所有語(yǔ)句都采用這樣的結(jié)構(gòu),該系統(tǒng)是一個(gè)句子層面的唇語(yǔ)識(shí)別系統(tǒng)。我們采用一種耦合三維卷積神經(jīng)網(wǎng)絡(luò)(3D-CNN)和雙向長(zhǎng)短期記憶網(wǎng)絡(luò)(Bi-LSTM)相結(jié)合的網(wǎng)絡(luò)架構(gòu)對(duì)輸入的連續(xù)75張圖片數(shù)據(jù)進(jìn)行特征提取,同時(shí),為了不對(duì)輸入的每一幀圖片數(shù)據(jù)和標(biāo)簽數(shù)據(jù)進(jìn)行人工對(duì)齊操作,我們采用了CTC損失函數(shù)作為唇語(yǔ)識(shí)別系統(tǒng)的模型訓(xùn)練損失。采用CTC作為損失函數(shù)的唇語(yǔ)識(shí)別系統(tǒng)模型訓(xùn)練,是一種完全端到端的唇語(yǔ)識(shí)別系統(tǒng)模型訓(xùn)練,不需要預(yù)先對(duì)數(shù)據(jù)做對(duì)齊,只需要一個(gè)連續(xù)動(dòng)作的嘴部圖像輸入序列和一個(gè)標(biāo)簽輸出序列即可以訓(xùn)練網(wǎng)絡(luò)模型。本文使用的網(wǎng)絡(luò)結(jié)構(gòu)較小,...

【文章頁(yè)數(shù)】：60 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖2-5標(biāo)準(zhǔn)正太分布圖

第二章神經(jīng)網(wǎng)絡(luò)理論9維的特征向量，在這一層中，所有的神經(jīng)元都會(huì)兩兩進(jìn)行連接，目的是把前一層的神經(jīng)元特征都綜合起來(lái)，所以一個(gè)網(wǎng)絡(luò)的絕大多數(shù)參數(shù)都集中在了全連接層。它的最終目的是將最后一層卷積得到的特征圖轉(zhuǎn)換成向量，然后對(duì)這個(gè)向量做乘法，最終降低其維度，全連接層輸出的數(shù)據(jù)經(jīng)過(guò)soft....

圖2-6Sigmoid函數(shù)圖像

第二章神經(jīng)網(wǎng)絡(luò)理論10當(dāng)網(wǎng)絡(luò)的激活函數(shù)為Sigmoid函數(shù)時(shí)，其公式為:()=11+(2-3)下圖2-6為Sigmoid函數(shù)圖像。圖2-6Sigmoid函數(shù)圖像對(duì)Sigmoid函數(shù)進(jìn)行求導(dǎo)操作，其導(dǎo)數(shù)公式如下所示:()=()(1())(2-4)圖2-7為Sigmoid導(dǎo)函數(shù)對(duì)應(yīng)的....

圖2-7Sigmoid導(dǎo)函數(shù)圖像

第二章神經(jīng)網(wǎng)絡(luò)理論10當(dāng)網(wǎng)絡(luò)的激活函數(shù)為Sigmoid函數(shù)時(shí)，其公式為:()=11+(2-3)下圖2-6為Sigmoid函數(shù)圖像。圖2-6Sigmoid函數(shù)圖像對(duì)Sigmoid函數(shù)進(jìn)行求導(dǎo)操作，其導(dǎo)數(shù)公式如下所示:()=()(1())(2-4)圖2-7為Sigmoid導(dǎo)函數(shù)對(duì)應(yīng)的....

圖3-2部分視頻標(biāo)簽

第三章訓(xùn)練數(shù)據(jù)集的制作

本文編號(hào)：3936835