在聾校語(yǔ)言教學(xué)中,雙語(yǔ)教學(xué)模式能有效提高聾童的語(yǔ)言學(xué)習(xí)效率,但對(duì)于特殊教師們來(lái)說(shuō)則需花費(fèi)更多的耐心、時(shí)間和精力。面臨著我國(guó)特殊教育學(xué)校的教師資源普遍薄弱的現(xiàn)狀,手語(yǔ)識(shí)別技術(shù)可幫助特教完成語(yǔ)言教學(xué)任務(wù)——聾童將手語(yǔ)錄成視頻輸入計(jì)算機(jī),進(jìn)而能夠?qū)W習(xí)輸出的漢字和唇語(yǔ),無(wú)需老師親自教學(xué)就能完成漢語(yǔ)書面語(yǔ)的學(xué)習(xí)。另外,計(jì)算機(jī)只對(duì)標(biāo)準(zhǔn)的手語(yǔ)(以《中國(guó)手語(yǔ)》為標(biāo)準(zhǔn))進(jìn)行識(shí)別,借此還可糾正聾童手語(yǔ)方言化的問(wèn)題。本文研究的是基于單目視覺(jué)的手語(yǔ)-唇語(yǔ)轉(zhuǎn)化系統(tǒng),其關(guān)鍵難點(diǎn)在于手語(yǔ)識(shí)別,具體工作如下:一、視頻關(guān)鍵幀提取。首先分析了常見(jiàn)的4種視頻關(guān)鍵幀提取方法,為了在能完整提取所有關(guān)鍵幀的前提下盡可能消除冗余幀,提出一種基于聚類的視頻關(guān)鍵幀優(yōu)化提取算法。利用卷積自編碼器(CAE)神經(jīng)網(wǎng)絡(luò)提取視頻幀的深度特征,對(duì)提取到的特征進(jìn)行K-means聚類后,采用清晰度篩選取出最清晰的視頻幀作為首次提取到的關(guān)鍵幀,再利用點(diǎn)密度方法進(jìn)行關(guān)鍵幀的二次優(yōu)化。實(shí)驗(yàn)結(jié)果表明,本算法能大量消除冗余幀,并同時(shí)保證關(guān)鍵幀的完整性。二、對(duì)關(guān)鍵幀進(jìn)行手勢(shì)識(shí)別。針對(duì)手部小目標(biāo)對(duì)SSD目標(biāo)檢測(cè)網(wǎng)絡(luò)做了幾點(diǎn)改進(jìn):將SE-Net嵌入SSD中的特征層提...

【文章頁(yè)數(shù)】：62 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖2-1“松”的兩個(gè)關(guān)鍵手型

基于單目視覺(jué)的手語(yǔ)-唇語(yǔ)轉(zhuǎn)化系統(tǒng)研究與實(shí)現(xiàn)8第二章基于聚類的關(guān)鍵幀優(yōu)化提取算法2.1引言基于視覺(jué)的手勢(shì)識(shí)別技術(shù)是一個(gè)富有挑戰(zhàn)的、多學(xué)科交叉的研究課題，是人機(jī)交互領(lǐng)域的一個(gè)前沿性課題和研究熱點(diǎn)。一個(gè)手語(yǔ)視頻中并不是每一幀都對(duì)其表達(dá)的語(yǔ)義有作用，由于手語(yǔ)者的潛意識(shí)，在做手語(yǔ)動(dòng)作時(shí)，為....

圖2-2包含“松”關(guān)鍵手型的關(guān)鍵幀本章根據(jù)手語(yǔ)視頻關(guān)鍵幀的特點(diǎn)和手語(yǔ)者的手語(yǔ)習(xí)慣，提出一種面向手語(yǔ)

基于單目視覺(jué)的手語(yǔ)-唇語(yǔ)轉(zhuǎn)化系統(tǒng)研究與實(shí)現(xiàn)8第二章基于聚類的關(guān)鍵幀優(yōu)化提取算法2.1引言基于視覺(jué)的手勢(shì)識(shí)別技術(shù)是一個(gè)富有挑戰(zhàn)的、多學(xué)科交叉的研究課題，是人機(jī)交互領(lǐng)域的一個(gè)前沿性課題和研究熱點(diǎn)。一個(gè)手語(yǔ)視頻中并不是每一幀都對(duì)其表達(dá)的語(yǔ)義有作用，由于手語(yǔ)者的潛意識(shí)，在做手語(yǔ)動(dòng)作時(shí)，為....

圖2-3關(guān)鍵幀提取和優(yōu)化算法基本思想流程圖

基于單目視覺(jué)的手語(yǔ)-唇語(yǔ)轉(zhuǎn)化系統(tǒng)研究與實(shí)現(xiàn)10的關(guān)鍵幀集合，最后在中國(guó)科學(xué)技術(shù)大學(xué)SLRDataset中的xf500_color_video數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)。2.3關(guān)鍵幀優(yōu)化提取算法本文提出一種針對(duì)手語(yǔ)視頻的關(guān)鍵幀提取和優(yōu)化算法，基本思想流程如圖2-3所示，算法分為特征提娶清晰度優(yōu)....

圖2-4最簡(jiǎn)單的自編碼網(wǎng)絡(luò)結(jié)構(gòu)

基于單目視覺(jué)的手語(yǔ)-唇語(yǔ)轉(zhuǎn)化系統(tǒng)研究與實(shí)現(xiàn)11自編碼器網(wǎng)絡(luò)屬于無(wú)監(jiān)督學(xué)習(xí)，主要應(yīng)用于圖像重構(gòu)、圖像壓縮和特征提取等。為了學(xué)習(xí)到輸入數(shù)據(jù)的高級(jí)特征，該類網(wǎng)絡(luò)通過(guò)學(xué)習(xí)將輸入復(fù)制到輸出上，經(jīng)典的自編碼器網(wǎng)絡(luò)包括三層神經(jīng)元——輸入層、中間層（瓶頸層）和輸出層，如圖2-4，輸入層L1至中間....

本文編號(hào)：3972266