發(fā)布時(shí)間：2017-12-08 09:01

  本文關(guān)鍵詞：基于視頻拼接的中國手語合成關(guān)鍵技術(shù)研究

  更多相關(guān)文章： 手語合成 過渡幀 網(wǎng)格形變 近似剛性 局部控制 圖像插補(bǔ) 源相似時(shí)間相關(guān)性

【摘要】：手語通過手形和位置的組合變化來傳遞信息與表達(dá)語義,是聽障人群的主要溝通工具。手語合成就是把自然語言翻譯成手語的技術(shù),為聽障人與正常人之間的溝通搭起了橋梁�；谝曨l拼接的手語合成就是將手語數(shù)據(jù)庫中的手語詞視頻按輸入文本拼接成新的手語視頻。由于待拼接的視頻片段,可能存在動作差異。為了得到更自然流暢的合成手語,需要生成中間過渡幀自然過渡前后手語動作�，F(xiàn)有的依賴于過渡形態(tài)庫的中間過渡幀生成方法,需要大量的人工工作。因此,設(shè)計(jì)更自動化的過渡幀生成算法具有重要的研究價(jià)值和應(yīng)用價(jià)值。本文基于對手語運(yùn)動特點(diǎn)的分析,利用Kinect設(shè)備采集數(shù)據(jù),重新設(shè)計(jì)了手語合成數(shù)據(jù)處理方案,并重點(diǎn)研究其中的過渡幀生成算法。本文提出的手語合成基于Kinect采集顏色信息、深度信息、骨架信息構(gòu)建手語視頻數(shù)據(jù)庫,先經(jīng)過預(yù)處理得到過渡幀數(shù)和骨架過渡路徑,再聯(lián)合網(wǎng)格形變和圖像插補(bǔ)算法生成中間過渡幀,從而得到最終合成的手語視頻。本論文主要的研究內(nèi)容如下:1、研究手語視頻數(shù)據(jù)預(yù)處理。作為過渡幀生成的準(zhǔn)備工作,預(yù)處理包括對輸入的文本分詞,選擇最佳拼接位置,估計(jì)過渡幀數(shù)以及計(jì)算骨架過渡路徑,得到的結(jié)果將輸入到后續(xù)過渡幀生成模塊。2、研究網(wǎng)格形變算法。手語詞視頻的中間過渡幀應(yīng)該符合人體運(yùn)動規(guī)律。為了使形變更好地模擬動作變化的過程,提出一種局部控制的近似剛性形變算法,即在傳統(tǒng)的形變能量中加入稀疏位移約束和平滑約束,構(gòu)建具有近似剛性、局部性、平滑性和形狀感知性的形變模型,并用"局部-全局"迭代算法求解。利用預(yù)處理得到的過渡骨架對待拼接手語視頻幀作形變操作,得到的前向和后向形變序列作為后續(xù)圖像插補(bǔ)操作的輸入。3、研究圖像插補(bǔ)算法。因?yàn)樾巫冎皇轻槍卧匆曨l幀的操作,為了使過渡幀在符合人體運(yùn)動規(guī)律的同時(shí)表現(xiàn)信息的過渡過程,本論文提出一種形變輔助的圖像插補(bǔ)算法。利用形變得到的前向和后向形變序列,考慮源相似性和時(shí)間相關(guān)性,設(shè)計(jì)一種迭代優(yōu)化策略進(jìn)行圖像插補(bǔ)。為了更好地保留圖像細(xì)節(jié),綜合利用顏色和梯度距離度量圖像塊的相似性。最終融合前向和后向形變序列,得到合成手語的中間過渡幀。本論文在手語視頻數(shù)據(jù)上驗(yàn)證了所提出的合成算法的性能,結(jié)果表明使用本論文的算法能夠自動地合成平滑并且真實(shí)的手語視頻。
【學(xué)位授予單位】：中國科學(xué)技術(shù)大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2017
【分類號】：TP391.41

【參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前3條

1 ;L_p shape deformation[J];Science China(Information Sciences);2012年05期

2 王兆其,楊長水,高文;基于VRML的中國手語三維顯示[J];計(jì)算機(jī)研究與發(fā)展;2003年03期

3 尹鋒;基于神經(jīng)網(wǎng)絡(luò)的漢語自動分詞系統(tǒng)的設(shè)計(jì)與分析[J];情報(bào)學(xué)報(bào);1998年01期

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前2條

1 朱婷婷;三維信息輔助的中國手語視頻合成方法研究[D];北京工業(yè)大學(xué);2014年

2 趙海楠;基于虛擬人技術(shù)的中國手語新聞播報(bào)系統(tǒng)[D];哈爾濱工業(yè)大學(xué);2008年

，

本文編號：1265772