手語讓聽力言語障礙人士之間得以順暢交流,卻仍難以解決聽力言語障礙人士和其他人群之間的溝通問題。因此,將手語轉(zhuǎn)化為語音文字的手語翻譯技術(shù)就能夠幫助聽力言語障礙人士更好融入社會,更輕松地實現(xiàn)自身價值。手勢識別作為手語翻譯核心技術(shù),是本文的主要研究內(nèi)容,本文首先介紹了手勢識別的基本原理、如何提取手勢特征以及在文中應(yīng)用到的手勢識別算法,即隱馬爾科夫模型、BP神經(jīng)網(wǎng)絡(luò)以及卷積神經(jīng)網(wǎng)絡(luò)。其次,利用加拿大Thalmic Labs實驗室推出的創(chuàng)新型MYO臂環(huán)實現(xiàn)了集表面肌電信號、加速度信號以及陀螺儀信號的采集。MYO臂環(huán)可以將采集到的這三類信號通過低功率的藍(lán)牙傳出,不僅佩戴方便,在使用過程中的移動性更好,也更適合與手語識別這樣需要長時間佩戴的場景。介紹了表面肌電信號產(chǎn)生原理以及加速度信號傳感器與陀螺儀傳感器以及使用MYO臂環(huán)采集數(shù)據(jù)的程序流程。而后,針對二維卷積神經(jīng)網(wǎng)絡(luò)中二維的卷積核和特征圖不適合表面肌電信號的識別的問題,我們選擇更適合的一維卷積神經(jīng)網(wǎng)絡(luò)。采用經(jīng)實驗表明,給出的一維卷積神經(jīng)網(wǎng)絡(luò)擁有較高的判別的準(zhǔn)確率,能有效識別靜態(tài)手語孤立詞。最后,針對表面肌電信號進(jìn)行識別不能很好地表征手勢運動特征的問題,引入了加速度流以及陀螺儀流,并給出了適應(yīng)數(shù)據(jù)情況的三分支結(jié)構(gòu),即多流卷積神經(jīng)網(wǎng)絡(luò)。經(jīng)實驗表明,給出的多流卷積神經(jīng)網(wǎng)絡(luò)擁有較高的數(shù)據(jù)流判別的準(zhǔn)確率,與之對比普通的一維卷積神經(jīng)網(wǎng)絡(luò)對于多流數(shù)據(jù)會出現(xiàn)的過擬合情況,這與輸入數(shù)據(jù)有強噪聲而產(chǎn)生的過擬合情況類似。本文選用高集成度的MYO臂環(huán),以表面肌電信號作為手型識別主要信號,以加速度信號以及陀螺儀信號來表征手臂運動軌跡以及翻轉(zhuǎn)等運動特征,并給出適應(yīng)于數(shù)據(jù)的多流卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行分類識別。這種識別方法主要有兩個特點:其一,選用的卷積神經(jīng)網(wǎng)絡(luò)可以直接利用原始的數(shù)據(jù),并自動提取特征,不依靠人工設(shè)計的方法來提取特征,這不僅規(guī)避了復(fù)雜且計算量很大的信號預(yù)處理部分,更是解決了特征選擇具有的局限性的問題。其二,針對動態(tài)手語孤立詞多要素的特點,我們給出了適應(yīng)情況的肌電流、加速度流以及陀螺儀流的三分支多流卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。相較于傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)無法去除數(shù)據(jù)間差異特征并會因此出現(xiàn)過擬合以至于無法得到良好識別效果的情況,多流卷積神經(jīng)網(wǎng)絡(luò)在處理多類別數(shù)據(jù)表征的信號時顯示出了良好的性能,不會將數(shù)據(jù)間的差異作為特征,可以有效提取每種數(shù)據(jù)的特征,能有效識別動態(tài)手語孤立詞。
【學(xué)位單位】：大連理工大學(xué)
【學(xué)位級別】：碩士
【學(xué)位年份】：2019
【中圖分類】：TP183;TN911.6

【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 闖躍龍;陳嶺;陳根才;;基于層次化BoF模型和Spectral-HIK過濾的手勢識別算法[J];浙江大學(xué)學(xué)報(工學(xué)版);2013年09期

2 劉艷虹;顧定倩;程黎;魏丹;;我國手語使用狀況的調(diào)查研究[J];語言文字應(yīng)用;2013年02期

3 王雨;陳常嘉;董巖磊;;基于加速度傳感器的車輛防盜技術(shù)研究[J];計算機技術(shù)與發(fā)展;2013年05期

4 江興;;MEMS市場動向[J];半導(dǎo)體信息;2013年01期

5 郭一娜;王清華;艾杰特·亞伯拉罕;;基于柔性神經(jīng)樹和表面肌電信號的手勢識別模型[J];計算機應(yīng)用與軟件;2012年04期

6 樊振宇;;BP神經(jīng)網(wǎng)絡(luò)模型與學(xué)習(xí)算法[J];軟件導(dǎo)刊;2011年07期

7 李媛媛;陳香;張旭;楊基海;;基于ART2神經(jīng)網(wǎng)絡(luò)的手勢動作肌電信號識別[J];中國科學(xué)技術(shù)大學(xué)學(xué)報;2010年08期

8 倪訓(xùn)博;趙德斌;姜峰;程丹松;;Viterbi和DTW算法的關(guān)系分析——在非特定人手語識別中的應(yīng)用[J];計算機研究與發(fā)展;2010年02期

9 何慶華,吳寶明,彭承琳;表面肌電信號的分析與應(yīng)用[J];國外醫(yī)學(xué).生物醫(yī)學(xué)工程分冊;2000年05期

10 岳文浩;;骨骼肌的生理學(xué)進(jìn)展[J];醫(yī)藥學(xué)報;1976年02期

相關(guān)博士學(xué)位論文 前1條

1 李云;基于肌電模式的中國手語識別研究及康復(fù)應(yīng)用探索[D];中國科學(xué)技術(shù)大學(xué);2013年

相關(guān)碩士學(xué)位論文 前4條

1 郝沙沙;基于表面肌電信號的手部動作識別方法研究[D];河北大學(xué);2018年

2 楊喜東;融合表面肌電和運動傳感器信息的中國手語手勢識別技術(shù)研究[D];中國科學(xué)技術(shù)大學(xué);2016年

3 常亞南;基于HMM的動態(tài)手勢識別[D];華南理工大學(xué);2012年

4 朱旭鵬;基于經(jīng)驗公式的連續(xù)手勢動作表面肌電信號識別方法[D];中國科學(xué)技術(shù)大學(xué);2011年

本文編號：2825670