發(fā)布時(shí)間：2022-01-24 10:27

　　手語(yǔ)是一種結(jié)構(gòu)化語(yǔ)言,是殘疾人之間交流的主要方式。由于正常人很少學(xué)習(xí)手語(yǔ),導(dǎo)致聾啞人與正常人之間存在溝通障礙,給聾啞人的日常生活、學(xué)習(xí)帶來(lái)諸多不便。手語(yǔ)識(shí)別技術(shù)將手語(yǔ)翻譯成文本或者語(yǔ)音,能夠在聾啞人與正常人之間建立溝通橋梁。手語(yǔ)作為一種語(yǔ)言,涉及的手勢(shì)動(dòng)作復(fù)雜多樣,識(shí)別難度大。肌電（electromyography,EMG）能夠直接反映肌肉的活動(dòng)狀態(tài),能有效解決手語(yǔ)動(dòng)作之間的運(yùn)動(dòng)插入問(wèn)題,在手語(yǔ)識(shí)別方面具有獨(dú)特優(yōu)勢(shì)。但是肌電信號(hào)對(duì)于相似動(dòng)作的識(shí)別效果較差,而數(shù)據(jù)手套直接檢測(cè)關(guān)節(jié)形變,能夠識(shí)別區(qū)分度較小的動(dòng)作。針對(duì)以上情況,本文提出利用形變傳感器檢測(cè)關(guān)節(jié)形變并和肌電信號(hào)融合進(jìn)行手語(yǔ)識(shí)別。本文的主要工作概括如下:（1）本文搭建了一個(gè)肌電和手指關(guān)節(jié)形變信號(hào)同步采集系統(tǒng),系統(tǒng)通過(guò)商用的無(wú)線肌電電極采集肌電信號(hào),通過(guò)形變傳感器采集手指關(guān)節(jié)形變信號(hào)。測(cè)試結(jié)果表明本文中使用的形變傳感器具有響應(yīng)速度快、重復(fù)性好的特點(diǎn),能很好地檢測(cè)關(guān)節(jié)形變信號(hào)。（2）以30個(gè)中國(guó)手語(yǔ)字母為目標(biāo)動(dòng)作集,通過(guò)6位受試的實(shí)驗(yàn)數(shù)據(jù)處理過(guò)程及結(jié)果,詳細(xì)對(duì)比了兩種信號(hào)對(duì)于30個(gè)手語(yǔ)字母動(dòng)作的識(shí)別結(jié)果及性能,并分析了兩種信號(hào)各自的優(yōu)... 

【文章來(lái)源】：中國(guó)科學(xué)院大學(xué)(中國(guó)科學(xué)院深圳先進(jìn)技術(shù)研究院)廣東省

【文章頁(yè)數(shù)】：66 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

安排手語(yǔ)翻譯的情形Figure1.1Situationswhensignlanguageinterpretersarearranged

基于肌電和手指關(guān)節(jié)形變信號(hào)融合的手語(yǔ)識(shí)別方法研究4數(shù)據(jù)手套、EnableTalk。Gaoeta1(2004)利用兩個(gè)數(shù)據(jù)手套和三個(gè)位置追蹤器實(shí)現(xiàn)了一個(gè)大詞匯量的連續(xù)手語(yǔ)識(shí)別系統(tǒng)，在由5113個(gè)手勢(shì)詞組成的1500個(gè)句子的分類中取得了90.8%的平均識(shí)別率。MohamedA.Mohandesetal（2013）利用數(shù)據(jù)手套采集了100個(gè)雙手手語(yǔ)動(dòng)作信號(hào)，并使用SVM對(duì)采得的信號(hào)進(jìn)行分類，在測(cè)試集上達(dá)到了99.6%的識(shí)別率[40]。呂蕾等(2015)使用可穿戴的數(shù)據(jù)手套采集交互任務(wù)下的原始靜態(tài)手勢(shì)動(dòng)作，運(yùn)用特征點(diǎn)集模板匹配方法對(duì)25種手勢(shì)動(dòng)作進(jìn)行識(shí)別并取得了98.9%的識(shí)別率[41]。NoorTubaizetal(2015)用DG5-VHand數(shù)據(jù)手套采集了由80個(gè)手語(yǔ)詞組成的40個(gè)句子的動(dòng)作信息，并用k近鄰算法進(jìn)行分類，分類準(zhǔn)確率達(dá)到98.9%[42]。Lieta1(2016)利用一副低成本的數(shù)據(jù)手套采集現(xiàn)實(shí)生活中的真實(shí)手語(yǔ)動(dòng)作信息，且在由510個(gè)中國(guó)手語(yǔ)詞組成的1024個(gè)測(cè)試句子的識(shí)別中取得了87.4%的平均識(shí)別率[43]。Bukhari,J.,etal.(2015)用彎曲度傳感器、接觸傳感器和及速度傳感器制成了一個(gè)低成本數(shù)據(jù)手套用于識(shí)別美國(guó)手語(yǔ)，并將其翻譯成語(yǔ)音，實(shí)驗(yàn)結(jié)果證明，該手套對(duì)26個(gè)手語(yǔ)字母的識(shí)別率達(dá)到92%[44]�；跀�(shù)據(jù)手套的手勢(shì)識(shí)別方法可以直接感知手勢(shì)動(dòng)作的時(shí)間和空間信息，能識(shí)別的動(dòng)作數(shù)量多，識(shí)別準(zhǔn)確率高。但是市場(chǎng)上現(xiàn)有的數(shù)據(jù)手套大多價(jià)格高昂，難以推廣應(yīng)用[45]。近年研究者們也在嘗試?yán)脙r(jià)格低廉的材料來(lái)制作數(shù)據(jù)手套[46]，但是目前現(xiàn)有的彎曲度傳感器體積較大且剛性強(qiáng)、柔韌性差，雖然價(jià)格低，但舒適度差，用戶體驗(yàn)差。圖1.2研究者們自制的數(shù)據(jù)手套Figure1.2Self-madedata-glove1.2.3基于肌電的手語(yǔ)識(shí)別方法研究現(xiàn)狀

第2章肌電和手指關(guān)節(jié)形變信號(hào)采集系統(tǒng)9第2章肌電和手指關(guān)節(jié)形變信號(hào)采集系統(tǒng)2.1信號(hào)采集系統(tǒng)概述為了對(duì)本文提出的基于肌電和手指關(guān)節(jié)形變信號(hào)融合的手語(yǔ)識(shí)別方法進(jìn)行驗(yàn)證，本文搭建了一個(gè)肌電和手指關(guān)節(jié)形變信號(hào)同步采集系統(tǒng)。該系統(tǒng)利用組內(nèi)研制的新型形變傳感器作形變傳感器檢測(cè)手指關(guān)節(jié)形變，用商用的肌電采集設(shè)備采集肌電信號(hào)。如圖2.1所示，形變信號(hào)通過(guò)貼附在織物手套上的形變傳感器檢測(cè)。圖2.2展示了手套的細(xì)節(jié)，形變傳感器柔軟輕薄，將其固定在手套上，使其能夠完整地覆蓋關(guān)節(jié)。經(jīng)檢測(cè)形變傳感器能對(duì)手指關(guān)節(jié)形變做出快速響應(yīng)，采集到的信號(hào)能很好地反映關(guān)節(jié)形變信息，且與肌電信號(hào)具有很好地同步性，滿足本文的信號(hào)采集需求。圖2.1肌電和手指關(guān)節(jié)形變信號(hào)采集平臺(tái)Figure2.1SynchronousacquisitionplatformforEMGandfingerjointdeformationsignal圖2.2用于采集手指關(guān)節(jié)形變信號(hào)的手套Figure2.2Gloveforcollectingdeformationsignal

【參考文獻(xiàn)】：
期刊論文
[1]一種基于數(shù)據(jù)手套的靜態(tài)手勢(shì)識(shí)別方法[J]. 呂蕾,張金玲,朱英杰,劉弘.  計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào). 2015(12)



本文編號(hào)：3606409