手語(yǔ)是聽(tīng)力及語(yǔ)言障礙人群廣泛使用的功能全面,結(jié)構(gòu)復(fù)雜的交流語(yǔ)言。而普通人群對(duì)手語(yǔ)缺乏了解,這導(dǎo)致聽(tīng)力及語(yǔ)言障礙群體與外部群體群在巨大的溝通障礙�，F(xiàn)有手語(yǔ)研究受限于感知設(shè)備、系統(tǒng)價(jià)格、識(shí)別精度、計(jì)算時(shí)間和電量消耗等方面而無(wú)法提供實(shí)時(shí)的,可靠的、低成本的、便攜且適應(yīng)日常使用場(chǎng)景的手語(yǔ)識(shí)別服務(wù)�？紤]到當(dāng)前以智能手表為代表的智能可穿戴設(shè)備的計(jì)算能力、感知能力大大提升,出貨量快速增長(zhǎng)的同時(shí)價(jià)格越來(lái)越低。本文提出并實(shí)現(xiàn)了一種基于智能手表的深度學(xué)習(xí)驅(qū)動(dòng)的手語(yǔ)識(shí)別系統(tǒng)。該系統(tǒng)包括數(shù)據(jù)采集系統(tǒng),離線的模型訓(xùn)練系統(tǒng)和部署在由智能手機(jī)和智能手表構(gòu)成的硬件系統(tǒng)上的實(shí)時(shí)推斷子系統(tǒng)。該系統(tǒng)的智能手表程序采集手表內(nèi)置的運(yùn)動(dòng)傳感器數(shù)據(jù)獲取手語(yǔ)信息,智能手機(jī)端APP加載離線訓(xùn)練好的模型,并將手語(yǔ)數(shù)據(jù)翻譯為文本,再使用TTS（文本-語(yǔ)音轉(zhuǎn)換）系統(tǒng)轉(zhuǎn)換為語(yǔ)音。本文首先采集了手勢(shì)數(shù)據(jù)集,手勢(shì)識(shí)別模型在該數(shù)據(jù)集上平均識(shí)別率達(dá)到96%%,可以證明佩戴在手腕的智能手表可以感知足夠的手指以及手形的變化信息用以分類(lèi)。本文創(chuàng)建了包含103個(gè)單詞,73個(gè)常用語(yǔ)句,11680個(gè)語(yǔ)句樣本的大規(guī)模手語(yǔ)數(shù)據(jù)集。本文提出了一系列針對(duì)手語(yǔ)感知數(shù)據(jù)的預(yù)... 

【文章來(lái)源】：中國(guó)科學(xué)技術(shù)大學(xué)安徽省 211工程院校 985工程院校

【文章頁(yè)數(shù)】：74 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

手語(yǔ)字母

語(yǔ)識(shí)別系統(tǒng)是可行的。??盡管每個(gè)手語(yǔ)單詞都有自己的特點(diǎn)，但存在一些手勢(shì)的大部分軌跡非常相??似，只是在動(dòng)作的結(jié)束部分有所區(qū)別。例如圖２．２所示，單詞ＷＨＡＴ與ＷＡＮＴ的??開(kāi)始的動(dòng)作軌跡相同，只在最后手掌的運(yùn)動(dòng)方向有區(qū)別。由于基于傳統(tǒng)的單向循??環(huán)神經(jīng)網(wǎng)絡(luò)只單向地基于數(shù)據(jù)序列中過(guò)去的數(shù)據(jù)來(lái)對(duì)當(dāng)前信號(hào)進(jìn)行推理，對(duì)于??這種“前綴”相同的手語(yǔ)動(dòng)作的識(shí)別系統(tǒng)是一種挑戰(zhàn)。因此需要一種神經(jīng)網(wǎng)絡(luò)結(jié)??構(gòu)能夠根據(jù)整個(gè)手語(yǔ)動(dòng)作軌跡來(lái)進(jìn)行手語(yǔ)翻譯。??此外，為正確地表達(dá)手語(yǔ)，在美式手語(yǔ)系統(tǒng)中存在一些非手部符號(hào)，需要使??用多種面部表情［３８，４１］。例如，手語(yǔ)單詞“ＮＯＴ－ＹＥＴ”與“ＬＡＴＥ”需要使用非手??部符號(hào)來(lái)辨識(shí)，因?yàn)檫@兩個(gè)單詞無(wú)論手形、動(dòng)作還是手部位置完全相同。在此項(xiàng)??基于智能手表的手語(yǔ)翻譯系統(tǒng)研宄中，暫時(shí)未考慮非手部符號(hào)的識(shí)別，而將其作??為開(kāi)放問(wèn)題留作下一步的研宄。??２．１．２．句子級(jí)別的手語(yǔ)??Ｇｒｏｓｊｅａｎ等分析了在連續(xù)做手語(yǔ)交流時(shí)的停頓，發(fā)現(xiàn)一段話結(jié)束后存在??一個(gè)標(biāo)志性的長(zhǎng)停頓

２．２．１．雙向?ＬＳＴＭ??上述ＲＮＮ網(wǎng)絡(luò)只包含一個(gè)隱藏層，且只能挖掘單向的上下文信息，所以用單向ＲＮＮ進(jìn)行推斷時(shí)，在任意時(shí)刻只能根據(jù)過(guò)去的信息來(lái)推斷輸出結(jié)果。在手語(yǔ)識(shí)別的場(chǎng)景中，因?yàn)橐恍┦终Z(yǔ)單詞具有非常相似的起手動(dòng)作，單向神經(jīng)絡(luò)無(wú)法有效挖掘全部傳感數(shù)據(jù)的上下文依賴關(guān)系。為應(yīng)對(duì)這種挑戰(zhàn)，本文提出用雙向ＬＳＴＭ?（Ｂｉｄｉｒｅｃｔｉｏｎａｌ?ＬＳＴＭ，Ｂ－ＬＳＴＭ）來(lái)作為構(gòu)建本系統(tǒng)神經(jīng)網(wǎng)絡(luò)模的基本單元。如圖２．４所示，雙向ＬＳＴＭ網(wǎng)絡(luò)的結(jié)構(gòu)包含兩個(gè)獨(dú)立的循環(huán)神經(jīng)網(wǎng)??絡(luò)隱藏層；前向隱藏層和后向隱藏層。經(jīng)過(guò)訓(xùn)練，該網(wǎng)絡(luò)模型在可以使用雙向上下文信息進(jìn)行推理，因此可以更好地處理復(fù)雜時(shí)間序列數(shù)據(jù)。??２．２．２．?ＳＲＵ??

【參考文獻(xiàn)】：
期刊論文
[1]第二次全國(guó)殘疾人抽樣調(diào)查最新數(shù)據(jù)公報(bào)[J]. 薛靜.  中國(guó)聽(tīng)力語(yǔ)言康復(fù)科學(xué). 2007(01)



本文編號(hào)：3271734