我國聽障人群約占世界1/5并逐年增加,中國手語是聾人和健聽人交流的一種有效工具,如何實現(xiàn)大規(guī)模詞匯量的中國手語手勢動作識別仍然面臨很多問題。作為一種規(guī)范的語言文字型手語,中國普樂手語采用音形碼和部件碼編碼手勢動作實現(xiàn)中國漢字的表達。其編碼手勢動作規(guī)模小且數(shù)量恒定,易于詞匯量擴展,且文字型手語有助于聾啞人建立漢語思維,學(xué)習(xí)知識,從而融入社會。因此,本文以普樂手語編碼手勢動作為主要研究對象,分別從表面肌電電極和攝像頭兩種手勢動作信號捕獲方式入手,深入研究中國普樂手語手勢動作識別的具體問題。1、表面肌電信號(surface electromyogram,sEMG)在表征精細手勢動作方面具有天然優(yōu)勢,但由于個體解剖生理差異及執(zhí)行方向等因素,同一手勢動作產(chǎn)生的sEMG信號不盡相同。本文提出了一種基于典型相關(guān)分析的方向無關(guān)手勢識別框架PICCA(position independent canonical correlation analysis),以預(yù)先定義的專家特征集為橋梁,將多個方向的訓(xùn)練特征與指定方向的測試特征映射成統(tǒng)一風(fēng)格特征,挖掘相同手勢動作sEMG信號在不同方向上的相似性。用戶相關(guān)和用戶無關(guān)兩種實驗方案的結(jié)果表明,采用CCA得到的手勢動作識別結(jié)果相比于無CCA的結(jié)果分別提升28.52%和44.19%,充分說明PICCA方案能夠提取相同手勢動作在不同方向上sEMG信號的相似性,為減弱肌電控制系統(tǒng)中的用戶依賴特性和方向依賴特性提供一種解決方案。同時,通過較少量的測試數(shù)據(jù)參與模型校準,實現(xiàn)方向無關(guān)手勢動作肌電信號有效識別,在一定程度上降低了用戶數(shù)據(jù)采集負擔(dān)。2、由于攝像頭成本低、用戶無需佩戴傳感器、設(shè)備普及度高等優(yōu)點,基于視覺的手勢識別技術(shù)引起了研究學(xué)者的廣泛關(guān)注。本文也研究了基于攝像頭的中國普樂手語手勢識別。中國普樂手語編碼手勢動作共有13個基本手形,每個手形分別在三個不同方向上執(zhí)行,分別代表三種不同的編碼手勢動作。本文提出了基于手指角度距離特征(angle distance of fingers,ADOF)和手掌角度距離特征(angle distance of hand,ADOH)用于表征同一手勢動作的不同方向信息,之后通過動態(tài)時間規(guī)整算法(dynamic time warping,DTW)將ADOF和ADOH特征進行相似性距離映射,進一步增強特征的魯棒性。實驗表明本文提出的特征ADOF或ADOH,結(jié)合DTW映射有助于提取對指向敏感的信息,可以有效識別中國普樂手語編碼手勢動作;采用分類器工具包進行手勢動作識別,對兩類特征大部分分類器的結(jié)果可以達到95%和90%以上。該研究為大規(guī)模詞匯量連續(xù)中國手語識別系統(tǒng)提供了一種解決方案,尤其對推廣規(guī)范的中國手語具有重要意義。
【學(xué)位單位】：合肥工業(yè)大學(xué)
【學(xué)位級別】：碩士
【學(xué)位年份】：2019
【中圖分類】：TP391.41;TN911.7
【部分圖文】：

分指橫和指下兩個方向[6]，因此，涉及指上、指橫、指普樂手語是一種文字型音形碼手語，根據(jù)漢字的特點打出對手語。普樂手語具有多方面的優(yōu)勢，概括為以下幾點：該版本的手語是一種完全意義上的語言文字型手語，常用的采用 39 類基本手勢動作組合來表征。而且手語根據(jù)字音字生了新的漢字，普樂手語也能夠?qū)?yīng)產(chǎn)生新的手語手勢，語打出的尷尬，具有大詞匯量可擴展優(yōu)勢。文字的表示只需要在口邊和腰部變換一次手勢即可，不需要每個字母對應(yīng)的手勢來回變換多次手勢，減輕了執(zhí)行者的換手勢導(dǎo)致手勢不連貫而看不出所要表達的文字的問題。另外，普樂手語由 13 個基本指式和 3 個基本朝向構(gòu)成，形數(shù)目有限且少量的手勢有利于聾啞人系統(tǒng)學(xué)習(xí)和記憶漢語再者，這種結(jié)合文字、字音的手語打法，有利于聾人建立漢拼音及漢字。通過識別手語動作，將其結(jié)果用有聲或者文助于聾人和健聽人之間的交流。

合肥工業(yè)大學(xué)學(xué)術(shù)碩士研究生學(xué)位論文特征，去除冗余數(shù)據(jù)，減少數(shù)據(jù)存儲量，簡化分類器中的計算，加而特征映射過程為了發(fā)現(xiàn)更有價值的潛在變量，使得重構(gòu)后的特征意義或統(tǒng)計意義，可以加深對數(shù)據(jù)的理解，使某些數(shù)據(jù)具有一定的時能更有效的表征原手勢動作，提高識別率。這也是本文的重點部章和第四章中具體闡述關(guān)于肌電和圖像的手語手勢識別中特征提取5）分類識別過程主要包含分類器的選擇和設(shè)計，在特征空間中使用識別的手語手勢動作進行分類，主要分為兩個階段：分類器通過對來構(gòu)建模型，和對未知測試樣本數(shù)據(jù)的判決分類。這是實現(xiàn)手勢動關(guān)鍵一步。分類過程一般分無監(jiān)督和有監(jiān)督學(xué)習(xí)兩類，最近鄰、K聚類方式，而支持向量機、貝葉斯分類器、神經(jīng)網(wǎng)絡(luò)等為典型的有。手語特征提取分類識別

圖 2.2 5 個時域?qū)ёV矩特征推導(dǎo)過程[32]Fig.2.2 The derivation process of 5 time-dependent power spectrum moment features[32].2.2.2圖像手勢特征提取方法基于視覺的手勢識別的主要問題在于如何處理各種各樣的手勢及姿態(tài)。手勢識別有時需要處理多個自由度的數(shù)據(jù)，根據(jù)攝像機的視角直接處理二維平面上手勢輪廓尺度等空間信息，以及手勢運動速度、軌跡等時間信息[21]。此外，手勢識別系統(tǒng)還需要根據(jù)具體的應(yīng)用程序、解決方案的成本以及實時性、健壯性、用戶獨立性等標準來平衡系統(tǒng)性能。目前，手勢識別已經(jīng)逐漸呈現(xiàn)從二維走向三維，從靜態(tài)走向動態(tài)的發(fā)展趨勢。但是，普樂手語作為一些靜態(tài)指勢動作的集合，不涉及動態(tài)組合及手勢軌跡信息，但存在多方向手勢識別問題，因此本文更關(guān)注手形的姿態(tài)表征。圖像特征提取是將輸入數(shù)據(jù)中感興趣的部分轉(zhuǎn)化為一組壓縮的、有代表性的特征向量集。在手勢識別中，提取的特征應(yīng)包含從輸入的手勢數(shù)據(jù)中提取得到與手勢相關(guān)的信息，并以更緊湊、無冗余的形式表示，提取的特征要能夠?qū)⒏黝悇e
【參考文獻】

相關(guān)期刊論文 前1條

1 葛遂元;;中國手語兩派之爭解談[J];綏化學(xué)院學(xué)報;2012年03期

相關(guān)博士學(xué)位論文 前3條

1 李云;基于肌電模式的中國手語識別研究及康復(fù)應(yīng)用探索[D];中國科學(xué)技術(shù)大學(xué);2013年

2 成娟;基于表面肌電和加速度信號融合的動作識別和人體行為分析研究[D];中國科學(xué)技術(shù)大學(xué);2013年

3 張旭;基于表面肌電信號的人體動作識別與交互[D];中國科學(xué)技術(shù)大學(xué);2010年

相關(guān)碩士學(xué)位論文 前1條

1 管睿;基于分數(shù)階的多重集典型相關(guān)分析算法研究[D];南京理工大學(xué);2015年

本文編號：2874011