我國聽障人群約占世界1/5并逐年增加,中國手語是聾人和健聽人交流的一種有效工具,如何實現大規(guī)模詞匯量的中國手語手勢動作識別仍然面臨很多問題。作為一種規(guī)范的語言文字型手語,中國普樂手語采用音形碼和部件碼編碼手勢動作實現中國漢字的表達。其編碼手勢動作規(guī)模小且數量恒定,易于詞匯量擴展,且文字型手語有助于聾啞人建立漢語思維,學習知識,從而融入社會。因此,本文以普樂手語編碼手勢動作為主要研究對象,分別從表面肌電電極和攝像頭兩種手勢動作信號捕獲方式入手,深入研究中國普樂手語手勢動作識別的具體問題。1、表面肌電信號(surface electromyogram,sEMG)在表征精細手勢動作方面具有天然優(yōu)勢,但由于個體解剖生理差異及執(zhí)行方向等因素,同一手勢動作產生的sEMG信號不盡相同。本文提出了一種基于典型相關分析的方向無關手勢識別框架PICCA(position independent canonical correlation analysis),以預先定義的專家特征集為橋梁,將多個方向的訓練特征與指定方向的測試特征映射成統(tǒng)一風格特征,挖掘相同手勢動作sEMG信號在不同方向上的相似性。用戶相關和用戶無關兩種實驗方案的結果表明,采用CCA得到的手勢動作識別結果相比于無CCA的結果分別提升28.52%和44.19%,充分說明PICCA方案能夠提取相同手勢動作在不同方向上sEMG信號的相似性,為減弱肌電控制系統(tǒng)中的用戶依賴特性和方向依賴特性提供一種解決方案。同時,通過較少量的測試數據參與模型校準,實現方向無關手勢動作肌電信號有效識別,在一定程度上降低了用戶數據采集負擔。2、由于攝像頭成本低、用戶無需佩戴傳感器、設備普及度高等優(yōu)點,基于視覺的手勢識別技術引起了研究學者的廣泛關注。本文也研究了基于攝像頭的中國普樂手語手勢識別。中國普樂手語編碼手勢動作共有13個基本手形,每個手形分別在三個不同方向上執(zhí)行,分別代表三種不同的編碼手勢動作。本文提出了基于手指角度距離特征(angle distance of fingers,ADOF)和手掌角度距離特征(angle distance of hand,ADOH)用于表征同一手勢動作的不同方向信息,之后通過動態(tài)時間規(guī)整算法(dynamic time warping,DTW)將ADOF和ADOH特征進行相似性距離映射,進一步增強特征的魯棒性。實驗表明本文提出的特征ADOF或ADOH,結合DTW映射有助于提取對指向敏感的信息,可以有效識別中國普樂手語編碼手勢動作;采用分類器工具包進行手勢動作識別,對兩類特征大部分分類器的結果可以達到95%和90%以上。該研究為大規(guī)模詞匯量連續(xù)中國手語識別系統(tǒng)提供了一種解決方案,尤其對推廣規(guī)范的中國手語具有重要意義。
【學位單位】：合肥工業(yè)大學
【學位級別】：碩士
【學位年份】：2019
【中圖分類】：TP391.41;TN911.7
【部分圖文】：

分指橫和指下兩個方向[6]，因此，涉及指上、指橫、指普樂手語是一種文字型音形碼手語，根據漢字的特點打出對手語。普樂手語具有多方面的優(yōu)勢，概括為以下幾點：該版本的手語是一種完全意義上的語言文字型手語，常用的采用 39 類基本手勢動作組合來表征。而且手語根據字音字生了新的漢字，普樂手語也能夠對應產生新的手語手勢，語打出的尷尬，具有大詞匯量可擴展優(yōu)勢。文字的表示只需要在口邊和腰部變換一次手勢即可，不需要每個字母對應的手勢來回變換多次手勢，減輕了執(zhí)行者的換手勢導致手勢不連貫而看不出所要表達的文字的問題。另外，普樂手語由 13 個基本指式和 3 個基本朝向構成，形數目有限且少量的手勢有利于聾啞人系統(tǒng)學習和記憶漢語再者，這種結合文字、字音的手語打法，有利于聾人建立漢拼音及漢字。通過識別手語動作，將其結果用有聲或者文助于聾人和健聽人之間的交流。

合肥工業(yè)大學學術碩士研究生學位論文特征，去除冗余數據，減少數據存儲量，簡化分類器中的計算，加而特征映射過程為了發(fā)現更有價值的潛在變量，使得重構后的特征意義或統(tǒng)計意義，可以加深對數據的理解，使某些數據具有一定的時能更有效的表征原手勢動作，提高識別率。這也是本文的重點部章和第四章中具體闡述關于肌電和圖像的手語手勢識別中特征提取5）分類識別過程主要包含分類器的選擇和設計，在特征空間中使用識別的手語手勢動作進行分類，主要分為兩個階段：分類器通過對來構建模型，和對未知測試樣本數據的判決分類。這是實現手勢動關鍵一步。分類過程一般分無監(jiān)督和有監(jiān)督學習兩類，最近鄰、K聚類方式，而支持向量機、貝葉斯分類器、神經網絡等為典型的有。手語特征提取分類識別

圖 2.2 5 個時域導譜矩特征推導過程[32]Fig.2.2 The derivation process of 5 time-dependent power spectrum moment features[32].2.2.2圖像手勢特征提取方法基于視覺的手勢識別的主要問題在于如何處理各種各樣的手勢及姿態(tài)。手勢識別有時需要處理多個自由度的數據，根據攝像機的視角直接處理二維平面上手勢輪廓尺度等空間信息，以及手勢運動速度、軌跡等時間信息[21]。此外，手勢識別系統(tǒng)還需要根據具體的應用程序、解決方案的成本以及實時性、健壯性、用戶獨立性等標準來平衡系統(tǒng)性能。目前，手勢識別已經逐漸呈現從二維走向三維，從靜態(tài)走向動態(tài)的發(fā)展趨勢。但是，普樂手語作為一些靜態(tài)指勢動作的集合，不涉及動態(tài)組合及手勢軌跡信息，但存在多方向手勢識別問題，因此本文更關注手形的姿態(tài)表征。圖像特征提取是將輸入數據中感興趣的部分轉化為一組壓縮的、有代表性的特征向量集。在手勢識別中，提取的特征應包含從輸入的手勢數據中提取得到與手勢相關的信息，并以更緊湊、無冗余的形式表示，提取的特征要能夠將各類別
【參考文獻】

相關期刊論文 前1條

1 葛遂元;;中國手語兩派之爭解談[J];綏化學院學報;2012年03期

相關博士學位論文 前3條

1 李云;基于肌電模式的中國手語識別研究及康復應用探索[D];中國科學技術大學;2013年

2 成娟;基于表面肌電和加速度信號融合的動作識別和人體行為分析研究[D];中國科學技術大學;2013年

3 張旭;基于表面肌電信號的人體動作識別與交互[D];中國科學技術大學;2010年

相關碩士學位論文 前1條

1 管睿;基于分數階的多重集典型相關分析算法研究[D];南京理工大學;2015年

本文編號：2874011