基于骨架特征的漢語字母手語識別研究
發(fā)布時間:2021-09-25 10:27
我國聽障人群約占世界聽障人群的20%,并逐年增加。中國手語是我國聽障人群與外界交流的重要輔助工具。手指語是手語的一部分,指式數(shù)量不多,易學易記。因此,本文以漢語字母手語為研究對象,基于計算機視覺,研究了不同背景下的漢語字母手語,并對手勢圖像的骨架提取、骨架描述子的提出和識別分別進行了研究。本文的主要研究內(nèi)容是基于骨架特征的漢語字母手語識別,首先對手勢進行提取,其次,在提取的手勢二值圖像的基礎上,提出了改進的基于距離變化的手勢骨架提取方法使提取的骨架具有連通性;然后,提出了改進不變矩用于對手勢骨架進行描述;最后,利用概率神經(jīng)網(wǎng)絡對得到的手勢骨架不變矩的值進行分類,達到識別手勢的目的?偨Y(jié)起來,本文主要從以下兩個方面展開研究工作:(1)提出了一種結(jié)合距離變換與形態(tài)學分水嶺算法的手勢骨架提取方法。該方法利用距離場和分水嶺算法獲得包含手勢骨架的骨架潛在圖,利用主動輪廓線模型確定骨架端點,通過A*算法對冗余骨架進行修剪,得到最終的骨架。實驗結(jié)果證明,該方法獲得的骨架不僅解決了基于距離變換的骨架提取方法提取的骨架存在的不連通的問題,而且保證了骨架的單像素性,符合目標的拓撲結(jié)構(gòu)。(2)提出了一種改進...
【文章來源】:武漢科技大學湖北省
【文章頁數(shù)】:63 頁
【學位級別】:碩士
【部分圖文】:
LeapMotion傳感器
武漢科技大學碩士學位論文113.1基于膚色的手勢分割本文在得到手勢圖像之后,先對手勢圖像進行色彩空間轉(zhuǎn)換,由RGB色彩空間轉(zhuǎn)換為YCbCr色彩空間,轉(zhuǎn)換效果如圖3.2所示:圖(a)是RGB色彩空間下的圖像,圖(b)是轉(zhuǎn)換至YCbCr色彩空間之后的效果圖。圖3.2轉(zhuǎn)換色彩空間對比圖色彩空間轉(zhuǎn)換之后,利用色彩空間上的色度相似性對手勢進行分割。色度上的相似性計算過程如下。假設膚色滿足二維高斯模型:M=(m,C)(3.1)其中,m為色度的均值,表示為m=E(x)(3.2)其中,x為樣本像素在YCbCr色彩空間的值,C為色度的協(xié)方差矩陣。判斷一個像素是否屬于膚色像素的概率的計算過程如下:11()()2121()2TxSxpxeS=(3.3)公式(3.3)中,S是協(xié)方差矩陣,為均值或方差。在得到手勢膚色概率圖之后,用OTSU法進行分割處理,從而得到手勢圖像的
武漢科技大學碩士學位論文12二值圖像;得到二值圖像之后,對圖像進行區(qū)域統(tǒng)計,然后根據(jù)面積大小進行過濾,過程如下:假設圖像中不同連通域的面積分別為1S、2S、…、nS,面積閾值為S,若iS(i=1,2,...,n)iSS(3.4)那么i所對應的區(qū)域的像素值0255iiP=或P=(3.5)上述過程為“幾何濾波”過程。轉(zhuǎn)換色彩空間之后,采用了兩種膚色分割方法:基于YCbCr色彩空間的Cb,Cr范圍篩選法和色彩相似度方法,其中,Cb,Cr范圍篩選法是根據(jù)給定的Cb和Cr的范圍,判斷像素點是否屬于膚色像素,這種方法的缺點在于,容易受光線的影響,并且如果手部顏色發(fā)生變化,也會對分割結(jié)果產(chǎn)生影響,會造成誤分割,如果手勢太多且手部顏色分布廣泛,需要頻繁地修改給定的Cb,Cr范圍。在得到分割結(jié)果圖后,對結(jié)果圖進行了處理,分別采用了三種方法:直接形態(tài)學處理;經(jīng)過一次幾何濾波之后,再用形態(tài)學進行處理;連續(xù)兩次用幾何濾波進行處理,再用形態(tài)學方法進行處理。處理效果如圖3.3所示:圖3.3手勢提取過程效果圖
本文編號:3409555
【文章來源】:武漢科技大學湖北省
【文章頁數(shù)】:63 頁
【學位級別】:碩士
【部分圖文】:
LeapMotion傳感器
武漢科技大學碩士學位論文113.1基于膚色的手勢分割本文在得到手勢圖像之后,先對手勢圖像進行色彩空間轉(zhuǎn)換,由RGB色彩空間轉(zhuǎn)換為YCbCr色彩空間,轉(zhuǎn)換效果如圖3.2所示:圖(a)是RGB色彩空間下的圖像,圖(b)是轉(zhuǎn)換至YCbCr色彩空間之后的效果圖。圖3.2轉(zhuǎn)換色彩空間對比圖色彩空間轉(zhuǎn)換之后,利用色彩空間上的色度相似性對手勢進行分割。色度上的相似性計算過程如下。假設膚色滿足二維高斯模型:M=(m,C)(3.1)其中,m為色度的均值,表示為m=E(x)(3.2)其中,x為樣本像素在YCbCr色彩空間的值,C為色度的協(xié)方差矩陣。判斷一個像素是否屬于膚色像素的概率的計算過程如下:11()()2121()2TxSxpxeS=(3.3)公式(3.3)中,S是協(xié)方差矩陣,為均值或方差。在得到手勢膚色概率圖之后,用OTSU法進行分割處理,從而得到手勢圖像的
武漢科技大學碩士學位論文12二值圖像;得到二值圖像之后,對圖像進行區(qū)域統(tǒng)計,然后根據(jù)面積大小進行過濾,過程如下:假設圖像中不同連通域的面積分別為1S、2S、…、nS,面積閾值為S,若iS(i=1,2,...,n)iSS(3.4)那么i所對應的區(qū)域的像素值0255iiP=或P=(3.5)上述過程為“幾何濾波”過程。轉(zhuǎn)換色彩空間之后,采用了兩種膚色分割方法:基于YCbCr色彩空間的Cb,Cr范圍篩選法和色彩相似度方法,其中,Cb,Cr范圍篩選法是根據(jù)給定的Cb和Cr的范圍,判斷像素點是否屬于膚色像素,這種方法的缺點在于,容易受光線的影響,并且如果手部顏色發(fā)生變化,也會對分割結(jié)果產(chǎn)生影響,會造成誤分割,如果手勢太多且手部顏色分布廣泛,需要頻繁地修改給定的Cb,Cr范圍。在得到分割結(jié)果圖后,對結(jié)果圖進行了處理,分別采用了三種方法:直接形態(tài)學處理;經(jīng)過一次幾何濾波之后,再用形態(tài)學進行處理;連續(xù)兩次用幾何濾波進行處理,再用形態(tài)學方法進行處理。處理效果如圖3.3所示:圖3.3手勢提取過程效果圖
本文編號:3409555
本文鏈接:http://sikaile.net/kejilunwen/zidonghuakongzhilunwen/3409555.html
最近更新
教材專著