普通鼠標(biāo)是一種手動(dòng)的傳統(tǒng)交互方式,滿足不了特殊人群的需求,譬如手臂殘疾的人和游戲愛(ài)好者就期望采用多種交互方式來(lái)操作PC。隨著圖像、視覺(jué)核心算法的發(fā)展,語(yǔ)音識(shí)別的理論和應(yīng)用研究的進(jìn)展,再加上CCD、CMOS圖像傳感器制造工藝的成熟,為基于視覺(jué)與語(yǔ)音的鼠標(biāo)實(shí)現(xiàn)提供了條件。 本文主要的研究是基于視覺(jué)與語(yǔ)音的新型鼠標(biāo)。首先對(duì)各種視覺(jué)跟蹤算法的實(shí)現(xiàn)方法進(jìn)行探討。在充分了解各種算法優(yōu)缺點(diǎn)的基礎(chǔ)上,系統(tǒng)采用鼻子特征跟蹤的方法來(lái)作為鼠標(biāo)的光標(biāo)移動(dòng),采用眼睛睜合判斷的方法作為鼠標(biāo)按鍵的操作,用HALCON視覺(jué)處理軟件對(duì)各算法進(jìn)行仿真,并在Visual Basic中調(diào)用HALCON庫(kù)函數(shù)加以實(shí)現(xiàn)。另外,鼠標(biāo)按鍵的操作還可選用語(yǔ)音識(shí)別的方式來(lái)實(shí)現(xiàn),文中用MATLAB仿真實(shí)現(xiàn)了DTW(動(dòng)態(tài)時(shí)間規(guī)整)算法,該算法訓(xùn)練方法簡(jiǎn)單,計(jì)算量小,適合于本系統(tǒng)的設(shè)計(jì)。采用Visual Basic與Matlab混編的方式在Visual Basic中調(diào)用創(chuàng)建的COM組件,實(shí)現(xiàn)語(yǔ)音識(shí)別的功能,進(jìn)行性能測(cè)試。將視覺(jué)跟蹤模塊與語(yǔ)音識(shí)別模塊結(jié)合起來(lái),根據(jù)基于視覺(jué)與語(yǔ)音鼠標(biāo)的體系結(jié)構(gòu)進(jìn)行設(shè)計(jì),編寫全部程序進(jìn)行系統(tǒng)的整體調(diào)試,調(diào)試成功后進(jìn)行預(yù)定的實(shí)驗(yàn),記錄實(shí)驗(yàn)結(jié)果。將視覺(jué)與語(yǔ)音技術(shù)應(yīng)用于鼠標(biāo)中,在國(guó)內(nèi)還沒(méi)有人開(kāi)發(fā)研究,這無(wú)疑很有研究的價(jià)值,具有一定的市場(chǎng)潛力。 從完成的設(shè)計(jì)表明,基于視覺(jué)與語(yǔ)音的方案可以完成鼠標(biāo)的基本功能,而且可以適用于特殊人群。但本系統(tǒng)還處于研究設(shè)計(jì)階段,還不夠完善,后續(xù)工作將主要圍繞算法性能的提高,程序的優(yōu)化以及其他一些細(xì)節(jié)問(wèn)題作進(jìn)一步的改善、測(cè)試。
【學(xué)位單位】：東華大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位年份】：2008
【中圖分類】：TP334.2
【部分圖文】：

邊 邊緣檢測(cè) 測(cè)測(cè)Hysteresis一小 resholdddEEEdges--haageeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeee圖4一2用HALCON取得人臉特征流程圖才一丫味廠若人、:商尹喲!:__一「/\鉚寫川瓜，廠、\\11︵比戶\、、////-戶、產(chǎn)-}夕毛冷洛、咨/，護(hù)一寧廠/夕:、卜獷，共一廠力一、刀/\一一砂//圖4一3用Halcon仿真取得人臉特征步驟

基于視覺(jué)與語(yǔ)音的新型鼠標(biāo)研究位時(shí)，人臉姿態(tài)的會(huì)不斷改變。根據(jù)不同姿4中不同姿態(tài)的人臉變化。從中可以看出鼻子臉?lè)秶虮尘爸芯哂形ㄒ恍�，且特征變化小毛而言變化較小。實(shí)驗(yàn)也驗(yàn)證了鼻子特征在鼻子特征跟蹤可以實(shí)現(xiàn)鼠標(biāo)光標(biāo)的定位。j門之匕弓、二‘二一只—一、

基于視覺(jué)與語(yǔ)音的新型鼠標(biāo)研究在進(jìn)行光標(biāo)定位時(shí)，人臉姿態(tài)的會(huì)不斷改變。根據(jù)不同姿態(tài)的人臉重復(fù)以上操作，得到圖4一4中不同姿態(tài)的人臉變化。從中可以看出鼻子特征的變化，圖中可知鼻子特征在人臉?lè)秶虮尘爸芯哂形ㄒ恍�，且特征變化小。相比于其他部位如眼睛、嘴巴、眉毛而言變化較小。實(shí)驗(yàn)也驗(yàn)證了鼻子特征在不同的照明條件變化很小。因此采用鼻子特征跟蹤可以實(shí)現(xiàn)鼠標(biāo)光標(biāo)的定位。j門之匕弓、二‘二一只—一、:只)、產(chǎn)丈只二，吞、哎次、碑沼:念‘‘沁口O、.屯‘，~_廿不二妞乃一/‘丁二’‘鑫口/一‘"導(dǎo)一~呂夸咯扮一-一~舟傀‘~~曰..二、J·吞戶產(chǎn)’\鄉(xiāng)奮_、代萬(wàn)一圖44不同姿態(tài)的人臉中鼻子特征要提取人臉中的鼻子特征，可以在鼻子附近取一個(gè)區(qū)域，本文使用的攝像頭分辨率為320*240，取得圖片大小為320*240，這里首先以點(diǎn)(166
【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 ;鼠標(biāo)也要Touch 微軟Explorer Touch鼠標(biāo)[J];微電腦世界;2011年08期

2 張默;;陽(yáng)剛之氣——華碩蘭博基尼鼠標(biāo)WX-Lamborghini[J];消費(fèi)電子;2011年09期

3 ;帶上笑臉 快樂(lè)出發(fā) 摩天手G31無(wú)線鼠標(biāo)[J];電腦迷;2011年14期

4 ;鼠標(biāo) 時(shí)尚的代言 羅技M325無(wú)限鼠標(biāo) 藍(lán)孔雀[J];微電腦世界;2011年08期

5 ;異“鼠”天開(kāi)[J];黃金時(shí)代;2008年04期

6 張楚君;;軟硬功夫先后上 一只鼠標(biāo)三條命[J];電腦愛(ài)好者;2011年05期

7 ;鼠標(biāo)模擬器[J];電腦迷;2011年16期

8 ;前景看好的筆式鼠標(biāo)[J];生意通;2011年09期

9 ;無(wú)線得省心——2.4GHz鼠標(biāo)怎么買[J];電腦愛(ài)好者;2011年05期

10 激淡;;像不像藍(lán)影版IE3?——體驗(yàn)微軟舒適藍(lán)影6000鼠標(biāo)[J];微電腦世界;2011年07期

相關(guān)博士學(xué)位論文 前9條

1 張陽(yáng);仿人眼的結(jié)構(gòu)原理和關(guān)鍵視覺(jué)技術(shù)研究[D];浙江大學(xué);2011年

2 席志紅;全方位視覺(jué)技術(shù)及其在智能移動(dòng)機(jī)器人等領(lǐng)域的應(yīng)用研究[D];哈爾濱工程大學(xué);2006年

3 王鵬;基于運(yùn)動(dòng)視覺(jué)技術(shù)的鋼球表面缺陷檢測(cè)[D];哈爾濱理工大學(xué);2008年

4 齊龍;基于多光譜視覺(jué)的稻瘟病檢測(cè)技術(shù)研究[D];吉林大學(xué);2009年

5 唐新星;具有立體視覺(jué)的工程機(jī)器人自主作業(yè)控制技術(shù)研究[D];吉林大學(xué);2007年

6 王彪;計(jì)算機(jī)視覺(jué)技術(shù)在低空突防與精確打擊中的應(yīng)用研究[D];南京航空航天大學(xué);2005年

7 趙戰(zhàn);新媒介視覺(jué)語(yǔ)言研究[D];西安美術(shù)學(xué)院;2012年

8 管群;VR-GIS技術(shù)在巖土工程中的應(yīng)用[D];四川大學(xué);2002年

9 黃志奇;可穿戴計(jì)算機(jī)可用性的關(guān)鍵問(wèn)題研究[D];電子科技大學(xué);2009年

相關(guān)碩士學(xué)位論文 前10條

1 張健;無(wú)線鼠標(biāo)跌落碰撞過(guò)程的仿真研究[D];哈爾濱工業(yè)大學(xué);2009年

2 李飛;基于視覺(jué)與語(yǔ)音的新型鼠標(biāo)研究[D];東華大學(xué);2008年

3 王碧英;計(jì)算機(jī)指點(diǎn)裝置的操作可控性和穩(wěn)定性分析[D];浙江大學(xué);2005年

4 吳祺;基于視覺(jué)技術(shù)的陳展交互設(shè)計(jì)與實(shí)現(xiàn)[D];浙江大學(xué);2010年

5 宋穎;基于激勵(lì)工程的新型鼠標(biāo)的設(shè)計(jì)[D];天津大學(xué);2005年

6 呂榮華;真應(yīng)力—真應(yīng)變測(cè)試系統(tǒng)優(yōu)化及實(shí)驗(yàn)研究[D];哈爾濱工業(yè)大學(xué);2007年

7 王鵾;基于計(jì)算機(jī)雙目視覺(jué)技術(shù)的人體康復(fù)系統(tǒng)的研究[D];昆明理工大學(xué);2005年

8 徐齊;逆向工程技術(shù)在產(chǎn)品造型設(shè)計(jì)中的應(yīng)用與研究[D];湖南工業(yè)大學(xué);2007年

9 劉夢(mèng)薇;當(dāng)代品牌展銷店建筑設(shè)計(jì)研究[D];哈爾濱工業(yè)大學(xué);2008年

10 劉方年;印制板光學(xué)自動(dòng)找正鉆孔機(jī)研究與開(kāi)發(fā)[D];重慶大學(xué);2006年

本文編號(hào)：2871601