普通鼠標是一種手動的傳統(tǒng)交互方式,滿足不了特殊人群的需求,譬如手臂殘疾的人和游戲愛好者就期望采用多種交互方式來操作PC。隨著圖像、視覺核心算法的發(fā)展,語音識別的理論和應用研究的進展,再加上CCD、CMOS圖像傳感器制造工藝的成熟,為基于視覺與語音的鼠標實現(xiàn)提供了條件。 本文主要的研究是基于視覺與語音的新型鼠標。首先對各種視覺跟蹤算法的實現(xiàn)方法進行探討。在充分了解各種算法優(yōu)缺點的基礎上,系統(tǒng)采用鼻子特征跟蹤的方法來作為鼠標的光標移動,采用眼睛睜合判斷的方法作為鼠標按鍵的操作,用HALCON視覺處理軟件對各算法進行仿真,并在Visual Basic中調(diào)用HALCON庫函數(shù)加以實現(xiàn)。另外,鼠標按鍵的操作還可選用語音識別的方式來實現(xiàn),文中用MATLAB仿真實現(xiàn)了DTW(動態(tài)時間規(guī)整)算法,該算法訓練方法簡單,計算量小,適合于本系統(tǒng)的設計。采用Visual Basic與Matlab混編的方式在Visual Basic中調(diào)用創(chuàng)建的COM組件,實現(xiàn)語音識別的功能,進行性能測試。將視覺跟蹤模塊與語音識別模塊結合起來,根據(jù)基于視覺與語音鼠標的體系結構進行設計,編寫全部程序進行系統(tǒng)的整體調(diào)試,調(diào)試成功后進行預定的實驗,記錄實驗結果。將視覺與語音技術應用于鼠標中,在國內(nèi)還沒有人開發(fā)研究,這無疑很有研究的價值,具有一定的市場潛力。 從完成的設計表明,基于視覺與語音的方案可以完成鼠標的基本功能,而且可以適用于特殊人群。但本系統(tǒng)還處于研究設計階段,還不夠完善,后續(xù)工作將主要圍繞算法性能的提高,程序的優(yōu)化以及其他一些細節(jié)問題作進一步的改善、測試。
【學位單位】：東華大學
【學位級別】：碩士
【學位年份】：2008
【中圖分類】：TP334.2
【部分圖文】：

邊 邊緣檢測 測測Hysteresis一小 resholdddEEEdges--haageeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeee圖4一2用HALCON取得人臉特征流程圖才一丫味廠若人、:商尹喲!:__一「/\鉚寫川瓜，廠、\\11︵比戶\、、////-戶、產(chǎn)-}夕毛冷洛、咨/，護一寧廠/夕:、卜獷，共一廠力一、刀/\一一砂//圖4一3用Halcon仿真取得人臉特征步驟

基于視覺與語音的新型鼠標研究位時，人臉姿態(tài)的會不斷改變。根據(jù)不同姿4中不同姿態(tài)的人臉變化。從中可以看出鼻子臉范圍或背景中具有唯一性，且特征變化小毛而言變化較小。實驗也驗證了鼻子特征在鼻子特征跟蹤可以實現(xiàn)鼠標光標的定位。j門之匕弓、二‘二一只—一、

基于視覺與語音的新型鼠標研究在進行光標定位時，人臉姿態(tài)的會不斷改變。根據(jù)不同姿態(tài)的人臉重復以上操作，得到圖4一4中不同姿態(tài)的人臉變化。從中可以看出鼻子特征的變化，圖中可知鼻子特征在人臉范圍或背景中具有唯一性，且特征變化小。相比于其他部位如眼睛、嘴巴、眉毛而言變化較小。實驗也驗證了鼻子特征在不同的照明條件變化很小。因此采用鼻子特征跟蹤可以實現(xiàn)鼠標光標的定位。j門之匕弓、二‘二一只—一、:只)、產(chǎn)丈只二，吞、哎次、碑沼:念‘‘沁口O、.屯‘，~_廿不二妞乃一/‘丁二’‘鑫口/一‘"導一~呂夸咯扮一-一~舟傀‘~~曰..二、J·吞戶產(chǎn)’\鄉(xiāng)奮_、代萬一圖44不同姿態(tài)的人臉中鼻子特征要提取人臉中的鼻子特征，可以在鼻子附近取一個區(qū)域，本文使用的攝像頭分辨率為320*240，取得圖片大小為320*240，這里首先以點(166
【相似文獻】

相關期刊論文 前10條

1 ;鼠標也要Touch 微軟Explorer Touch鼠標[J];微電腦世界;2011年08期

2 張默;;陽剛之氣——華碩蘭博基尼鼠標WX-Lamborghini[J];消費電子;2011年09期

3 ;帶上笑臉 快樂出發(fā) 摩天手G31無線鼠標[J];電腦迷;2011年14期

4 ;鼠標 時尚的代言 羅技M325無限鼠標 藍孔雀[J];微電腦世界;2011年08期

5 ;異“鼠”天開[J];黃金時代;2008年04期

6 張楚君;;軟硬功夫先后上 一只鼠標三條命[J];電腦愛好者;2011年05期

7 ;鼠標模擬器[J];電腦迷;2011年16期

8 ;前景看好的筆式鼠標[J];生意通;2011年09期

9 ;無線得省心——2.4GHz鼠標怎么買[J];電腦愛好者;2011年05期

10 激淡;;像不像藍影版IE3?——體驗微軟舒適藍影6000鼠標[J];微電腦世界;2011年07期

相關博士學位論文 前9條

1 張陽;仿人眼的結構原理和關鍵視覺技術研究[D];浙江大學;2011年

2 席志紅;全方位視覺技術及其在智能移動機器人等領域的應用研究[D];哈爾濱工程大學;2006年

3 王鵬;基于運動視覺技術的鋼球表面缺陷檢測[D];哈爾濱理工大學;2008年

4 齊龍;基于多光譜視覺的稻瘟病檢測技術研究[D];吉林大學;2009年

5 唐新星;具有立體視覺的工程機器人自主作業(yè)控制技術研究[D];吉林大學;2007年

6 王彪;計算機視覺技術在低空突防與精確打擊中的應用研究[D];南京航空航天大學;2005年

7 趙戰(zhàn);新媒介視覺語言研究[D];西安美術學院;2012年

8 管群;VR-GIS技術在巖土工程中的應用[D];四川大學;2002年

9 黃志奇;可穿戴計算機可用性的關鍵問題研究[D];電子科技大學;2009年

相關碩士學位論文 前10條

1 張健;無線鼠標跌落碰撞過程的仿真研究[D];哈爾濱工業(yè)大學;2009年

2 李飛;基于視覺與語音的新型鼠標研究[D];東華大學;2008年

3 王碧英;計算機指點裝置的操作可控性和穩(wěn)定性分析[D];浙江大學;2005年

4 吳祺;基于視覺技術的陳展交互設計與實現(xiàn)[D];浙江大學;2010年

5 宋穎;基于激勵工程的新型鼠標的設計[D];天津大學;2005年

6 呂榮華;真應力—真應變測試系統(tǒng)優(yōu)化及實驗研究[D];哈爾濱工業(yè)大學;2007年

7 王鵾;基于計算機雙目視覺技術的人體康復系統(tǒng)的研究[D];昆明理工大學;2005年

8 徐齊;逆向工程技術在產(chǎn)品造型設計中的應用與研究[D];湖南工業(yè)大學;2007年

9 劉夢薇;當代品牌展銷店建筑設計研究[D];哈爾濱工業(yè)大學;2008年

10 劉方年;印制板光學自動找正鉆孔機研究與開發(fā)[D];重慶大學;2006年

本文編號：2871601