【摘要】：人機(jī)交互就是通過輸入輸出設(shè)備,實現(xiàn)人與計算機(jī)之間的一種有效互動方式。該領(lǐng)域技術(shù)的快速發(fā)展使得人機(jī)互動更加舒適,更加自然,并應(yīng)運(yùn)而生多種人機(jī)交互模式,譬如數(shù)據(jù)、觸控設(shè)備、聲波、人體動作等模式。本文所涉及的投影-攝像系統(tǒng)就是采用投影儀、攝像機(jī)作為輸入輸出設(shè)備,結(jié)合人體動作作為交互模式的人機(jī)互動系統(tǒng)。它是一種新型的多媒體互動平臺,采用先進(jìn)的投影顯示技術(shù)、計算機(jī)視覺技術(shù)、模式識別技術(shù)和人工智能技術(shù)來營造一種奇幻動感的交互體驗。目前投影-攝像系統(tǒng)的人機(jī)交互中存在手勢跟蹤分割不理想、手型變化大、特征難以提取以及運(yùn)算量大無法滿足系統(tǒng)的實時性要求等技術(shù)難題。 本文主要針對以上技術(shù)難題,將人們在觸摸屏上的交互控制習(xí)慣嫁接到攝像-投影系統(tǒng)交互中,提出采用交互手勢遮擋投影光線在投影屏幕上出現(xiàn)的手勢陰影作為交互控制器,并構(gòu)建具有縮放、拉伸、雙擊、書寫等交互指令識別功能的投影-攝像人機(jī)交互SOPC系統(tǒng)。 首先,對攝像機(jī)系統(tǒng)的光度學(xué)模型進(jìn)行研究分析。充分考慮攝像頭的一階徑向畸變和切向畸變對圖像精度的影響,實現(xiàn)攝像機(jī)的基本標(biāo)定,并獲取攝像機(jī)的內(nèi)外參數(shù)。結(jié)合攝像頭的畸變原理,對投影儀與攝像機(jī)系統(tǒng)采用射影變換的算法進(jìn)行幾何映射。 然后,運(yùn)用混合高斯模型定位移動物體,結(jié)合交互人在投影儀前方交互過程中遮擋投射光線在投影屏幕上出現(xiàn)的手勢陰影作為交互指令,采用大律法檢測陰影初步定位手勢投影。結(jié)合多顏色空間的混合模型檢測手勢膚色,并根據(jù)真實交互手勢必定位于陰影周圍的投射特征,最終定位跟蹤交互手勢。 接著,根據(jù)手指指尖具有強(qiáng)烈的軸對稱特征,采用徑向?qū)ΨQ變換算法初步定位指尖。結(jié)合指尖半圓與支撐指尖的手指兩平行線的交點(diǎn)與指尖所構(gòu)成的兩直線之間在指尖處具有強(qiáng)約束夾角的特性定位手指指尖。同時根據(jù)雙擊交互手勢的動作特性,采用0TW匹配算法識別手勢。 最后,采用以Xilinx公司研發(fā)的Virtex-4FX為主處理器的實驗箱構(gòu)建基于SOPC的攝像-投影互動系統(tǒng)的實現(xiàn)平臺。采用硬件的方式對CCD攝像頭進(jìn)行視頻采集,并根據(jù)PAL制式視頻流格式對視頻數(shù)據(jù)進(jìn)行解碼。采用乒乓算法減少內(nèi)部存儲資源消耗,提高視頻采集速率,并構(gòu)建DTW算法處理IP核,提高系統(tǒng)的實時性。
[Abstract]:Human-computer interaction is an effective way of interaction between people and computers through input and output devices. The rapid development of technology in this field makes man-machine interaction more comfortable and natural, and many human-computer interaction modes emerge as the times require, such as data, touch devices, sound waves, human body action and so on. The project-camera system in this paper is a human-computer interactive system which uses projector, camera as input and output device and human body action as interactive mode. It is a new kind of multimedia interactive platform, which uses advanced projection display technology, computer vision technology, pattern recognition technology and artificial intelligence technology to create a kind of fantastic interactive experience. At present, in the human-computer interaction of projection-camera system, there are some technical problems, such as: gesture tracking and segmentation is not ideal, hand shape changes greatly, feature extraction is difficult, and the computation is too large to meet the real-time requirements of the system. Aiming at the above technical problems, this paper grafted the interactive control habit of people on the touch screen into the camera-projection system interaction, and proposed to use the interactive gesture shading shadow on the projection screen as the interactive controller. A project-camera human-computer interactive SOPC system with the functions of zooming, stretching, double-clicking, writing and other interactive instruction recognition functions is constructed. Firstly, the photometric model of camera system is studied and analyzed. Considering the influence of the first order radial distortion and tangential distortion of the camera on the image accuracy, the basic calibration of the camera is realized, and the internal and external parameters of the camera are obtained. Based on the distortion principle of camera, the projector and camera system are mapped by projective transformation algorithm. Then, the mixed Gao Si model is used to locate the moving object, and the interactive instructions are combined with the gesture shadow of the projecting light that appears on the projection screen during the interaction of the interactive person in front of the projector. Using the Great Law to detect the shadow of the initial positioning gesture projection. The color of gesture is detected by a mixed model of multi-color space, and the real interactive gesture is located around the shadow according to the projection feature of the real interactive gesture. Finally, the interactive gesture is located and tracked. Then, according to the strong axisymmetric characteristic of finger tip, the radial symmetry transform algorithm is used to locate the finger tip. The finger tip is located at the finger tip by combining the intersection of the two parallel lines of the finger semicircle with the finger tip and the two straight lines formed by the finger tip with strong constraint angle at the finger tip. At the same time, according to the action characteristics of double-click interactive gesture, the 0TW matching algorithm is used to recognize the gesture. Finally, the experimental box of Virtex-4FX main processor developed by Xilinx Company is used to construct the realization platform of video-projection interactive system based on SOPC. The CCD camera is captured by hardware, and the video data is decoded according to the PAL format. The ping-pong algorithm is used to reduce the consumption of internal storage resources, to improve the video acquisition rate, and to construct a DTW algorithm to deal with the IP core to improve the real-time performance of the system.
【學(xué)位授予單位】：廣東工業(yè)大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2013
【分類號】：TP11;TP391.41;TB85

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 ;智慧的眼睛——優(yōu)派PJ675投影機(jī)[J];家用電器;2008年Z1期

2 ;三星投影機(jī)行業(yè)巡展圓滿落幕[J];TWICE消費(fèi)電子商訊;2009年02期

3 ;科視推出全球亮度最高的Christie Roadie HD+35K投影機(jī)[J];現(xiàn)代電影技術(shù);2010年01期

4 ;愛普生EB-C1050X投影機(jī)傾情上市[J];消費(fèi)電子;2010年09期

5 ;專家教您識別水貨投影機(jī)[J];農(nóng)村電氣化;2004年05期

6 ;高清投影機(jī)長虹PDF720P[J];TWICE消費(fèi)電子商訊;2007年09期

7 江波;;時尚與尊貴 Sony VPL-EW5投影機(jī)高級體驗[J];家用電器;2008年04期

8 ;麗訊D5系列投影機(jī)開啟3D娛樂時代[J];消費(fèi)電子;2010年02期

9 藍(lán)天;索尼VPL-HS50投影機(jī)卓越解析力的代表作[J];電器評介;2005年03期

10 ;投影機(jī) 富可視ScreenPlay 777[J];電器評介;2005年04期

相關(guān)會議論文 前10條

1 張禹;陳琛;劉宵禪;李維善;;工程投影機(jī)廣角投影物鏡設(shè)計[A];第九屆全國光電技術(shù)學(xué)術(shù)交流會論文集（下冊）[C];2010年

2 孔茹斌;余建華;龔向東;張琦;葉海舟;吳國城;;基于FLCOS技術(shù)的微型投影機(jī)[A];中國光學(xué)學(xué)會2011年學(xué)術(shù)大會摘要集[C];2011年

3 柴秀娟;唐毅力;山世光;陳熙霖;馬丙鵬;;融合圖像和深度信息的手勢跟蹤及應(yīng)用[A];第七屆和諧人機(jī)環(huán)境聯(lián)合學(xué)術(shù)會議（HHME2011)論文集【oral】[C];2011年

4 劉磊;李琳;譚劍波;;多用戶協(xié)同手勢下觸摸點(diǎn)用戶歸屬問題研究[A];全國第22屆計算機(jī)技術(shù)與應(yīng)用學(xué)術(shù)會議(CACIS·2011)暨全國第3屆安全關(guān)鍵技術(shù)與應(yīng)用（SCA·2011）學(xué)術(shù)會議論文摘要集[C];2011年

5 李曉青;程成;;虛擬裝配環(huán)境中虛擬手抓取的設(shè)計與實現(xiàn)[A];全國首屆數(shù)字（虛擬）科技館技術(shù)與應(yīng)用學(xué)術(shù)研討會論文集[C];2007年

6 王海鷗;劉鵬;王宗進(jìn);李廣安;;對超高壓汞燈(UHP)的探討[A];中國長三角照明科技論壇論文集[C];2006年

7 許羅邁;;人機(jī)交互是網(wǎng)絡(luò)課程的精髓[A];全國大學(xué)英語教學(xué)改革暨網(wǎng)絡(luò)環(huán)境下外語教學(xué)學(xué)術(shù)研討會論文集[C];2004年

8 萬剛;李鋒;;基于目標(biāo)的視點(diǎn)控制算法研究[A];第二屆和諧人機(jī)環(huán)境聯(lián)合學(xué)術(shù)會議(HHME2006)——第2屆中國人機(jī)交互學(xué)術(shù)會議(CHCI'06)論文集[C];2006年

9 王延江;袁保宗;;軟件Agent及其在多功能感知系統(tǒng)中的應(yīng)用[A];第九屆全國信號處理學(xué)術(shù)年會（CCSP-99）論文集[C];1999年

10 張昀;趙榮椿;趙歆波;周圓;鄭江濱;;視線跟蹤技術(shù)的2D和3D方法綜述[A];第十三屆全國信號處理學(xué)術(shù)年會（CCSP-2007）論文集[C];2007年

相關(guān)重要報紙文章 前10條

1 王楊二;佳能首次在中國推出投影機(jī)新品[N];中國質(zhì)量報;2007年

2 馮華中;佳杰科技助NEC投影機(jī)三年爭第一[N];電腦商報;2007年

3 ;愛普生投影機(jī)北京“亮劍”[N];中國計算機(jī)報;2006年

4 曉軒;Acer借道神碼拓投影機(jī)市場[N];計算機(jī)世界;2007年

5 電腦商報記者 袁東�！∪A中 （華中）;投影機(jī)：產(chǎn)業(yè)轉(zhuǎn)型年[N];電腦商報;2009年

6 李兵;投影機(jī)使用四項注意[N];中國電子報;2002年

7 ;中晶MVP 5800/5500投影機(jī)[N];中國電腦教育報;2001年

8 王志剛;悉心呵護(hù)您的投影機(jī)[N];中國電腦教育報;2004年

9 崔慕麗;東芝TLP-T701投影機(jī)[N];計算機(jī)世界;2002年

10 包冉;戴爾投影機(jī)3300MP上市[N];計算機(jī)世界;2004年

相關(guān)博士學(xué)位論文 前10條

1 張旭;基于表面肌電信號的人體動作識別與交互[D];中國科學(xué)技術(shù)大學(xué);2010年

2 沙亮;基于無標(biāo)記全手勢視覺的人機(jī)交互技術(shù)[D];清華大學(xué);2010年

3 王德鑫;四路攝像頭協(xié)同多重觸控技術(shù)研究與實現(xiàn)[D];國防科學(xué)技術(shù)大學(xué);2010年

4 胡馨月;面向個性化學(xué)習(xí)的體感計算研究[D];浙江大學(xué);2011年

5 孫超;增強(qiáng)現(xiàn)實環(huán)境下基于手勢的自然交互[D];浙江大學(xué);2010年

6 張文字;CF-LCoS微型投影光引擎的LED照明系統(tǒng)研究[D];浙江大學(xué);2010年

7 李善青;基于穿戴視覺的人機(jī)交互技術(shù)[D];北京理工大學(xué);2010年

8 陳澤祥;數(shù)字電視相關(guān)技術(shù)的研究及新型投影機(jī)的研制[D];電子科技大學(xué);2000年

9 袁慶曙;數(shù)字化互動陳展技術(shù)與系統(tǒng)研究[D];浙江大學(xué);2009年

10 廖峗;基于裸手的自然人機(jī)交互關(guān)鍵算法研究[D];云南大學(xué);2012年

相關(guān)碩士學(xué)位論文 前10條

1 李文杰;基于SOPC的投影—攝像互動系統(tǒng)的研究與設(shè)計[D];廣東工業(yè)大學(xué);2013年

2 胡衛(wèi)誼;基于動態(tài)手勢的人機(jī)交互系統(tǒng)研究[D];武漢理工大學(xué);2010年

3 蔡祖洪;基于雙目視覺的實時手勢人機(jī)交互的研究[D];杭州電子科技大學(xué);2011年

4 尹乾毅;基于多點(diǎn)觸摸系統(tǒng)的手勢庫架構(gòu)研究[D];上海交通大學(xué);2011年

5 李劍飛;基于視覺的實時手勢跟蹤與識別研究[D];北方工業(yè)大學(xué);2011年

6 王衡;基于自適應(yīng)活動輪廓模型的手勢跟蹤方法研究[D];蘭州理工大學(xué);2012年

7 張鵬;基于視覺的手勢檢測與識別算法及其在人機(jī)交互中的應(yīng)用[D];青島科技大學(xué);2010年

8 李新穎;復(fù)雜背景下表觀手勢建模方法研究[D];蘭州理工大學(xué);2011年

9 翁漢良;基于單目視覺的手勢識別算法的研究與實現(xiàn)[D];廣東工業(yè)大學(xué);2011年

10 高昆;淺談手勢在手機(jī)交互設(shè)計中的運(yùn)用[D];北京服裝學(xué)院;2012年

，

本文編號：2221600