現(xiàn)有的智能沙盤教學(xué)演示系統(tǒng)僅支持鼠標(biāo)鍵盤等傳統(tǒng)的交互方式,為進(jìn)一步提高用戶沉浸感和參與感,本文研發(fā)了基于手勢操作的智能沙盤人機交互系統(tǒng)。智能沙盤人機交互系統(tǒng)采用增強現(xiàn)實技術(shù)、三維圖形建模相關(guān)技術(shù)、體感開發(fā)技術(shù)、手勢識別技術(shù)。本文將手勢識別技術(shù)運用到智能沙盤上。用自然直接的手勢代替鼠標(biāo)鍵盤的輸入,在無需佩戴任何交互式設(shè)備的情況下,就可獲得交互式的增強現(xiàn)實體驗。本文在Kinect v1.8的基礎(chǔ)上實現(xiàn)了單手六種手勢的識別、多手手勢識別和動態(tài)手勢識別,從而實現(xiàn)了豐富的智能沙盤的人機交互功能�？筛鶕�(jù)用戶不同的手勢觸發(fā)不同的天氣系統(tǒng)、自然災(zāi)害系統(tǒng),以及判斷手勢與沙盤平臺以及平臺上虛擬物體的相對位置,識別動態(tài)手勢掌心軌跡,進(jìn)行放置移動沙盤上的虛擬物體等功能。在智能沙盤教學(xué)演示系統(tǒng)的基礎(chǔ)上,智能沙盤人機交互系統(tǒng)研發(fā)了包含地形同步系統(tǒng)、天氣系統(tǒng)、自然災(zāi)害系統(tǒng)、軍事系統(tǒng)、手勢交互系統(tǒng)和圖形界面系統(tǒng)共六大系統(tǒng)。包含基礎(chǔ)功能、場景功能、交互功能、同步功能共四大功能模塊。智能沙盤人機交互系統(tǒng)將手勢識別技術(shù)運用到智能沙盤上,進(jìn)一步完善了智能沙盤的功能,進(jìn)一步提高智能沙盤系統(tǒng)的沉浸感,提高用戶群體的參與感。激發(fā)了... 

【文章來源】：哈爾濱工業(yè)大學(xué)黑龍江省 211工程院校 985工程院校

【文章頁數(shù)】：95 頁

【學(xué)位級別】：碩士

【部分圖文】：

移動增強現(xiàn)實三維注冊技術(shù)分類基于計算機視覺的三維注冊技術(shù)主要是通過計算機獲取真實場景的圖

哈爾濱工業(yè)大學(xué)工程碩士學(xué)位論文-8-頭盔顯示式設(shè)備按照實現(xiàn)原理大致分為光學(xué)透視式和視頻透視式兩類，分別如圖2.2所示。光學(xué)透視式增強現(xiàn)實系統(tǒng)更加簡單、直接、視覺偏差少、分辨率高。但是設(shè)備價格高、匹配定位精度要求高、視野較狹窄。視頻透視式增強現(xiàn)實系統(tǒng)采用的基于視頻合成的技術(shù)。圖2-2(a)為光學(xué)透視式，(b)為視頻透視式。（a）光學(xué)透視式（b）視頻透視式圖2-2頭盔顯示器分類一般手機、PDA、平板電腦等移動終端設(shè)備屬于手持顯示式。手持顯示式方便隨身攜帶，具有較高的便攜性，同時這類設(shè)備是通過觸摸屏進(jìn)行觸控操作，方便交互。投影式顯示可以開發(fā)更大范圍的場景，需要的設(shè)備較復(fù)雜，體積較為龐大，適用于室內(nèi)多人演示的場合。在虛實融合場景顯示的研究中，主要面臨兩方面的問題。一是如何做到真實場景和虛擬物體場景無縫連接、完美融合。二是如何解決真實場景變化時虛擬物體的疊加實時響應(yīng)進(jìn)行改變，防止延時帶來的“漂移”現(xiàn)象。本系統(tǒng)采用投影式，主要通過程序來控制投影虛擬對象信息逐幀變化，來解決實時性的需求。2.1.1.3人機交互技術(shù)人機交互技術(shù)[33]系統(tǒng)針對收到的交互信息做出相應(yīng)的響應(yīng)的過程。目前增強現(xiàn)實系統(tǒng)中的交互方式主要有通過外接設(shè)備交互、特定標(biāo)志交互以及徒手交互三種形式。較為傳統(tǒng)的外接設(shè)備如鼠標(biāo)鍵盤。具有成本低、響應(yīng)迅速、準(zhǔn)確率高的特點。但是沉浸感較差，操作繁瑣。另外一種是借助數(shù)據(jù)手套、力反饋設(shè)備、磁傳感器等一些帶有傳感器的設(shè)備進(jìn)行交互。這種方式沉浸感較強，精度較高，但是穿戴繁瑣不便，成本也相對較高。特定標(biāo)志是通過設(shè)計特殊標(biāo)志，賦予標(biāo)志不同的含義，同時結(jié)合先進(jìn)的注冊算法。進(jìn)行特定標(biāo)志交互能夠降低用戶的學(xué)習(xí)成本，沉浸感要稍高于傳統(tǒng)外接設(shè)備。

錐蔚畝サ?數(shù)據(jù)包括紋理坐標(biāo)、頂點顏色等逐個進(jìn)行插值，逐像素處理。光柵化階段決定了哪些像素應(yīng)該被繪制在屏幕上，并決定了像素的顏色。不難看出CPU的工作是把數(shù)據(jù)加載到緩存：所有數(shù)據(jù)都要從硬盤加載到系統(tǒng)內(nèi)存，然后網(wǎng)格和紋理，頂點位置、顏色，法線，紋理坐標(biāo)等數(shù)據(jù)加載到顯存中。然后設(shè)置渲染狀態(tài)，決定使用哪個頂點著色器和片元著色器，光源屬性，材質(zhì)等來渲染，最后調(diào)用繪制命令drawcall，通知GPU遵從CPU的設(shè)置來渲染圖元。CPU的工作是一項復(fù)雜且繁瑣的過程，而GPU的工作相對輕松，因而需要對繪制命令進(jìn)行優(yōu)化。圖2-3GPU流水線[35]在智能沙盤的渲染中，需要配合使用Unity3D的材質(zhì)Material和Shader才能達(dá)到需要的效果。材質(zhì)Material是渲染虛擬物體的載體，在Unity3DShader中完成包含屬性，頂點著色器，片元著色器的渲染代碼，并加載到材質(zhì)Material上，最后將材質(zhì)賦給模型展示渲染效果。其中頂點著色器處理的是頂點數(shù)據(jù)，且是單個頂點數(shù)據(jù)。在頂點著色器一方面完成頂點坐標(biāo)變換。另一方面處理好頂點光照，為后續(xù)階段做好數(shù)據(jù)準(zhǔn)備，比如紋理坐標(biāo)，頂點顏色等。其中片元著色器獲得上層準(zhǔn)備好的每個片元的數(shù)據(jù)，對單個片元進(jìn)行處理，并輸出片元的顏色。在片元著色器階段可以做類似紋理采樣等很多重要

【參考文獻(xiàn)】：
期刊論文
[1]基于AR技術(shù)的“視覺本草”草藥識別軟件設(shè)計與開發(fā)[J]. 楊昕彤,朱丹丹,張晶,倪心宇,關(guān)云興.  電腦知識與技術(shù). 2020(02)
[2]虛擬現(xiàn)實和增強現(xiàn)實在顱頜面外科中應(yīng)用的研究進(jìn)展[J]. 陳哲煒,郭芳芳.  東南大學(xué)學(xué)報(醫(yī)學(xué)版). 2019(06)
[3]基于視覺的增強現(xiàn)實三維注冊技術(shù)綜述[J]. 侯守明,韓吉,張煜東,朱子秋.  系統(tǒng)仿真學(xué)報. 2019(11)
[4]戶外增強現(xiàn)實軍事仿真系統(tǒng)[J]. 張一凡,繆遠(yuǎn)東,陳暢宇,陳靖.  光學(xué)技術(shù). 2019(05)
[5]基于AR與物聯(lián)網(wǎng)融合技術(shù)在智能交通領(lǐng)域的應(yīng)用[J]. 王成松.  中國公共安全. 2019(08)
[6]基于視覺的人機交互在機器人控制中的應(yīng)用[J]. 翟英威.  信息通信. 2019(01)
[7]增強現(xiàn)實（AR）技術(shù)的應(yīng)用及前景分析[J]. 李桐,劉文倩,鄒田春,張曉敏.  電腦知識與技術(shù). 2018(11)
[8]增強現(xiàn)實自然手勢識別技術(shù)的應(yīng)用[J]. 史曉剛.  電子技術(shù)與軟件工程. 2018(04)
[9]人機交互研究綜述[J]. 趙永惠.  信息與電腦(理論版). 2017(23)
[10]虛擬現(xiàn)實和增強現(xiàn)實在智慧圖書館的應(yīng)用[J]. 胡國強,馬來宏.  圖書館工作與研究. 2017(09)

碩士論文
[1]基于增強現(xiàn)實技術(shù)的智能沙盤教學(xué)演示系統(tǒng)[D]. 紀(jì)顯俐.哈爾濱工業(yè)大學(xué) 2019
[2]基于視覺定位的人機交互示教系統(tǒng)[D]. 夏晗.哈爾濱工業(yè)大學(xué) 2017
[3]基于慣性傳感器的手勢交互方法研究[D]. 王琳琳.電子科技大學(xué) 2017
[4]基于深度圖像的3D手勢識別[D]. 姜克.江南大學(xué) 2015
[5]增強現(xiàn)實系統(tǒng)中人機交互技術(shù)研究[D]. 劉鐵良.東北石油大學(xué) 2014
[6]基于立體視覺的指尖定位與人機交互技術(shù)研究[D]. 郗瑤穎.長安大學(xué) 2013
[7]基于視覺的實時手勢跟蹤與識別及其在人機交互中的應(yīng)用[D]. 王輝.浙江大學(xué) 2008



本文編號：3368611