隨著增強(qiáng)現(xiàn)實(shí)技術(shù)的進(jìn)步,增強(qiáng)現(xiàn)實(shí)場(chǎng)景中的交互技術(shù)逐漸成為下一代人機(jī)交互的發(fā)展方向之一。在增強(qiáng)現(xiàn)實(shí)多人交互系統(tǒng)中,為了實(shí)現(xiàn)用戶與虛擬交互對(duì)象的交互,系統(tǒng)為每一位用戶分別建立虛擬化身,虛擬化身作為用戶在系統(tǒng)中的代理,代替用戶與虛擬交互對(duì)象實(shí)現(xiàn)交互,并完成交互任務(wù)。論文以作戰(zhàn)訓(xùn)練為應(yīng)用背景,基于虛擬化身運(yùn)動(dòng)建模技術(shù)對(duì)作戰(zhàn)訓(xùn)練場(chǎng)景下的交互語義識(shí)別與交互意圖理解開展了研究。通過分析人體骨骼結(jié)構(gòu)與運(yùn)動(dòng)特性,建立層次化的虛擬化身骨骼模型。在虛擬化身姿態(tài)標(biāo)定的同時(shí)采用骨骼長度推算算法,建立精準(zhǔn)的虛擬化身模型。虛擬化身運(yùn)動(dòng)建模技術(shù),主要通過基于慣性傳感器的人體姿態(tài)感知和基于光學(xué)傳感器的人體定位方法實(shí)現(xiàn)。在此基礎(chǔ)上,采用了基于多空間位置約束的虛擬化身運(yùn)動(dòng)重定向算法,避免了虛擬化身運(yùn)動(dòng)失真現(xiàn)象的產(chǎn)生。針對(duì)增強(qiáng)現(xiàn)實(shí)場(chǎng)景中的作戰(zhàn)訓(xùn)練交互,闡述了交互語義與交互意圖定義,并對(duì)8種人體交互動(dòng)作進(jìn)行交互語義映射。為了識(shí)別作訓(xùn)人員交互動(dòng)作,對(duì)人體交互動(dòng)作數(shù)據(jù)進(jìn)行采集與預(yù)處理,采用三層雙向LSTM模型對(duì)其進(jìn)行學(xué)習(xí)與識(shí)別。根據(jù)作訓(xùn)人員交互序列數(shù)據(jù),基于由先驗(yàn)知識(shí)構(gòu)建的經(jīng)典貝葉斯網(wǎng)絡(luò),實(shí)現(xiàn)對(duì)作訓(xùn)人員交互意圖進(jìn)行理解。在此基礎(chǔ)上... 

【文章來源】：南京理工大學(xué)江蘇省 211工程院校

【文章頁數(shù)】：72 頁

【學(xué)位級(jí)別】：碩士

【部分圖文】：

增強(qiáng)現(xiàn)實(shí)作戰(zhàn)訓(xùn)練圖

碩士學(xué)位論文基于虛擬化身的增強(qiáng)現(xiàn)實(shí)交互技術(shù)研究及應(yīng)用92.1.3多人交互系統(tǒng)體系架構(gòu)針對(duì)增強(qiáng)現(xiàn)實(shí)多人交互系統(tǒng)架構(gòu)進(jìn)行研究，按照層次化設(shè)計(jì)，系統(tǒng)架構(gòu)如下圖2.2所示：業(yè)務(wù)層基礎(chǔ)層平臺(tái)層UnityAR單兵分系統(tǒng)仿真對(duì)抗分系統(tǒng)軍事仿真平臺(tái)QT虛擬兵力生成交互反饋動(dòng)作捕捉姿態(tài)解算交互意圖理解交互語義識(shí)別數(shù)據(jù)層NatNet虛實(shí)空間對(duì)準(zhǔn)運(yùn)動(dòng)重定向算法姿態(tài)標(biāo)定算法骨骼長度推算交互語義識(shí)別空間定位WindowsDelta3D分隊(duì)?wèi)?zhàn)術(shù)訓(xùn)練應(yīng)用層單兵技能訓(xùn)練交互意圖理解圖2.2增強(qiáng)現(xiàn)實(shí)多人交互系統(tǒng)架構(gòu)圖1.基礎(chǔ)層基礎(chǔ)層由操作系統(tǒng)、圖形庫、數(shù)據(jù)庫等組成，本系統(tǒng)基于Windows操作系統(tǒng)構(gòu)建。該層為系統(tǒng)提供基礎(chǔ)支持框架，底層相關(guān)類庫包含NatNetSDK、QT和Delta3D。NatNet是一個(gè)網(wǎng)絡(luò)軟件開發(fā)工具包，可用于跨網(wǎng)絡(luò)接收NaturalPoint數(shù)據(jù)。它允許將實(shí)時(shí)或記錄的動(dòng)作捕捉數(shù)據(jù)從跟蹤服務(wù)器（例如Motive）流式傳輸?shù)礁鞣N客戶端應(yīng)用程序中。使用該SDK，可以開發(fā)自定義客戶端應(yīng)用程序，以接收包含實(shí)時(shí)跟蹤信息的數(shù)據(jù)包，并將遠(yuǎn)程命令發(fā)送到連接的服務(wù)器。NatNet將UDP協(xié)議與點(diǎn)對(duì)點(diǎn)單播或IP多播結(jié)合使用，以發(fā)送和接收數(shù)據(jù)。具有6個(gè)方向自由度的剛體跟蹤數(shù)據(jù)可以輸出到文本，也可以通過自定義NatNet

碩士學(xué)位論文基于虛擬化身的增強(qiáng)現(xiàn)實(shí)交互技術(shù)研究及應(yīng)用114.業(yè)務(wù)層業(yè)務(wù)層是在數(shù)據(jù)層和服務(wù)層的支撐下，由本項(xiàng)目研發(fā)的模型、軟件或系統(tǒng)，包括增強(qiáng)現(xiàn)實(shí)單兵分系統(tǒng)、仿真對(duì)抗分系統(tǒng)、作戰(zhàn)評(píng)估分系統(tǒng)和基礎(chǔ)網(wǎng)絡(luò)環(huán)境。5.應(yīng)用層應(yīng)用層支撐增強(qiáng)現(xiàn)實(shí)作戰(zhàn)訓(xùn)練過程中的單兵技能訓(xùn)練和分隊(duì)?wèi)?zhàn)術(shù)訓(xùn)練。單兵技能訓(xùn)練是單兵規(guī)模的仿真對(duì)抗，以訓(xùn)練單兵的各項(xiàng)戰(zhàn)斗技能為目的；分隊(duì)?wèi)?zhàn)術(shù)訓(xùn)練是分隊(duì)規(guī)模的仿真對(duì)抗，以訓(xùn)練分隊(duì)長戰(zhàn)術(shù)布置和隊(duì)員戰(zhàn)術(shù)執(zhí)行能力為目的。2.2系統(tǒng)主要硬件設(shè)備介紹本研究提出的增強(qiáng)現(xiàn)實(shí)多人交互系統(tǒng)硬件設(shè)備，如圖2.3所示。本研究使用多套MEMS慣性傳感器感知人體運(yùn)動(dòng)姿態(tài)。光學(xué)系統(tǒng)提供了人體的實(shí)時(shí)定位坐標(biāo)，而不是原始視頻數(shù)據(jù)，大大降低了計(jì)算的復(fù)雜性。PC端一方面實(shí)時(shí)接收解算慣性傳感器與光學(xué)系統(tǒng)的數(shù)據(jù)，另一方面將人體交互動(dòng)作映射為交互語義發(fā)送至HoloLens，完成作訓(xùn)人員與虛擬交互對(duì)象之間的語義交互。相機(jī)MEMS慣性傳感器HoloLens虛擬交互對(duì)象光學(xué)標(biāo)記點(diǎn)圖2.3增強(qiáng)現(xiàn)實(shí)多人交互系統(tǒng)硬件設(shè)備示意圖2.2.1MEMS慣性傳感器人體動(dòng)作捕捉根據(jù)工作原理分為機(jī)械電動(dòng)式、聲學(xué)式、光學(xué)式和電磁式。機(jī)械電動(dòng)式通常體積較大且笨重，不滿足靈活便捷要求；聲學(xué)式動(dòng)作捕捉系統(tǒng)存在較大延時(shí)和滯后，噪聲干擾較大，要求聲源與接收器之間沒有障礙物；光

【參考文獻(xiàn)】：
期刊論文
[1]基于協(xié)同LSTM神經(jīng)網(wǎng)絡(luò)的人體行為識(shí)別研究[J]. 朱連章,陳殿明,郭加樹,張紅霞.  計(jì)算機(jī)技術(shù)與發(fā)展. 2018(12)
[2]基于長短時(shí)記憶網(wǎng)絡(luò)的人體姿態(tài)檢測(cè)方法[J]. 鄭毅,李鳳,張麗,劉守印.  計(jì)算機(jī)應(yīng)用. 2018(06)
[3]基于極性轉(zhuǎn)移和雙向LSTM的文本情感分析[J]. 陳葛恒.  信息技術(shù). 2018(02)
[4]TensorFlow平臺(tái)上基于LSTM神經(jīng)網(wǎng)絡(luò)的人體動(dòng)作分類[J]. 楊煜,張煒.  智能計(jì)算機(jī)與應(yīng)用. 2017(05)
[5]沉浸式分隊(duì)?wèi)?zhàn)術(shù)訓(xùn)練仿真平臺(tái)關(guān)鍵技術(shù)研究[J]. 張永亮,趙廣超.  軍事運(yùn)籌與系統(tǒng)工程. 2017(01)
[6]國外軍用訓(xùn)練模擬技術(shù)發(fā)展分析[J]. 田赤軍,李艷雷,唐成,耿化品.  戰(zhàn)術(shù)導(dǎo)彈技術(shù). 2015(04)
[7]虛擬環(huán)境的用戶意圖捕獲[J]. 程成,趙東坡,盧保安.  中國圖象圖形學(xué)報(bào). 2015(02)
[8]中國成年人人體尺寸數(shù)據(jù)相關(guān)性研究[J]. 呼慧敏,晁儲(chǔ)芝,趙朝義,張欣,冉令華.  人類工效學(xué). 2014(03)
[9]用于戰(zhàn)術(shù)意圖識(shí)別的動(dòng)態(tài)序列貝葉斯網(wǎng)絡(luò)[J]. 葛順,夏學(xué)知.  系統(tǒng)工程與電子技術(shù). 2014(01)
[10]增強(qiáng)現(xiàn)實(shí)技術(shù)及其在軍事裝備和模擬訓(xùn)練中的應(yīng)用研究[J]. 陳玉文.  系統(tǒng)仿真學(xué)報(bào). 2013(S1)

博士論文
[1]面向操作指引的增強(qiáng)現(xiàn)實(shí)系統(tǒng)研究[D]. 謝天.浙江大學(xué) 2013
[2]目標(biāo)導(dǎo)向的關(guān)節(jié)結(jié)構(gòu)運(yùn)動(dòng)控制方法研究[D]. 胡利安.華中科技大學(xué) 2013
[3]基于語義關(guān)聯(lián)模型的虛擬裝配工藝規(guī)劃支撐技術(shù)研究[D]. 朱洪敏.上海交通大學(xué) 2012
[4]基于語義交互和動(dòng)態(tài)重構(gòu)的兵棋推演系統(tǒng)概念框架及其關(guān)鍵技術(shù)研究[D]. 彭春光.國防科學(xué)技術(shù)大學(xué) 2010
[5]虛擬環(huán)境中基于語義的三維交互技術(shù)研究及應(yīng)用[D]. 王亮.中國科學(xué)技術(shù)大學(xué) 2008
[6]面向人機(jī)工程仿真分析的人體生物力學(xué)模型[D]. 徐孟.浙江大學(xué) 2006
[7]基于多Agent的計(jì)算機(jī)生成兵力建模與仿真[D]. 尹全軍.國防科學(xué)技術(shù)大學(xué) 2005
[8]基于角色和面向智能主體的協(xié)同虛擬環(huán)境的研究[D]. 余春艷.浙江大學(xué) 2004
[9]面向用戶意圖的智能人機(jī)交互[D]. 關(guān)志偉.中國科學(xué)院軟件研究所 2001

碩士論文
[1]基于語義的用戶意圖領(lǐng)域多分類算法分析[D]. 姜超.武漢大學(xué) 2018
[2]面向設(shè)備作業(yè)虛擬仿真的人體動(dòng)作和手勢(shì)識(shí)別交互技術(shù)研究[D]. 朱幸爾.浙江大學(xué) 2018
[3]面向電子沙盤自然交互的人體運(yùn)動(dòng)跟蹤系統(tǒng)[D]. 高杰.南京理工大學(xué) 2018
[4]航天測(cè)發(fā)任務(wù)中的人體運(yùn)動(dòng)跟蹤及交互技術(shù)的研究[D]. 劉鵬.南京理工大學(xué) 2017
[5]面向航天測(cè)發(fā)任務(wù)的虛擬手交互技術(shù)研究[D]. 陳娜.南京理工大學(xué) 2017
[6]基于動(dòng)作捕捉傳感器的人體日常行為識(shí)別研究[D]. 張新榮.哈爾濱工業(yè)大學(xué) 2015
[7]基于慣性傳感器的動(dòng)作捕捉系統(tǒng)研究與設(shè)計(jì)[D]. 汪俊.中國科學(xué)技術(shù)大學(xué) 2015
[8]基于國際人體測(cè)量學(xué)數(shù)據(jù)的虛擬人建模技術(shù)研究[D]. 戚福洲.西南交通大學(xué) 2014
[9]虛擬地理環(huán)境中基于語義的三維交互技術(shù)研究[D]. 魏勇.解放軍信息工程大學(xué) 2012
[10]面向低壓配電仿真的虛擬化身技術(shù)的研究和實(shí)現(xiàn)[D]. 張萌.南京理工大學(xué) 2008



本文編號(hào)：3307826