發(fā)布時間：2021-10-30 01:16

　　Storytelling是一種分享故事的社會和文化活動,已經(jīng)被證明可以支持寫作、閱讀、詞匯、聽力和其他語言能力的發(fā)展。混合現(xiàn)實環(huán)境下的Storytelling,能夠?qū)⒐适轮庇^表現(xiàn)出來,使故事更具趣味性,進(jìn)一步增強人們對Storytelling的興趣。如今,混合現(xiàn)實技術(shù)不斷成熟,傳統(tǒng)的交互方式無法適應(yīng)虛實融合的交互場景。實物交互通過將物理對象和數(shù)字?jǐn)?shù)據(jù)進(jìn)行耦合,在計算機(jī)上增強物理對象,使得交互更加自然和便利。在Storytelling中引入實物交互工具,能夠使故事更加生動有趣,激發(fā)興趣,并提供豐富的想象空間。而目前Storytelling中的實物交互,其虛擬和真實物體之間缺乏相似性,這種虛擬對象和真實對象的不匹配會降低混合現(xiàn)實環(huán)境的無縫體驗。另外,目前基于視覺的實物交互技術(shù),對于實際物體在特征點和數(shù)據(jù)集方面有較高的要求。手勢是一種自然直觀的交互方式,混合現(xiàn)實環(huán)境中使用手勢與虛擬對象交互能夠?qū)崿F(xiàn)自然性。然而,目前市面上的混合現(xiàn)實設(shè)備,如HoloLens,提供的手勢存在形式單一,需要凝視點配合,不適用于直接操控三維物體等弊端。手工藝制作是一種可以提高兒童動手能力和空間想象力的傳統(tǒng)文化形式,已... 

【文章來源】：山東大學(xué)山東省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：82 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖２－丨ＨｏｌｏＬｅｎｓ傳感器??２．?ＨｏｌｏＬｅｎｓ坐標(biāo)系統(tǒng)??ＨｏｌｏＬｅｎｓ提供空間坐標(biāo)系［４４］用于描述全息圖形的位置和方向

?山東大學(xué)碩士學(xué)位論文???后。該坐標(biāo)系以米為單位，便于在真實世界中渲染虛擬圖形。??ＨｏｌｏＬｅｎｓ提供固定參照坐標(biāo)系和附加參考坐標(biāo)系兩種坐標(biāo)系統(tǒng)，其中固定參??照坐標(biāo)系用于實現(xiàn)用戶移動過程中物體位置固定不變；附加參考坐標(biāo)系用于實現(xiàn)??用戶移動過程中物體跟隨用戶的移動而移動。ＨｏｌｏＬｅｎｓ在應(yīng)用程序啟動時創(chuàng)建一??個固定參照坐標(biāo)系，該坐標(biāo)系原點位于程序啟動時ＨｏｌｏＬｅｎｓ頭盔的中心，如圖２－??２所示，在整個應(yīng)用程序的生命周期中，全息物體的世界坐標(biāo)即相對于該參照系的??坐標(biāo)。用戶移動過程中，附加參考坐標(biāo)系跟隨用戶移動，用戶可以查看放置在該參??考坐標(biāo)系中的內(nèi)容，例如ＨｏｌｏＬｅｎｓ系統(tǒng)主界面，用戶在任何地方主界面都會渲染??在用戶眼前，并面向用戶。??Ｙ?ｄ?ｉ，??霸?ｆ??圖２－２?ＨｏｌｏＬｅｎｓ固定參照坐標(biāo)系位置和方向??３．?ＨｏｌｏＬｅｎｓ交互方式??ＨｏｌｏＬｅｎｓ允許用戶與虛擬物體之間的交互。交互方式包括凝視、手勢和語音。??（１）?凝視??ＨｏｌｏＬｅｎｓ提供的凝視點相當(dāng)于計算機(jī)桌面上的光標(biāo)。凝視點跟隨用戶頭部移??動，代表用戶當(dāng)前注視的對象。實現(xiàn)原理為ＨｏｌｏＬｅｎｓ在用戶頭部位置和方向發(fā)射??一條射線，通過判斷射線與虛擬對象的交點確定用戶正在凝視的對象。??（２）?手勢交互??ＨｏｌｏＬｅｎｓ能夠識別幾種特定的手勢，允許用戶通過手勢與虛擬物體進(jìn)行交互。??其中兩個主要的手勢為綻開（Ｂｌｏｏｍ）和點擊（ＡｉｒＴａｐ）手勢。其中淀開手勢表示??１２??

?山東大學(xué)碩士學(xué)位論文???回到主界面，具體動作為伸出手，掌心向上，五指指尖并攏，然后將手張開，如圖??２－３（ａ）所示；點擊手勢為全息物體的主要交互手勢，包括按下和釋放，點擊手勢以??凝視功能為基礎(chǔ)，用戶只有通關(guān)凝視物體才能使用手勢操作物體，點擊手勢通過將??食指向下彎曲（按下），然后向上彎曲（松開）來完成，如圖２－３（ｂ）所示。??Ｄ?ｈ?”?２）?３，??＼?＼?＾＼＼??（ａ）綻開手勢?（ｂ）點擊手勢??圖?２－３?ＨｏｌｏＬｅｎｓ?手勢??ＨｏｌｏＵｍ的￥勢＠過深度相機(jī)行識另ＩＪ，出相杉Ｕ見Ｉｆ范圍內(nèi)的手勢??才會被識別，如圖２－４所示為手勢框，表示能夠進(jìn)行手勢識別的區(qū)域，位置為設(shè)備??前方深度相機(jī)的視錐區(qū)域。?????…．？??Ｉ她＇?Ｉ??１／〇?Ｔａｘｉ??圖２４?ＨｏｌｏＬｅｎｓ手勢框??（３）?語音交互??ＨｏｌｏＬｅｍ集成四個麥克風(fēng)，支持支持三種語音交互形式，分別是語音指令、語??音聽寫和語法識別。其中，語音指令為用戶發(fā)出語音命令，程序做出相應(yīng)的動作，??比如當(dāng)用戶發(fā)出“ｃｌｏｓｅ”指令，應(yīng)用程序則關(guān)閉窗口；語音聽寫包括語音轉(zhuǎn)文字和??文字轉(zhuǎn)語音功能；語法識別負(fù)責(zé)從用戶定義的語法規(guī)則中識別出用戶語音輸入的??單詞和短語。??１３??

【參考文獻(xiàn)】：
期刊論文
[1]實物用戶界面:起源、發(fā)展與研究趨勢[J]. 米海鵬,王濛,盧秋宇,徐迎慶.  中國科學(xué):信息科學(xué). 2018(04)
[2]面向兒童的實物交互工具及其在講故事中的應(yīng)用[J]. 張瀾,孫芳,王丹力,戴國忠.  計算機(jī)輔助設(shè)計與圖形學(xué)學(xué)報. 2017(03)
[3]基于Kinect深度信息的手勢提取與識別研究[J]. 鄧瑞,周玲玲,應(yīng)忍冬.  計算機(jī)應(yīng)用研究. 2013(04)
[4]基于Kinect傳感器的智能輪椅手勢控制系統(tǒng)的設(shè)計與實現(xiàn)[J]. 羅元,謝彧,張毅.  機(jī)器人. 2012(01)
[5]手勢識別技術(shù)及其在人機(jī)交互中的應(yīng)用[J]. 李清水,方志剛,沈模衛(wèi),陳育偉.  人類工效學(xué). 2002(01)

碩士論文
[1]基于卷積神經(jīng)網(wǎng)絡(luò)的音樂推薦系統(tǒng)[D]. 何蓉.南京郵電大學(xué) 2019



本文編號：3465756