增強(qiáng)現(xiàn)實(shí)技術(shù)作為當(dāng)前人機(jī)交互領(lǐng)域的熱點(diǎn)研究,為教育、醫(yī)療、家居生活等各種領(lǐng)域的發(fā)展增添新的活力。特別地,在教育領(lǐng)域利用增強(qiáng)現(xiàn)實(shí)技術(shù)模擬實(shí)驗(yàn)課堂不僅可以豐富學(xué)生的體驗(yàn)感,還加強(qiáng)學(xué)生動手操作能力,但大多數(shù)研究者僅通過卡片標(biāo)記物去模擬實(shí)驗(yàn),這極大降低了用戶的真實(shí)操作感,此外,用戶大多只是在視覺模態(tài)下模擬實(shí)驗(yàn),僅單一模態(tài)的交互導(dǎo)致用戶的操作負(fù)荷過重從而降低了交互效率。因此,本文在國家重點(diǎn)研發(fā)計(jì)劃“云端融合的自然交互設(shè)備與工具”和“多模態(tài)自然交互的虛實(shí)融合開放式實(shí)驗(yàn)教學(xué)環(huán)境”項(xiàng)目的支持下,依托于虛擬實(shí)驗(yàn)課堂的應(yīng)用背景,以多模態(tài)融合自然交互為研究目的,提出了在增強(qiáng)現(xiàn)實(shí)環(huán)境下基于觸覺、視覺和聽覺的多模態(tài)融合方法,并設(shè)計(jì)和實(shí)現(xiàn)了智能化學(xué)實(shí)驗(yàn)系統(tǒng)界面,旨在讓學(xué)生通過不同模態(tài)的交互,體驗(yàn)和學(xué)習(xí)化學(xué)實(shí)驗(yàn)中爆炸、腐蝕等危險(xiǎn)現(xiàn)象以及產(chǎn)生氣體、發(fā)熱等肉眼看不到的現(xiàn)象。本文的創(chuàng)新點(diǎn)主要體現(xiàn)在以下三個(gè)方面:(1)設(shè)計(jì)了具有新型結(jié)構(gòu)功能的智能設(shè)備;為解決化學(xué)實(shí)驗(yàn)試劑無法重復(fù)使用、實(shí)驗(yàn)器材的昂貴以及現(xiàn)存的智能設(shè)備無法檢測用戶特定的行為等問題,本文設(shè)計(jì)一種新型結(jié)構(gòu)的3D打印智能設(shè)備。在智能設(shè)備的不同位置設(shè)置檢測用戶行為的多...

【文章頁數(shù)】：90 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
abstract
第一章 緒論
    1.1 課題的研究背景與意義
    1.2 國內(nèi)外研究現(xiàn)狀
        1.2.1 基于AR教學(xué)實(shí)驗(yàn)平臺的研究
        1.2.2 基于多模態(tài)識別方法的研究
        1.2.3 基于多模態(tài)融合自然交互的研究
    1.3 主要研究內(nèi)容
    1.4 擬解決的關(guān)鍵科學(xué)問題
    1.5 本文組織結(jié)構(gòu)
第二章 智能設(shè)備的結(jié)構(gòu)設(shè)計(jì)和交互方法
    2.1 智能設(shè)備的結(jié)構(gòu)設(shè)計(jì)
        2.1.1 智能燒杯的結(jié)構(gòu)設(shè)計(jì)
        2.1.2 智能指環(huán)的結(jié)構(gòu)設(shè)計(jì)
    2.2 智能設(shè)備的底層交互方法
        2.2.1 智能設(shè)備的硬件傳輸方法
        2.2.2 智能設(shè)備的軟件處理方法
    2.3 實(shí)驗(yàn)結(jié)果及分析
        2.3.1 實(shí)驗(yàn)環(huán)境
        2.3.2 統(tǒng)計(jì)實(shí)驗(yàn)
    2.4 本章小結(jié)
第三章 多模態(tài)識別方法
    3.1 多模態(tài)識別的總體框架
    3.2 基于深度學(xué)習(xí)的手勢識別
        3.2.1 手勢數(shù)據(jù)的采集和預(yù)處理
        3.2.2 基于深度學(xué)習(xí)的手勢識別算法
        3.2.3 實(shí)驗(yàn)結(jié)果及分析
    3.3 基于AR的手勢識別與交互算法
        3.3.1 ARG算法
        3.3.2 實(shí)驗(yàn)結(jié)果及分析
    3.4 語音識別與交互
        3.4.1 語音識別過程
        3.4.2 語音關(guān)鍵詞交互
    3.5 本章小結(jié)
第四章 多模態(tài)融合交互方法
    4.1 引言
    4.2 多模態(tài)融合交互的總體框架
    4.3 數(shù)據(jù)集建立
        4.3.1 聽覺信息數(shù)據(jù)集
        4.3.2 觸覺信息數(shù)據(jù)集
        4.3.3 視覺信息數(shù)據(jù)集
        4.3.4 多模態(tài)信息數(shù)據(jù)集
    4.4 多模態(tài)交互意圖分析
    4.5 多模態(tài)融合智能導(dǎo)航交互方法
        4.5.1 多模態(tài)信息融合方法
        4.5.2 多模態(tài)信息融合策略
        4.5.3 基于多模態(tài)意圖理解的智能導(dǎo)航交互模式
    4.6 算法分析
    4.7 實(shí)驗(yàn)結(jié)果及分析
        4.7.1 統(tǒng)計(jì)性實(shí)驗(yàn)
        4.7.2 比較實(shí)驗(yàn)
    4.8 本章小結(jié)
第五章 基于增強(qiáng)現(xiàn)實(shí)下多模態(tài)融合交互的智能化學(xué)實(shí)驗(yàn)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)
    5.1 系統(tǒng)總體設(shè)計(jì)思路
        5.1.1 面向智能設(shè)備的虛擬實(shí)驗(yàn)
        5.1.2 面向多模態(tài)融合交互的虛擬實(shí)驗(yàn)
    5.2 系統(tǒng)總體架構(gòu)
    5.3 兩個(gè)典型應(yīng)用實(shí)驗(yàn)案例的設(shè)計(jì)
        5.3.1 虛擬濃硫酸稀釋實(shí)驗(yàn)的設(shè)計(jì)與流程
        5.3.2 虛擬鈉和水反應(yīng)實(shí)驗(yàn)的設(shè)計(jì)與流程
    5.4 系統(tǒng)應(yīng)用功能展示
        5.4.1 系統(tǒng)開發(fā)平臺
        5.4.2 虛擬濃硫酸稀釋實(shí)驗(yàn)功能展示
        5.4.3 虛擬鈉和水反應(yīng)實(shí)驗(yàn)功能展示
    5.5 系統(tǒng)測試
        5.5.1 測試方法與測試用例
        5.5.2 測試步驟與測試結(jié)果
    5.6 系統(tǒng)用戶評價(jià)
    5.7 應(yīng)用示范和用戶體驗(yàn)
    5.8 本章小結(jié)
第六章 總結(jié)與展望
    6.1 全文總結(jié)
    6.2 工作展望
參考文獻(xiàn)
致謝
附錄



本文編號：3851141