長(zhǎng)期以來(lái),國(guó)家對(duì)教育事業(yè)的發(fā)展都十分重視,新課程改革也越來(lái)越注重對(duì)學(xué)生自主創(chuàng)新能力和動(dòng)手能力的培養(yǎng)。在國(guó)內(nèi)中學(xué)實(shí)驗(yàn)教學(xué)中,學(xué)生動(dòng)手實(shí)驗(yàn)經(jīng)常受到區(qū)域性教育資源分布不均衡,一些危險(xiǎn)實(shí)驗(yàn)、觀察效果不明顯的實(shí)驗(yàn)和材料昂貴的實(shí)驗(yàn)難以展開,和教師教學(xué)理念差異的影響。因此,在實(shí)際的實(shí)驗(yàn)教學(xué)中常采用講授與視頻教學(xué)相結(jié)合回合教學(xué)方式或使用虛擬仿真實(shí)驗(yàn)教學(xué)的方式展開。該方式,首先無(wú)法保證學(xué)生對(duì)實(shí)驗(yàn)過(guò)程的重點(diǎn)、實(shí)驗(yàn)的機(jī)理和現(xiàn)象的深入了解;其次缺乏體驗(yàn)感和沉浸感,學(xué)生很難通過(guò)探索實(shí)驗(yàn)體驗(yàn)到其中的樂(lè)趣,同時(shí),由于缺乏實(shí)際操作感,也不利于學(xué)生動(dòng)手能力的培養(yǎng)。2018年,國(guó)家重點(diǎn)研發(fā)計(jì)劃項(xiàng)目——“多模態(tài)自然交互的虛實(shí)融合開放式實(shí)驗(yàn)教學(xué)環(huán)境”立項(xiàng)成功,該項(xiàng)目的主要研究問(wèn)題是面向中學(xué)主干課程實(shí)驗(yàn)教學(xué)的多種交互模型的融合共存、多模態(tài)交互意圖的精確理解等科學(xué)問(wèn)題,旨在推動(dòng)中學(xué)智能實(shí)驗(yàn)教學(xué)的發(fā)展,提供復(fù)雜實(shí)驗(yàn)教學(xué)環(huán)境中虛實(shí)融合的實(shí)時(shí)仿真、多通道感知（視、聽、觸、嗅）同步呈現(xiàn)等教學(xué)實(shí)驗(yàn)效果。并且,預(yù)期實(shí)現(xiàn)我國(guó)優(yōu)質(zhì)教學(xué)資源遠(yuǎn)程教育的共建共享,同時(shí)通過(guò)虛實(shí)融合的更具沉浸感的實(shí)驗(yàn)來(lái)更好地闡釋和展現(xiàn)科學(xué)原理,并突破原有的實(shí)驗(yàn)教學(xué)模式,... 

【文章來(lái)源】：濟(jì)南大學(xué)山東省

【文章頁(yè)數(shù)】：75 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

融合RGB和深度圖像的手勢(shì)識(shí)別方法

濟(jì)南大學(xué)碩士學(xué)位論文19連接層（fc6，fc7）的大小為1×1×2048，這意味著有2048個(gè)神經(jīng)元鏈接到前一層。對(duì)于第二個(gè)通道，因?yàn)镽GB圖像比深度圖像更復(fù)雜，包含的信息也更多，因此連接層fc6、fc7選擇4096個(gè)神經(jīng)元進(jìn)行連接。特征映射層用于替換原始的最后一個(gè)完整連接-層（fc8）網(wǎng)絡(luò)。每個(gè)通道的fc7層的輸出被映射到這個(gè)層，形成一個(gè)特征向量由6144個(gè)神經(jīng)元組成。然后，當(dāng)特征向量被發(fā)送到軟max層。在整個(gè)模型訓(xùn)練方法中采用梯度下降（SGD）方法加快訓(xùn)練速度，減少過(guò)擬合。2.2.2對(duì)比實(shí)驗(yàn)為驗(yàn)證該模型的有效性，我們選擇了實(shí)驗(yàn)過(guò)程中經(jīng)常出現(xiàn)的六種手勢(shì)，進(jìn)行手勢(shì)分類，并且招募了120名實(shí)驗(yàn)者，每名實(shí)驗(yàn)者的同一種手勢(shì)的RGB圖像和深度圖像分別采集3600張，其中3000張用于訓(xùn)練，600張用于測(cè)試。六種手勢(shì)如圖3.2所示。圖2.6六種靜態(tài)手勢(shì)樣本（左側(cè)RGB圖像，右側(cè)深度圖像）實(shí)驗(yàn)一單通道和雙通道之間的手勢(shì)識(shí)別比較對(duì)于上述采集的6手勢(shì)樣本，分別訓(xùn)練Caffe-Net網(wǎng)絡(luò)模型和雙通道混合的網(wǎng)絡(luò)模型，下表展示了手勢(shì)識(shí)別模型的準(zhǔn)確率。表2.1單雙通道手勢(shì)識(shí)別率對(duì)比ModelstructuralTrainlossvalueAccuracyvalue(%)Channel10.002932996.55Channel20.003112296.61Dualchannel0.001263598.11實(shí)驗(yàn)二雙通道手勢(shì)識(shí)別與其它識(shí)別方法的比較為了更好地體現(xiàn)該方法的有效性，選擇現(xiàn)階段較流行的網(wǎng)絡(luò)結(jié)構(gòu)和傳統(tǒng)的手勢(shì)識(shí)別模型，并對(duì)本文提供的數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，對(duì)比結(jié)果如下。

濟(jì)南大學(xué)碩士學(xué)位論文27的銜接，使得智能顯微鏡具有理解用戶意圖的能力；另一方面，對(duì)用戶的部分意圖進(jìn)行推理，并根據(jù)推理結(jié)果和操作效果對(duì)不合理的用戶操作進(jìn)行引導(dǎo)，對(duì)必要的實(shí)驗(yàn)步驟進(jìn)行提示，可以起到更加智能化交互效果。交互應(yīng)用層中，主要通過(guò)視覺顯示和聽覺指引呈現(xiàn)效果，其中視覺呈現(xiàn)即通過(guò)手機(jī)顯示屏觀察顯微鏡下的樣本圖像。在之后會(huì)給出顯微鏡操作案例說(shuō)明。不失一般性，我們認(rèn)為該多模態(tài)交互框架可以用到很多交互場(chǎng)景中。3.2.1雙通道信息整合根據(jù)實(shí)際的操作經(jīng)驗(yàn)，可以排除同時(shí)調(diào)節(jié)粗、細(xì)準(zhǔn)焦螺旋，移動(dòng)樣本和觀察樣本的操作的組合操作，設(shè)多通道整合函數(shù)為Muf)(，未調(diào)節(jié)前的圖像為P，移動(dòng)變換函數(shù)為PM)(，轉(zhuǎn)動(dòng)變換函數(shù)為PV)(，因此，多通道整合函數(shù)可以表示為：+=PPVPPMPMuf)()1()()((3.1)其中，=)1,0(為選擇參數(shù)，該值可由傳感元件改變，當(dāng)完成一次調(diào)節(jié)后，)("=PMufP，且P"作為當(dāng)前觀察圖像可繼續(xù)被調(diào)節(jié)。3.2.2多通道信息整合策略在整個(gè)交互系統(tǒng)中，需要整合三個(gè)通道的信息，來(lái)完成智能化的人機(jī)交互工作，整個(gè)管理過(guò)程中，提出一種基于多通道的狀態(tài)遷移策略（MCST），把不同通道的信息作為輸入，系統(tǒng)的調(diào)節(jié)和反饋過(guò)程作為狀態(tài)，不同的觸發(fā)條件會(huì)引發(fā)不同狀態(tài)間的遷移變化，借此來(lái)整合信息并做出合理反饋，MCST的策略如下：圖3.2MCST策略

【參考文獻(xiàn)】：
期刊論文
[1]利用微課和數(shù)字顯微鏡彌補(bǔ)傳統(tǒng)高中生物實(shí)驗(yàn)教學(xué)的不足——以“觀察根尖分生組織細(xì)胞的有絲分裂”實(shí)驗(yàn)為例[J]. 唐慧.  中小學(xué)實(shí)驗(yàn)與裝備. 2019(01)
[2]多通道人機(jī)交互信息融合的智能方法[J]. 楊明浩,陶建華.  中國(guó)科學(xué):信息科學(xué). 2018(04)
[3]雙通道卷積神經(jīng)網(wǎng)絡(luò)在靜態(tài)手勢(shì)識(shí)別中的應(yīng)用[J]. 馮家文,張立民,鄧向陽(yáng).  計(jì)算機(jī)工程與應(yīng)用. 2018(14)
[4]虛擬現(xiàn)實(shí)在教育中的應(yīng)用:優(yōu)勢(shì)與挑戰(zhàn)[J]. 丁楠,汪亞珉.  現(xiàn)代教育技術(shù). 2017(02)
[5]虛擬環(huán)境的用戶意圖捕獲[J]. 程成,趙東坡,盧保安.  中國(guó)圖象圖形學(xué)報(bào). 2015(02)
[6]面向自然交互的多通道人機(jī)對(duì)話系統(tǒng)[J]. 楊明浩,陶建華,李昊,巢林林.  計(jì)算機(jī)科學(xué). 2014(10)
[7]融合觸、聽、視覺的多通道認(rèn)知和交互模型[J]. 路璐,田豐,戴國(guó)忠,王宏安.  計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào). 2014(04)
[8]ChemLab在基礎(chǔ)化學(xué)實(shí)驗(yàn)的應(yīng)用[J]. 祁正興.  科技信息(科學(xué)教研). 2008(05)
[9]模擬化學(xué)實(shí)驗(yàn)軟件——Model Chemlab[J]. 王紅斌,楊敏,葉艷青.  計(jì)算機(jī)與應(yīng)用化學(xué). 2001(01)

博士論文
[1]智能語(yǔ)音交互中的用戶意圖理解與反饋生成研究[D]. 寧義雙.清華大學(xué) 2017

碩士論文
[1]基于NOBOOK的高中化學(xué)虛擬實(shí)驗(yàn)教學(xué)設(shè)計(jì)與實(shí)踐[D]. 陳曉甜.河南大學(xué) 2019
[2]基于Unity3D的測(cè)控類虛擬仿真實(shí)驗(yàn)技術(shù)研究[D]. 闞研.華中科技大學(xué) 2019
[3]基于Unity3D的初中物理虛擬實(shí)驗(yàn)平臺(tái)的設(shè)計(jì)與應(yīng)用研究[D]. 趙顯敏.四川師范大學(xué) 2019
[4]虛擬仿真軟件在中學(xué)物理習(xí)題教學(xué)中應(yīng)用的研究[D]. 王濤.南京師范大學(xué) 2018
[5]基于虛擬實(shí)驗(yàn)的高中生化學(xué)建模能力研究[D]. 吳雅青.上海師范大學(xué) 2018
[6]虛擬實(shí)驗(yàn)在初中生物教學(xué)中的實(shí)踐與應(yīng)用[D]. 王曉婉.河南大學(xué) 2017
[7]基于云平臺(tái)的網(wǎng)絡(luò)虛擬實(shí)驗(yàn)課程系統(tǒng)[D]. 李義成.電子科技大學(xué) 2017
[8]初中化學(xué)探究教學(xué)實(shí)施的問(wèn)題與對(duì)策研究[D]. 李娟.西南大學(xué) 2015
[9]基于LabVIEW的中學(xué)化學(xué)仿真實(shí)驗(yàn)系統(tǒng)的研究[D]. 王小娟.陜西師范大學(xué) 2014
[10]虛擬實(shí)驗(yàn)在中學(xué)化學(xué)實(shí)驗(yàn)教學(xué)中的應(yīng)用研究[D]. 趙紅喜.河南大學(xué) 2013



本文編號(hào)：3424412