本文關(guān)鍵詞：基于多模態(tài)交互的授課系統(tǒng)研究與設(shè)計

  更多相關(guān)文章： 授課系統(tǒng) 多模態(tài)交互 Kinect體感檢測器 手勢識別 語音識別

【摘要】：接受良好的教育可以使我們懂得自己應(yīng)該肩負(fù)的社會責(zé)任和家庭責(zé)任,讓國民的整體素質(zhì)不斷提高。因此,提高教學(xué)水平對公民的影響深遠(yuǎn)。除了提高教師素質(zhì),完善教學(xué)方式也是提高教學(xué)水平的一種有效方法,一種新穎的授課方式,不僅可以提高教師授課的積極性,同時還可以提高學(xué)生的主觀能動性,提升授課的效率,使得整體的教學(xué)效果得到很大的改善。隨著計算機和各種交互設(shè)備的普及和深入,智能化、人性化的自然人機交互方式更容易人們接受。多模態(tài)的人機交互方式結(jié)合了多種模式的信息交互,使各模式發(fā)揮自己的優(yōu)勢,綜合利用人的多種行為方式來完成信息的采集,從而準(zhǔn)確無誤的表達用戶的意圖,更好的完成人與計算機的交互過程。多模態(tài)交互理論應(yīng)用在教學(xué)方面,把新穎的授課方式帶入傳統(tǒng)課堂,使學(xué)生學(xué)習(xí)知識的趣味性和主觀能動性不斷提高。本系統(tǒng)主要研究并設(shè)計了一種基于多模態(tài)交互的授課系統(tǒng),利用手勢交互、語音交互、手寫交互等多通道交互模式,以一種全新的授課方式來完成授課的全過程。系統(tǒng)使用Kinect體感檢測器采集人體的骨骼節(jié)點數(shù)據(jù)和語音數(shù)據(jù),將人體的動作姿勢、手勢、語音與鼠標(biāo)相結(jié)合作為系統(tǒng)的輸入方式。通過Kinect獲得的骨骼結(jié)點數(shù)據(jù)主要應(yīng)用在對界面各元素操作的手勢識別和對手寫板繪制流程圖兩個方面。手勢識別過程通過動態(tài)手勢識別方法完成,該識別方法主要利用骨骼節(jié)點相對位置與設(shè)定閾值范圍來進行判斷,包括單手、雙手多種手勢的識別。當(dāng)識別的手勢與系統(tǒng)預(yù)定義手勢匹配時,系統(tǒng)就會完成相應(yīng)的操作。手寫板主要是利用右手骨骼節(jié)點模擬畫筆來完成繪制的軌跡,在繪制過程中需要結(jié)合鼠標(biāo)左鍵按下這個手勢來共同完成繪制過程。同時采集到的語音信息在識別后作為語法命令,然后與系統(tǒng)中預(yù)定義的語法命令進行匹配,當(dāng)置信值大于某一閾值時命令匹配成功,系統(tǒng)執(zhí)行該語法命令對應(yīng)的操作。本系統(tǒng)利用手勢交互、語音交互、手寫交互等多模態(tài)交互完成了教師授課過程,提供一種了新穎的授課方式,讓教師和學(xué)生能夠以一種獨特的方式來高效率地完成授予知識和學(xué)習(xí)知識的這一過程。
【學(xué)位授予單位】：西安電子科技大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2015
【分類號】：G434;TP391.41

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 朱俊;聶龍生;徐云;羅準(zhǔn)辰;;航天三維可視化系統(tǒng)中語音控制技術(shù)的研究與應(yīng)用[J];現(xiàn)代電子技術(shù);2015年08期

2 李昌嶺;李偉華;;面向戰(zhàn)場的多通道人機交互模型[J];火力與指揮控制;2014年11期

3 路璐;田豐;戴國忠;王宏安;;融合觸、聽、視覺的多通道認(rèn)知和交互模型[J];計算機輔助設(shè)計與圖形學(xué)學(xué)報;2014年04期

4 南貌;;多模態(tài)人-機交互技術(shù)及其應(yīng)用[J];科技信息;2012年27期

5 張毅;張爍;羅元;徐曉東;;基于Kinect深度圖像信息的手勢軌跡識別及應(yīng)用[J];計算機應(yīng)用研究;2012年09期

6 張國華;老松楊;凌云翔;葉挺;;指揮控制中的多人多通道人機交互研究[J];國防科技大學(xué)學(xué)報;2010年05期

7 凌云翔;張國華;李銳;葉挺;;基于多點觸摸的自然手勢識別方法研究[J];國防科技大學(xué)學(xué)報;2010年01期

8 任波;李利軍;曹偉明;王乘;;基于增強現(xiàn)實的交互式城市設(shè)計研究[J];華中科技大學(xué)學(xué)報(城市科學(xué)版);2006年02期

9 王悅,岳瑋寧,王衡,董士海;手持移動計算中的多通道交互[J];軟件學(xué)報;2005年01期

10 童莉;建構(gòu)主義的學(xué)習(xí)遷移觀及對數(shù)學(xué)教育的啟示[J];重慶師范學(xué)院學(xué)報(自然科學(xué)版);2002年04期

中國博士學(xué)位論文全文數(shù)據(jù)庫 前1條

1 陳國松;我國重點大學(xué)本科工程教育實踐教學(xué)改革研究[D];華中科技大學(xué);2012年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前3條

1 王松林;基于Kinect的手勢識別與機器人控制技術(shù)研究[D];北京交通大學(xué);2014年

2 陳靜;基于Kinect的手勢識別技術(shù)及其在教學(xué)中的應(yīng)用[D];上海交通大學(xué);2013年

3 宋禮鳳;高中生物學(xué)教學(xué)現(xiàn)狀與對策研究[D];山東師范大學(xué);2004年

，

本文編號：1296091