發(fā)布時間：2020-06-23 13:51

【摘要】：眼動跟蹤數(shù)據(jù)記錄了用戶眼球運(yùn)動行為,表征了用戶視覺認(rèn)知活動,可以用于分析用戶的視覺注意過程,預(yù)測用戶的交互意圖。腦電數(shù)據(jù)記錄了人腦內(nèi)部的生物電現(xiàn)象,對腦電數(shù)據(jù)進(jìn)行特征提取可以有效分析出用戶的認(rèn)知行為,用于實(shí)現(xiàn)腦機(jī)交互�，F(xiàn)階段對認(rèn)知的研究主要是通過單一的眼動或者腦電數(shù)據(jù)進(jìn)行分析,不具有完備性,不能準(zhǔn)確的描述用戶認(rèn)知狀態(tài)。為此,本文提出了基于眼動和腦電數(shù)據(jù)融合的認(rèn)知計算方法,通過分別采集用戶在進(jìn)行運(yùn)動想象時的眼動和腦電數(shù)據(jù),進(jìn)行相應(yīng)的預(yù)處理和特征提取,然后基于數(shù)據(jù)融合方法進(jìn)行交互意圖推理等認(rèn)知計算。同時針對單用戶在復(fù)雜場景中的交互不便性,提出了基于多用戶協(xié)同的人機(jī)交互系統(tǒng),通過合作的方式來完成交互任務(wù),提升協(xié)作水平。本文的研究工作主要包括以下三個部分:(1)眼動和腦電數(shù)據(jù)的特征提取與應(yīng)用。設(shè)計運(yùn)動想象實(shí)驗,對所記錄的眼動和腦電數(shù)據(jù)分別進(jìn)行預(yù)處理、特征提取和分類判斷。針對眼動數(shù)據(jù)采用基于圖像處理的方式獲取用戶的眼動特征,比較了瞳孔直徑、注視點(diǎn)坐標(biāo)、眼跳、注視時間和注視次數(shù)的分類準(zhǔn)確率,實(shí)驗結(jié)果表明瞳孔直徑、注視點(diǎn)坐標(biāo)和眼跳與用戶的運(yùn)動想象結(jié)果密切相關(guān),平均分類準(zhǔn)確率分別可以達(dá)到75.54%、72.23%和69.11%。針對腦電數(shù)據(jù)構(gòu)建了多種分類模型,實(shí)驗結(jié)果表明進(jìn)行了特征提取的分類準(zhǔn)確率高于沒有特征提取的分類準(zhǔn)確率,且基于CNN的分類準(zhǔn)確率比SVM的分類準(zhǔn)確率高6%左右,WT+CNN的模型的平均分類準(zhǔn)確率最高為80.09%。(2)基于眼動和腦電數(shù)據(jù)的融合方法。為了提高運(yùn)動想象的分類準(zhǔn)確率,提出了基于眼動和腦電的數(shù)據(jù)融合方法,將眼動和腦電數(shù)據(jù)分別進(jìn)行了特征層和決策層融合。實(shí)驗結(jié)果表明,特征層的平均分類準(zhǔn)確率達(dá)到81.16%,決策層的平均分類準(zhǔn)確率達(dá)到82.56%,均高于單獨(dú)的眼動或者腦電的分類準(zhǔn)確率。同時針對腦電通道不足的情況進(jìn)行分析,提出了眼動對腦電的補(bǔ)償方法,證明了眼動+2通道的腦電分類準(zhǔn)確率近似于4通道的腦電分類準(zhǔn)確率。(3)設(shè)計開發(fā)了基于多用戶協(xié)同的人機(jī)交互系統(tǒng)。本文構(gòu)建了用戶在運(yùn)動想象時的離線訓(xùn)練模型,同時將多用戶在運(yùn)動想象時的數(shù)據(jù)進(jìn)行了融合分析,實(shí)驗表明多用戶數(shù)據(jù)融合系統(tǒng)的分類準(zhǔn)確率要高于單用戶的分類準(zhǔn)確率。同時將離線模型應(yīng)用于實(shí)時交互應(yīng)用系統(tǒng)中,設(shè)計與開發(fā)了基于多用戶協(xié)同的在線游戲,兩位用戶通過運(yùn)動想象來控制游戲?qū)ο?用戶實(shí)驗表明該系統(tǒng)有效的提升了協(xié)同交互效率,同時提高了用戶體驗。
【學(xué)位授予單位】：浙江工業(yè)大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2019
【分類號】：TN911.6;R318
【圖文】：

通過眼動特征分析用戶的購物意圖

圖 1-2 eyeGUI 的交互界面[13]Figure 1-2. The interface of eyeGUI[13]技術(shù)是人類在對大腦活動進(jìn)行探索期間形成的一種新型腦電數(shù)據(jù)的分析，識別出腦電信號中的特征信息，據(jù)此現(xiàn)人腦中樞神經(jīng)系統(tǒng)與外部設(shè)備之間的交互。這樣可以意愿和操縱設(shè)備，不需要語言和肢體動作。腦機(jī)交互技多個領(lǐng)域都取得了豐碩的成果。核心的神經(jīng)結(jié)構(gòu)，它能夠控制用戶的認(rèn)知行為，而通過深入的了解用戶的認(rèn)知活動。常用的腦電數(shù)據(jù)有運(yùn)動想P300 電位[15]以及穩(wěn)態(tài)視覺誘發(fā)電位[16](Steady-State VisVEP)等。Lee 等[17]通過檢測用戶的腦電圖來分析用戶的音頻通知當(dāng)中，開辟了一種新的認(rèn)知評估方法。Craven 與用戶的認(rèn)知負(fù)荷有密切的關(guān)系，當(dāng)用戶在進(jìn)行認(rèn)知計量下降而θ波的幅度會上升[19]。Yuan 等[20]通過分析用戶

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 王俊菊;杜明媚;;眼動技術(shù)在二語寫作反饋研究中的運(yùn)用——可行性與模型構(gòu)建[J];外語電化教學(xué);2019年06期

2 方蕾蕾;;淺析眼動技術(shù)在服裝研究領(lǐng)域中的應(yīng)用現(xiàn)狀[J];大眾文藝;2019年21期

3 張陽;李艾蘇;張少杰;張明;;微眼動的識別技術(shù)[J];心理科學(xué)進(jìn)展;2017年01期

4 楊子京;李卓;王愛平;;結(jié)果呈現(xiàn)對決策過程影響的眼動模式[J];心理學(xué)探新;2017年04期

5 梁菲菲;王永勝;楊文;白學(xué)軍;;閱讀水平調(diào)節(jié)兒童閱讀眼動注視模式的發(fā)展:基于9～11歲兒童的證據(jù)[J];心理學(xué)報;2017年04期

6 楊勇濤;于淋;孫延林;;靜止眼動和動作表現(xiàn)關(guān)系的心理學(xué)機(jī)制[J];天津體育學(xué)院學(xué)報;2016年03期

7 陳勇;段肖玲;劉曉翠;;36例精神分裂癥患者眼動分析儀臨床研究[J];中國民康醫(yī)學(xué);2015年08期

8 黃濤;趙立影;;眼動技術(shù)在多媒體學(xué)習(xí)中的應(yīng)用[J];中國教育信息化;2015年06期

9 靳慧斌;陳健;劉文輝;宋祥波;洪遠(yuǎn);;眼動指標(biāo)在實(shí)時測量心理負(fù)荷中的應(yīng)用進(jìn)展[J];科學(xué)技術(shù)與工程;2015年30期

10 佘阿莉;;國內(nèi)二語習(xí)得研究中眼動技術(shù)的應(yīng)用[J];校園英語;2019年38期

相關(guān)會議論文 前10條

1 周清杰;;眼動追蹤技術(shù)在決策研究中的應(yīng)用[A];第十七屆全國心理學(xué)學(xué)術(shù)會議論文摘要集[C];2014年

2 陶云;白學(xué)軍;閻國利;;小學(xué)生插圖課文的眼動實(shí)驗研究[A];第九屆全國心理學(xué)學(xué)術(shù)會議文摘選集[C];2001年

3 賀薈中;方俊明;;聾生與聽力正常學(xué)生在背景知識參與下建立文本整體連貫的眼動比較[A];第十屆全國心理學(xué)學(xué)術(shù)大會論文摘要集[C];2005年

4 王博韜;李晶晶;程麗芳;胡衛(wèi)平;;大腦半球互動水平對創(chuàng)造性科學(xué)問題提出能力的影響:來自利手、眼動刺激的證據(jù)[A];第十七屆全國心理學(xué)學(xué)術(shù)會議論文摘要集[C];2014年

5 沈德立;陶云;;不同文體課文閱讀過程的眼動實(shí)驗研究[A];第九屆全國心理學(xué)學(xué)術(shù)會議文摘選集[C];2001年

6 周蕾;;應(yīng)用眼動追蹤技術(shù)綜合探索決策的過程機(jī)制:以風(fēng)險和跨期決策為例[A];第二十二屆全國心理學(xué)學(xué)術(shù)會議摘要集[C];2019年

7 林彩云;陳順森;;自閉癥譜系障礙兒童平滑追蹤眼動特點(diǎn)研究[A];第十八屆全國心理學(xué)學(xué)術(shù)會議摘要集——心理學(xué)與社會發(fā)展[C];2015年

8 沈德立;白學(xué)軍;徐富明;;大中學(xué)生閱讀元理解監(jiān)控的眼動特征研究[A];第十屆全國心理學(xué)學(xué)術(shù)大會論文摘要集[C];2005年

9 崔磊;王穗蘋;;重復(fù)閱讀中文章主題轉(zhuǎn)換效應(yīng)的眼動分析[A];第十屆全國心理學(xué)學(xué)術(shù)大會論文摘要集[C];2005年

10 戴斌榮;陰國恩;閻國利;;兒童青少年分類活動的影響因素及眼動特征的研究[A];第十屆全國心理學(xué)學(xué)術(shù)大會論文摘要集[C];2005年

相關(guān)重要報紙文章 前10條

1 中國青年報·中青在線記者 孫震 實(shí)習(xí)生 谷君峰;80.9%受訪者承諾在春游時“動眼動口不動手”[N];中國青年報;2016年

2 張寶敏;眼動，把握閱讀的規(guī)律[N];中國教育報;2001年

3 苑廣闊;春游“動眼動口不動手”[N];中國旅游報;2016年

4 本報記者 明海英;眼動軌跡揭示心靈奧秘[N];中國社會科學(xué)報;2016年

5 Ellen I. Carni（美）著 李巧藝 譯;眼動與記憶[N];音樂周報;2003年

6 記者 常麗君;手機(jī)能隨你目光懂你心思[N];科技日報;2016年

7 本版編輯邋PreTesting公司創(chuàng)建者和CEO Lee Weinblatt 董艷平 桔梗;眼睛不說謊[N];醫(yī)藥經(jīng)濟(jì)報;2007年

8 《環(huán)球科學(xué)》雜志社;2015年十大創(chuàng)新技術(shù)[N];光明日報;2015年

9 通訊員 文浩;飛行人員體檢可輕松完成[N];中國民航報;2009年

10 實(shí)習(xí)生 安路蒙;睡個好覺，真的很難嗎？[N];科技日報;2013年

相關(guān)博士學(xué)位論文 前10條

1 隋雪;學(xué)習(xí)困難生閱讀過程的眼動特征[D];遼寧師范大學(xué);2004年

2 徐藝;面向路段交通沖突辨識的駕駛?cè)搜蹌犹卣餮芯縖D];吉林大學(xué);2016年

3 林敏;基于眼動信息的人機(jī)交互關(guān)鍵技術(shù)研究[D];上海大學(xué);2014年

4 高迪;面向視覺計算的動態(tài)眼動跟蹤技術(shù)研究[D];哈爾濱工程大學(xué);2015年

5 李浩;基于眼動特征的小屏幕設(shè)備網(wǎng)頁內(nèi)容適配研究[D];華中師范大學(xué);2013年

6 童劍亮;雙相視覺脈沖反應(yīng)與Optokinetic Nystagmus（OKN）眼動[D];中國科學(xué)院研究生院（上海生命科學(xué)研究院）;2003年

7 張祖濤;基于采樣強(qiáng)跟蹤非線性濾波理論的駕駛員眼動跟蹤技術(shù)研究[D];西南交通大學(xué);2010年

8 孟春寧;人眼檢測與跟蹤的方法及應(yīng)用研究[D];南開大學(xué);2013年

9 盧萬媈;基于眼動跟蹤的網(wǎng)絡(luò)搜索行為分析與預(yù)測[D];北京理工大學(xué);2015年

10 高裴裴;人眼驅(qū)動語音合成的若干關(guān)鍵技術(shù)研究[D];南開大學(xué);2012年

相關(guān)碩士學(xué)位論文 前10條

1 魏玲玲;基于眼動實(shí)驗的景觀視覺感知研究[D];南京師范大學(xué);2019年

2 李永強(qiáng);面向智能頭顯的眼動跟蹤技術(shù)的研究[D];廣東工業(yè)大學(xué);2019年

3 李偉哲;眼動輔助界面交互設(shè)計及其可用性研究[D];廣東工業(yè)大學(xué);2019年

4 朱國蕾;模擬進(jìn)近飛行過程中的眼動特征研究[D];中國民航大學(xué);2019年

5 于桂花;模擬單發(fā)失效情境中的眼動行為分析[D];中國民航大學(xué);2019年

6 王茜;管制負(fù)荷與眼動特征的關(guān)系研究[D];中國民航大學(xué);2019年

7 張銳;基于眼動分析的沈陽世博園導(dǎo)向標(biāo)識研究[D];沈陽農(nóng)業(yè)大學(xué);2019年

8 魏千景;融合眼動和腦電數(shù)據(jù)的認(rèn)知計算與協(xié)同交互研究[D];浙江工業(yè)大學(xué);2019年

9 吳施儀;虛擬現(xiàn)實(shí)視覺誘發(fā)態(tài)下基于前額腦電及眼動的情緒分類研究[D];華南理工大學(xué);2019年

10 范陽;簡繁體字閱讀加工過程眼動研究[D];上海交通大學(xué);2018年

本文編號：2727422