融合腦機(jī)接口與虛擬現(xiàn)實(shí)的空間認(rèn)知訓(xùn)練與評(píng)估系統(tǒng)研究
發(fā)布時(shí)間:2021-06-06 07:44
空間認(rèn)知是當(dāng)前國(guó)內(nèi)外認(rèn)知科學(xué)領(lǐng)域的研究熱點(diǎn),并取得了系列成果,但是專(zhuān)門(mén)對(duì)空間認(rèn)知進(jìn)行訓(xùn)練與評(píng)估的研究較少。主要原因在于其科學(xué)的訓(xùn)練評(píng)估系統(tǒng)難以構(gòu)建,訓(xùn)練效果量化簡(jiǎn)單,并且對(duì)訓(xùn)練效果的評(píng)估受觀察人員的主觀因素影響較大。因此本文從科學(xué)有效的空間認(rèn)知訓(xùn)練評(píng)估系統(tǒng)設(shè)計(jì)、基于該系統(tǒng)的訓(xùn)練評(píng)估效果定量分析兩個(gè)方面進(jìn)行了深入研究。首先,本研究構(gòu)建了一套將腦機(jī)接口與虛擬現(xiàn)實(shí)技術(shù)進(jìn)行融合的空間認(rèn)知訓(xùn)練與評(píng)估系統(tǒng)。該系統(tǒng)借助虛擬環(huán)境下的空間認(rèn)知任務(wù)對(duì)受試者進(jìn)行訓(xùn)練與測(cè)試,并同步采集腦電信號(hào),記錄受試者的行為數(shù)據(jù)。采用離線分析的方式對(duì)訓(xùn)練前后行為數(shù)據(jù)的時(shí)間、路程等多個(gè)指標(biāo)進(jìn)行統(tǒng)計(jì)分析;借助格蘭杰因果分析、排序條件互信息方法分別對(duì)腦電信號(hào)進(jìn)行特征提取與分類(lèi),以便客觀、定量地評(píng)估訓(xùn)練的效果。其次,針對(duì)傳統(tǒng)腦電信號(hào)分析方法容易忽略通道之間相對(duì)位置信息的問(wèn)題,本研究提出基于多維排序條件互信息-多光譜圖像的空間認(rèn)知能力評(píng)估腦電信號(hào)分析方法。該方法充分考慮腦電信號(hào)耦合特征的空間屬性,將多頻段組合下的耦合特征進(jìn)行多光譜圖像轉(zhuǎn)化,并借助卷積神經(jīng)網(wǎng)絡(luò)對(duì)這些圖像數(shù)據(jù)進(jìn)行分類(lèi),從而有效地評(píng)估訓(xùn)練前后空間認(rèn)知能力的變化。最后,本研...
【文章來(lái)源】:燕山大學(xué)河北省
【文章頁(yè)數(shù)】:66 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
國(guó)際10-20標(biāo)準(zhǔn)導(dǎo)聯(lián)系統(tǒng)
動(dòng)作相應(yīng)的時(shí)刻,定位到此時(shí)刻該參與者的腦電信號(hào),以此時(shí)者空間認(rèn)知能力在生理信號(hào)上的表現(xiàn),從而更具有針對(duì)性的由于 BCI 系統(tǒng)以高采樣率進(jìn)行腦電信號(hào)采集,數(shù)據(jù)量較大,分腦電信號(hào)數(shù)據(jù)的方式,可以降低數(shù)據(jù)分析期間的計(jì)算量。臺(tái)與功能結(jié)構(gòu)合方法的空間認(rèn)知訓(xùn)練系統(tǒng)是由軟硬件組合而成的系統(tǒng),其BCI 腦電采集設(shè)備、HTC Vive Focus 頭戴顯示器、控制手柄 3-1 所示。OpenBCI 設(shè)備用于實(shí)時(shí)采集受試者在參與實(shí)驗(yàn)過(guò)備采樣率為 125Hz,電極阻抗為小于 10kQ 的濕電極,采集 通過(guò) OpenBCI 的 USB 加密狗與計(jì)算機(jī)進(jìn)行無(wú)線通信。HTCVi呈現(xiàn)虛擬任務(wù)場(chǎng)景。該設(shè)備為便攜式一體機(jī),搭載 Android6率為 2880*1600,刷新頻率為 75Hz,內(nèi)置無(wú)線網(wǎng)卡,通過(guò)外交互。HTC Vive Focus
算機(jī);計(jì)算機(jī)端采用多線程技術(shù)同步接收腦電信號(hào)與行為數(shù)據(jù);之后進(jìn)行空間認(rèn)知離線評(píng)估。具體而言,計(jì)算機(jī)首先將串口緩存區(qū)接收到的腦電信號(hào)通過(guò) LSL 協(xié)議轉(zhuǎn)發(fā)輸出至局域網(wǎng)。TCP 客戶(hù)端將緩存區(qū)接收到的行為數(shù)據(jù)幀按規(guī)則進(jìn)行協(xié)議解析,將解析得到的動(dòng)作標(biāo)記數(shù)據(jù)通過(guò) LSL 協(xié)議轉(zhuǎn)發(fā)輸出至局域網(wǎng),將位置坐標(biāo)數(shù)據(jù)添加時(shí)間戳存儲(chǔ)至磁盤(pán)。LSL 協(xié)議客戶(hù)端同步接收腦電信號(hào)與動(dòng)作標(biāo)記,使兩者時(shí)間對(duì)齊,并存儲(chǔ)至磁盤(pán)?臻g認(rèn)知評(píng)估分別從腦電信號(hào)特征與路徑信息兩方面進(jìn)行定量分析。腦電信號(hào)串口轉(zhuǎn) LSL協(xié)議輸出數(shù)據(jù)幀解析動(dòng)作標(biāo)記LSL協(xié)議輸出帶動(dòng)作標(biāo)記的混合腦電數(shù)據(jù)行為數(shù)據(jù)帶時(shí)間戳的位置坐標(biāo)數(shù)據(jù)藍(lán)牙接口Unity 網(wǎng)絡(luò)接口(3)數(shù)據(jù)同步獲取腦電特征分類(lèi) 路徑信息統(tǒng)計(jì)(4)空間認(rèn)知能力評(píng)估
【參考文獻(xiàn)】:
期刊論文
[1]用于評(píng)價(jià)大小鼠學(xué)習(xí)記憶能力的迷宮實(shí)驗(yàn)方法比較[J]. 楊玉潔,李玉姣,李杉杉,劉新民,王瓊. 中國(guó)比較醫(yī)學(xué)雜志. 2018(12)
[2]Morris水迷宮檢測(cè)動(dòng)物學(xué)習(xí)記憶水平的方法學(xué)[J]. 周嬌嬌,闕建宇,于雯雯,陳默雷,吳梓琪,邱麗萍,朱坤杰. 中國(guó)老年學(xué)雜志. 2017(24)
[3]3種擬癡呆動(dòng)物模型在Morris水迷宮行為學(xué)測(cè)試中學(xué)習(xí)記憶行為的差異[J]. 李斌,謝淑玲,彭麗燕,王飛,楊昆,伍文彬. 醫(yī)學(xué)研究生學(xué)報(bào). 2014(07)
[4]Gamma神經(jīng)振蕩產(chǎn)生機(jī)制及其功能研究進(jìn)展[J]. 王靜,李小俚,邢國(guó)剛,萬(wàn)有. 生物化學(xué)與生物物理進(jìn)展. 2011(08)
[5]訓(xùn)練方式對(duì)大鼠空間學(xué)習(xí)、記憶的影響[J]. 司春嬰,胡志紅,劉愷豐,劉曉民,李雯靖. 山西醫(yī)科大學(xué)學(xué)報(bào). 2011(07)
[6]視覺(jué)記憶負(fù)荷對(duì)EEG的事件相關(guān)同步化與事件相關(guān)去同步化的影響[J]. 沈模衛(wèi),易宇驥,徐青. 航天醫(yī)學(xué)與醫(yī)學(xué)工程. 2002(06)
本文編號(hào):3213925
【文章來(lái)源】:燕山大學(xué)河北省
【文章頁(yè)數(shù)】:66 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
國(guó)際10-20標(biāo)準(zhǔn)導(dǎo)聯(lián)系統(tǒng)
動(dòng)作相應(yīng)的時(shí)刻,定位到此時(shí)刻該參與者的腦電信號(hào),以此時(shí)者空間認(rèn)知能力在生理信號(hào)上的表現(xiàn),從而更具有針對(duì)性的由于 BCI 系統(tǒng)以高采樣率進(jìn)行腦電信號(hào)采集,數(shù)據(jù)量較大,分腦電信號(hào)數(shù)據(jù)的方式,可以降低數(shù)據(jù)分析期間的計(jì)算量。臺(tái)與功能結(jié)構(gòu)合方法的空間認(rèn)知訓(xùn)練系統(tǒng)是由軟硬件組合而成的系統(tǒng),其BCI 腦電采集設(shè)備、HTC Vive Focus 頭戴顯示器、控制手柄 3-1 所示。OpenBCI 設(shè)備用于實(shí)時(shí)采集受試者在參與實(shí)驗(yàn)過(guò)備采樣率為 125Hz,電極阻抗為小于 10kQ 的濕電極,采集 通過(guò) OpenBCI 的 USB 加密狗與計(jì)算機(jī)進(jìn)行無(wú)線通信。HTCVi呈現(xiàn)虛擬任務(wù)場(chǎng)景。該設(shè)備為便攜式一體機(jī),搭載 Android6率為 2880*1600,刷新頻率為 75Hz,內(nèi)置無(wú)線網(wǎng)卡,通過(guò)外交互。HTC Vive Focus
算機(jī);計(jì)算機(jī)端采用多線程技術(shù)同步接收腦電信號(hào)與行為數(shù)據(jù);之后進(jìn)行空間認(rèn)知離線評(píng)估。具體而言,計(jì)算機(jī)首先將串口緩存區(qū)接收到的腦電信號(hào)通過(guò) LSL 協(xié)議轉(zhuǎn)發(fā)輸出至局域網(wǎng)。TCP 客戶(hù)端將緩存區(qū)接收到的行為數(shù)據(jù)幀按規(guī)則進(jìn)行協(xié)議解析,將解析得到的動(dòng)作標(biāo)記數(shù)據(jù)通過(guò) LSL 協(xié)議轉(zhuǎn)發(fā)輸出至局域網(wǎng),將位置坐標(biāo)數(shù)據(jù)添加時(shí)間戳存儲(chǔ)至磁盤(pán)。LSL 協(xié)議客戶(hù)端同步接收腦電信號(hào)與動(dòng)作標(biāo)記,使兩者時(shí)間對(duì)齊,并存儲(chǔ)至磁盤(pán)?臻g認(rèn)知評(píng)估分別從腦電信號(hào)特征與路徑信息兩方面進(jìn)行定量分析。腦電信號(hào)串口轉(zhuǎn) LSL協(xié)議輸出數(shù)據(jù)幀解析動(dòng)作標(biāo)記LSL協(xié)議輸出帶動(dòng)作標(biāo)記的混合腦電數(shù)據(jù)行為數(shù)據(jù)帶時(shí)間戳的位置坐標(biāo)數(shù)據(jù)藍(lán)牙接口Unity 網(wǎng)絡(luò)接口(3)數(shù)據(jù)同步獲取腦電特征分類(lèi) 路徑信息統(tǒng)計(jì)(4)空間認(rèn)知能力評(píng)估
【參考文獻(xiàn)】:
期刊論文
[1]用于評(píng)價(jià)大小鼠學(xué)習(xí)記憶能力的迷宮實(shí)驗(yàn)方法比較[J]. 楊玉潔,李玉姣,李杉杉,劉新民,王瓊. 中國(guó)比較醫(yī)學(xué)雜志. 2018(12)
[2]Morris水迷宮檢測(cè)動(dòng)物學(xué)習(xí)記憶水平的方法學(xué)[J]. 周嬌嬌,闕建宇,于雯雯,陳默雷,吳梓琪,邱麗萍,朱坤杰. 中國(guó)老年學(xué)雜志. 2017(24)
[3]3種擬癡呆動(dòng)物模型在Morris水迷宮行為學(xué)測(cè)試中學(xué)習(xí)記憶行為的差異[J]. 李斌,謝淑玲,彭麗燕,王飛,楊昆,伍文彬. 醫(yī)學(xué)研究生學(xué)報(bào). 2014(07)
[4]Gamma神經(jīng)振蕩產(chǎn)生機(jī)制及其功能研究進(jìn)展[J]. 王靜,李小俚,邢國(guó)剛,萬(wàn)有. 生物化學(xué)與生物物理進(jìn)展. 2011(08)
[5]訓(xùn)練方式對(duì)大鼠空間學(xué)習(xí)、記憶的影響[J]. 司春嬰,胡志紅,劉愷豐,劉曉民,李雯靖. 山西醫(yī)科大學(xué)學(xué)報(bào). 2011(07)
[6]視覺(jué)記憶負(fù)荷對(duì)EEG的事件相關(guān)同步化與事件相關(guān)去同步化的影響[J]. 沈模衛(wèi),易宇驥,徐青. 航天醫(yī)學(xué)與醫(yī)學(xué)工程. 2002(06)
本文編號(hào):3213925
本文鏈接:http://sikaile.net/kejilunwen/xinxigongchenglunwen/3213925.html
最近更新
教材專(zhuān)著