腦電時(shí)空多特征融合的數(shù)字圖形界面認(rèn)知負(fù)荷評(píng)價(jià)方法
發(fā)布時(shí)間：2021-07-20 01:23
準(zhǔn)確地評(píng)價(jià)數(shù)字圖形界面下操作員的認(rèn)知負(fù)荷（cognitive load, CL）,有助于實(shí)現(xiàn)認(rèn)知反饋機(jī)制并最終提高人機(jī)工效.為了進(jìn)一步提高評(píng)價(jià)方法的魯棒性與泛化能力,結(jié)合EEG實(shí)驗(yàn)將Att-BLSTM應(yīng)用于CL評(píng)價(jià)問(wèn)題中.該方法首先利用Multi-CNN提取EEG的頻域與空間特征,然后利用Att-BLSTM提取EEG的時(shí)域特征,最后通過(guò)多特征融合構(gòu)建CL評(píng)價(jià)方法.通過(guò)招募12名被試,采集了2種CL條件下的EEG數(shù)據(jù)進(jìn)行了實(shí)驗(yàn).實(shí)驗(yàn)結(jié)果表明,文中方法在該數(shù)據(jù)集上的平均準(zhǔn)確率為82%,比傳統(tǒng)機(jī)器學(xué)習(xí)的方法具有更強(qiáng)的EEG信號(hào)表征能力;與其他深度學(xué)習(xí)方法相比,也能更準(zhǔn)確地提取EEG的時(shí)域特征,且具有更強(qiáng)的魯棒性.
【文章來(lái)源】：計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào). 2020,32(07)北大核心EICSCD
【文章頁(yè)數(shù)】：8 頁(yè)
【部分圖文】：
ConvNet結(jié)構(gòu)
頻域與空間特征模塊中,本文利用7個(gè)連續(xù)的重疊的時(shí)間窗口將EEG信號(hào)分割,并利用快速傅里葉變換(fast Fourier transform,FFT)提取EEG信號(hào)的頻域信息;然后結(jié)合采集設(shè)備的電極位置生成圖片;最后將這些圖片輸入到多卷積神經(jīng)網(wǎng)絡(luò)(multi-convolutional neural networks,Multi-CNN)中,輸出EEG信號(hào)的頻域與空間特征.時(shí)域特征模塊中,原始的EEG時(shí)間序列先通過(guò)2層的BLSTM;然后通過(guò)一個(gè)注意力層得到EEG信號(hào)的時(shí)域特征;最后融合時(shí)域特征、空間特征和頻域特征輸入到一個(gè)全連接層,通過(guò)一個(gè)Softmax層輸出模型預(yù)測(cè)結(jié)果.2.1 數(shù)據(jù)采集
本文招募了12名被試(6名男性、6名女性,年齡19～26歲,平均年齡22.6歲,標(biāo)準(zhǔn)差2.2)參與認(rèn)知實(shí)驗(yàn),他們均為在校大學(xué)生或研究生.認(rèn)知實(shí)驗(yàn)采用經(jīng)典的oddball范式進(jìn)行設(shè)計(jì)[33];刺激材料為如圖2所示的2種不同布局的圖形界面,靶刺激與標(biāo)準(zhǔn)刺激全部由圖2中的圖形界面產(chǎn)生.實(shí)驗(yàn)開(kāi)始時(shí),被試確認(rèn)記住靶刺激與標(biāo)準(zhǔn)刺激后按空格鍵,并呈現(xiàn)“十”字注視點(diǎn)500 ms以消除視覺(jué)殘留;然后靶刺激與標(biāo)準(zhǔn)刺激會(huì)隨機(jī)呈現(xiàn)1 000 ms,被試的任務(wù)是看到靶刺激時(shí)要盡可能快地點(diǎn)擊鼠標(biāo)左鍵,看到標(biāo)準(zhǔn)刺激時(shí)什么都不用做,接下來(lái)刺激消失開(kāi)始下一個(gè)試次(trial).這樣的實(shí)驗(yàn)有2組:第1組實(shí)驗(yàn)靶刺激為界面B,標(biāo)準(zhǔn)刺激為界面A;第2組實(shí)驗(yàn)靶刺激為界面A,標(biāo)準(zhǔn)刺激為界面B.每組實(shí)驗(yàn)中靶刺激呈現(xiàn)40次,標(biāo)準(zhǔn)刺激呈現(xiàn)160次.實(shí)驗(yàn)過(guò)程中采用NeuroScan 64導(dǎo)電極帽記錄EEG,按國(guó)際10-20標(biāo)準(zhǔn)放置電極,采樣率為1 000 Hz,用鼻尖作為參考電極.2名被試的數(shù)據(jù)因?yàn)樵肼暫蛡污E過(guò)多而被剔除.本文采用ERP技術(shù)[17]進(jìn)行分析發(fā)現(xiàn),界面B下被試的CL明顯高于界面A,根據(jù)這個(gè)結(jié)果把與界面A同步的EEG信號(hào)標(biāo)記為低CL狀態(tài)下的數(shù)據(jù),把與界面B同步的EEG信號(hào)標(biāo)記為高CL狀態(tài)下的數(shù)據(jù).2.2 頻域和空間特征模塊
本文編號(hào)：3291829
【文章來(lái)源】：計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào). 2020,32(07)北大核心EICSCD
【文章頁(yè)數(shù)】：8 頁(yè)
【部分圖文】：
ConvNet結(jié)構(gòu)
頻域與空間特征模塊中,本文利用7個(gè)連續(xù)的重疊的時(shí)間窗口將EEG信號(hào)分割,并利用快速傅里葉變換(fast Fourier transform,FFT)提取EEG信號(hào)的頻域信息;然后結(jié)合采集設(shè)備的電極位置生成圖片;最后將這些圖片輸入到多卷積神經(jīng)網(wǎng)絡(luò)(multi-convolutional neural networks,Multi-CNN)中,輸出EEG信號(hào)的頻域與空間特征.時(shí)域特征模塊中,原始的EEG時(shí)間序列先通過(guò)2層的BLSTM;然后通過(guò)一個(gè)注意力層得到EEG信號(hào)的時(shí)域特征;最后融合時(shí)域特征、空間特征和頻域特征輸入到一個(gè)全連接層,通過(guò)一個(gè)Softmax層輸出模型預(yù)測(cè)結(jié)果.2.1 數(shù)據(jù)采集
本文招募了12名被試(6名男性、6名女性,年齡19～26歲,平均年齡22.6歲,標(biāo)準(zhǔn)差2.2)參與認(rèn)知實(shí)驗(yàn),他們均為在校大學(xué)生或研究生.認(rèn)知實(shí)驗(yàn)采用經(jīng)典的oddball范式進(jìn)行設(shè)計(jì)[33];刺激材料為如圖2所示的2種不同布局的圖形界面,靶刺激與標(biāo)準(zhǔn)刺激全部由圖2中的圖形界面產(chǎn)生.實(shí)驗(yàn)開(kāi)始時(shí),被試確認(rèn)記住靶刺激與標(biāo)準(zhǔn)刺激后按空格鍵,并呈現(xiàn)“十”字注視點(diǎn)500 ms以消除視覺(jué)殘留;然后靶刺激與標(biāo)準(zhǔn)刺激會(huì)隨機(jī)呈現(xiàn)1 000 ms,被試的任務(wù)是看到靶刺激時(shí)要盡可能快地點(diǎn)擊鼠標(biāo)左鍵,看到標(biāo)準(zhǔn)刺激時(shí)什么都不用做,接下來(lái)刺激消失開(kāi)始下一個(gè)試次(trial).這樣的實(shí)驗(yàn)有2組:第1組實(shí)驗(yàn)靶刺激為界面B,標(biāo)準(zhǔn)刺激為界面A;第2組實(shí)驗(yàn)靶刺激為界面A,標(biāo)準(zhǔn)刺激為界面B.每組實(shí)驗(yàn)中靶刺激呈現(xiàn)40次,標(biāo)準(zhǔn)刺激呈現(xiàn)160次.實(shí)驗(yàn)過(guò)程中采用NeuroScan 64導(dǎo)電極帽記錄EEG,按國(guó)際10-20標(biāo)準(zhǔn)放置電極,采樣率為1 000 Hz,用鼻尖作為參考電極.2名被試的數(shù)據(jù)因?yàn)樵肼暫蛡污E過(guò)多而被剔除.本文采用ERP技術(shù)[17]進(jìn)行分析發(fā)現(xiàn),界面B下被試的CL明顯高于界面A,根據(jù)這個(gè)結(jié)果把與界面A同步的EEG信號(hào)標(biāo)記為低CL狀態(tài)下的數(shù)據(jù),把與界面B同步的EEG信號(hào)標(biāo)記為高CL狀態(tài)下的數(shù)據(jù).2.2 頻域和空間特征模塊
本文編號(hào)：3291829
本文鏈接：http://sikaile.net/kejilunwen/xinxigongchenglunwen/3291829.html
最近更新
教材專著
