【摘要】：人機交互(Human-Computer Interaction,HCI)是指人與計算機或其他外部設(shè)備之間的信息交換過程�；谏镫娦盘柕娜藱C交互技術(shù)是一種不同于傳統(tǒng)鼠標(biāo)、鍵盤的新型交互技術(shù),它可以將采集到的人體生物電信號通過算法識別直接轉(zhuǎn)化為計算機的控制命令,無需用戶手腳的參與,從而可以為殘疾人群體的日常生活提供一種有效的輔助。虛擬現(xiàn)實(Virtual Reality,VR)作為最先進(jìn)的計算機仿真模擬技術(shù),是實現(xiàn)人機交互的一種絕佳的平臺。本文以實際應(yīng)用為前提,將生物電信號與虛擬現(xiàn)實技術(shù)相結(jié)合,研究基于生物電信號(主要是腦電(Electroencephalography,EEG)和眼電(Electrooculography,EOG)信號)的人機交互技術(shù)及其在虛擬現(xiàn)實中的應(yīng)用。首先,本文將三維虛擬現(xiàn)實建模與動畫技術(shù)引入到基于EEG的人機交互范式中,提出一種基于立體視覺刺激的三維P300字符拼寫系統(tǒng)。基于EEG的人機交互系統(tǒng)又稱為腦機接口(Brain-Computer Interface,BCI),P300字符拼寫系統(tǒng)是目前最受歡迎并得到廣泛關(guān)注的腦機接口應(yīng)用類型。本文從改善傳統(tǒng)P300字符拼寫系統(tǒng)的性能入手,提出一種新型的三維刺激范式。在此范式中,我們利用三維閃爍方塊取代傳統(tǒng)的二維閃爍平面來構(gòu)建人機界面,每個刺激由一個快速閃爍(顏色改變)和一個三維運動相結(jié)合而成。12名健康受試者參加了一個離線實驗和一個在線實驗。實驗結(jié)果表明,本文提出的3D范式能夠誘發(fā)出比傳統(tǒng)2D范式幅度更高的P300波形,從而顯著地改善字符拼寫的分類準(zhǔn)確率和信息傳輸率。其次,基于第一項工作中所得到的三維腦機接口在誘發(fā)ERP方面的優(yōu)越性能,面向意識障礙病人的視覺驚嚇評估,提出一種新的三維腦機接口系統(tǒng)。前期的研究結(jié)果證實了腦機接口技術(shù)可以有效地支持CRS-R量表中聽覺驚嚇,視覺定位以及交流功能的評估。然而,在視覺驚嚇評估方面,傳統(tǒng)的二維腦機接口刺激范式很難模擬出該項評估中手指戳眼睛的動態(tài)效果,目前此方面的研究一直處于空白狀態(tài)。針對此種現(xiàn)狀,本文基于虛擬現(xiàn)實技術(shù)設(shè)計了一個用于輔助意識障礙病人視覺驚嚇評估的三維腦機接口系統(tǒng)。本系統(tǒng)采用4:1比率的標(biāo)準(zhǔn)刺激和偏差刺激構(gòu)成刺激序列,其中標(biāo)準(zhǔn)刺激采用靜態(tài)的手指背景畫面,而偏差刺激采用動態(tài)的手指戳眼睛動畫,誘發(fā)受試者的P300電位。8位意識障礙病人參加了腦機接口評估和CRS-R量表的評估。詳細(xì)的數(shù)據(jù)分析表明了三維腦機接口系統(tǒng)在檢測視覺驚嚇響應(yīng)方面的有效性。再次,考慮到EOG信號具有比EEG信號幅度大、信噪比高、穩(wěn)定性好等優(yōu)勢,提出了一種基于EOG的虛擬現(xiàn)實交互系統(tǒng)。與現(xiàn)有的基于EEG或EOG的虛擬現(xiàn)實交互系統(tǒng)不同,本系統(tǒng)是利用人眼的眨眼反應(yīng)時間與按鍵閃爍之間的同步性來實現(xiàn)目標(biāo)鍵與非目標(biāo)鍵的區(qū)分。使用者可以通過執(zhí)行與目標(biāo)按鍵的閃爍相同步的眨眼來發(fā)出對應(yīng)的控制命令。在本項目中,我們將小型生物電信號放大器、柔性干電極、移動終端以及VR頭盔進(jìn)行集成,充分發(fā)揮EOG信號采集在便攜性方面的優(yōu)勢,實現(xiàn)了基于EOG的移動便攜式虛擬現(xiàn)實應(yīng)用。本系統(tǒng)以室內(nèi)環(huán)境控制仿真作為測試案例,10名健康受試者參與了在線虛擬現(xiàn)實交互實驗。實驗結(jié)果表明,所有的受試者都可以使用本系統(tǒng)高效地完成各項交互任務(wù),系統(tǒng)的多項性能指標(biāo)要優(yōu)于現(xiàn)有的基于EEG或EOG的虛擬現(xiàn)實交互系統(tǒng)。最后,更進(jìn)一步地,綜合考慮EEG和EOG各自的特點,本文提出了一種基于混合腦機接口的虛擬現(xiàn)實交互系統(tǒng)。在前面的工作中,我們提出了一種基于EOG的虛擬現(xiàn)實交互系統(tǒng),該系統(tǒng)獲得了比已有的基于EEG的系統(tǒng)更好的性能指標(biāo)。然而,這種交互系統(tǒng)只能為用戶提供離散的控制命令,在輸出連續(xù)的控制命令方面無能為力。本系統(tǒng)是在此基礎(chǔ)上進(jìn)行改進(jìn),將EOG算法與EEG算法進(jìn)行融合,以眨眼EOG信號來輸出離散的控制命令,以運動想象EEG信號來輸出連續(xù)的控制命令。通過這種方式,可以有效地提升現(xiàn)有的BCI-VR系統(tǒng)交互的功能與性能。此外,在本研究中,我們搭建了一個多通道大屏幕沉浸式BCI-VR平臺,在此平臺上,根據(jù)上述的交互方法,以室外輪椅控制仿真作為測試案例,設(shè)計了一種新的腦機接口輪椅控制范式。5名健康受試者參與了2項在線實驗。實驗結(jié)果證明了該BCI-VR系統(tǒng)的有效性與可靠性。
【學(xué)位授予單位】：華南理工大學(xué)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2019
【分類號】：R318;TP11;TN911.7;TP391.9

【參考文獻(xiàn)】

相關(guān)博士學(xué)位論文 前1條

1 余天佑;多模態(tài)與多自由度腦機接口研究[D];華南理工大學(xué);2013年

，

本文編號：2700441