【摘要】：多模態(tài)腦機(jī)接口(Brain compter interface,BCI)是當(dāng)前腦機(jī)接口的研究重點(diǎn)方向之一。多模態(tài)BCI通過(guò)不同單模態(tài)BCI的組合可以彌補(bǔ)單模態(tài)BCI的一些缺陷,從而能夠從靈活性或效率方面來(lái)提升BCI系統(tǒng)的性能。本文利用兩種不同源的單模態(tài)BCI信號(hào)的融合,實(shí)現(xiàn)了一種新的多模態(tài)BCI系統(tǒng)。所選擇的單模態(tài)信號(hào)分別是運(yùn)動(dòng)想象和運(yùn)動(dòng)起始視覺(jué)誘發(fā)電位,其中運(yùn)動(dòng)想象屬于被試的自發(fā)型信號(hào),而運(yùn)動(dòng)起始視覺(jué)誘發(fā)電位屬于外界誘發(fā)型信號(hào)。自發(fā)型BCI不需要通過(guò)外部刺激只需被試進(jìn)行自主意志的想象就可以完成控制。而對(duì)于誘發(fā)型BCI則需要外部刺激而不需要被試進(jìn)行自主意志的想象。正是利用這兩類BCI范式的信號(hào)機(jī)理的不同,本文將他們進(jìn)行信息融合,讓被試同時(shí)進(jìn)行兩種不同的任務(wù),來(lái)實(shí)現(xiàn)能夠同時(shí)執(zhí)行這兩種單模態(tài)任務(wù)的多模態(tài)BCI系統(tǒng),從而獲得靈活高效的控制。同時(shí),由于運(yùn)動(dòng)起始視覺(jué)誘發(fā)電位BCI的刺激方式較為柔和、不易引起被試的疲勞和不適,所以本文設(shè)計(jì)的多模態(tài)BCI系統(tǒng)在操作感受上具有較為舒適的優(yōu)勢(shì)。然而由于多模態(tài)BCI同樣也面臨著與單模態(tài)BCI所面臨的同樣的如:背景噪聲干擾、腦電信號(hào)平穩(wěn)性等諸多因素的限制,為了進(jìn)一步實(shí)現(xiàn)整個(gè)多模態(tài)BCI系統(tǒng)的性能提升,本論文對(duì)構(gòu)成多模態(tài)系統(tǒng)的單模態(tài)BCI系統(tǒng)的性能分別進(jìn)行優(yōu)化了提升。本文研究的主要內(nèi)容如下:1.將MI(運(yùn)動(dòng)想象)和mVEP(運(yùn)動(dòng)起始視覺(jué)誘發(fā)電位)兩個(gè)單模態(tài)信息進(jìn)行了融合,發(fā)展了一種新的混合BCI系統(tǒng),實(shí)現(xiàn)了更高效的光標(biāo)二維運(yùn)動(dòng)控制。所進(jìn)行的多模態(tài)任務(wù)顯示了本文提出的混合BCI系統(tǒng)可以同時(shí)誘發(fā)出所期望的MI和mVEP信號(hào)特征,兩者與單模態(tài)BCI任務(wù)中所引發(fā)的特征非常接近。此外,在線二維運(yùn)動(dòng)控制實(shí)驗(yàn)的結(jié)果也顯示出,所提出的混合BCI系統(tǒng)可以提供更有效和自然的控制命令。這些結(jié)果證實(shí)了我們所提出的混合BCI系統(tǒng)的可行性,并且相比單模態(tài)BCI系統(tǒng)可以實(shí)現(xiàn)更為高效的二維運(yùn)動(dòng)控制。2.針對(duì)組成多模態(tài)系統(tǒng)中的mVEP特征的有效提取,將深度學(xué)習(xí)方法與壓縮感知方法進(jìn)行了結(jié)合,提出了一種新的特征提取方法,以便挖掘更有差別性的mVEP特征從而提高mVEP BCI的性能。我們利用實(shí)驗(yàn)室真實(shí)數(shù)據(jù)對(duì)該方法與傳統(tǒng)的基于幅度的mVEP特征提取方法進(jìn)行了對(duì)比�？梢则�(yàn)證深度學(xué)習(xí)和壓縮感知結(jié)合的特征提取方法能夠更有效地提取mVEP特征,從而顯著的提升相應(yīng)識(shí)別mVEP腦機(jī)接口系統(tǒng)的識(shí)別準(zhǔn)確率。3.為了實(shí)現(xiàn)對(duì)組成多模態(tài)系統(tǒng)中的mVEP模態(tài)信息進(jìn)行有效的在線更新學(xué)習(xí),提出了一種基于mVEP信號(hào)BCI自適應(yīng)校準(zhǔn)框架。該框架的核心是將支持向量機(jī)(SVM)和模糊C均值聚類(fCM)進(jìn)行多模態(tài)信息融合,挖掘出新樣本里面的可靠信息,以進(jìn)行自適應(yīng)地更新訓(xùn)練集,從而能夠有效地跟蹤被試變化的狀態(tài)。我們利用實(shí)驗(yàn)室真實(shí)數(shù)據(jù)對(duì)該自適應(yīng)校準(zhǔn)框架進(jìn)行了驗(yàn)證,相比傳統(tǒng)的CSP方法和單種方法的校正方法基于SVM與fCM進(jìn)行組合的自適應(yīng)校準(zhǔn)框架都有最好的分類效果,這些結(jié)果體現(xiàn)出我們提出的自適應(yīng)校準(zhǔn)框架的有效性和高效性。4.針對(duì)組成多模態(tài)系統(tǒng)中的MI特征的有效提取,采用半監(jiān)督的思想對(duì)CDBN特征提取方法進(jìn)行改進(jìn),提出了一個(gè)用于左、右手MI任務(wù)分類問(wèn)題的新的特征提取方法SSL-CDBN。在該方法中,我們?cè)谠械臒o(wú)監(jiān)督訓(xùn)練中補(bǔ)充了樣本的標(biāo)簽信息,但是并非直接利用標(biāo)簽,而是利用標(biāo)簽樣本的聚類信息來(lái)避免對(duì)標(biāo)簽信息的過(guò)分依賴,從而避免了因此造成的網(wǎng)絡(luò)泛化能力受限。我們利用實(shí)驗(yàn)室真實(shí)數(shù)據(jù)評(píng)估了所提出的SSL-CDBN方法用在跨被試分類問(wèn)題中的潛力,結(jié)果表明在無(wú)訓(xùn)練情況下,SSL-CDBN方法得到的平均準(zhǔn)確率分別比CSP和CDBN方法提高了4.1%和3.0%,又從分組被試數(shù)據(jù)的驗(yàn)證中可以看到SSL-CDBN方法對(duì)于較差BCI表現(xiàn)組的被試有更好的提升效果,這在腦機(jī)接口的應(yīng)用中有潛在的價(jià)值。這些結(jié)果都表明SSL-CDBN方法能夠基于已有被試的信息,有效的提取到新被試MI數(shù)據(jù)中具有兩類差異性結(jié)構(gòu)的特征,能夠有效的提升MI-BCI的性能,顯著降低被試進(jìn)行MI腦機(jī)接口的訓(xùn)練負(fù)擔(dān)。綜上所述,本文提出、實(shí)現(xiàn)了一套基于MI和mVEP結(jié)合的混合BCI系統(tǒng)。然后從組成多模態(tài)系統(tǒng)的各單模態(tài)BCI研究入手,改進(jìn)并提出了對(duì)于這些單模態(tài)BCI更為穩(wěn)定和有效的特征提取與識(shí)別方法,從而為進(jìn)一步提高多模態(tài)腦機(jī)接口的性能提供了必要的技術(shù)基礎(chǔ)。
【學(xué)位授予單位】：電子科技大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2018
【分類號(hào)】：TN911.7;R318.04
【圖文】：

采集部分、信號(hào)分析處理部分和刺激與反饋部分。其中信號(hào)分析處理部分又包含特征提取和模式分類兩個(gè)子部分。其示意圖如圖 1-1 所示。第一部分用來(lái)記錄大腦神經(jīng)活動(dòng)的信號(hào)，這是第二部分進(jìn)行的基礎(chǔ)。目前各研究機(jī)構(gòu)通常采用腦磁圖(Magnetoencephalography ， MEG)[7]、 功 能 磁 共 振 (functional Near-InfrareSpectroscopy，fNIRS)[8]和腦電放大器[9]等設(shè)備來(lái)采集記錄腦信號(hào)。對(duì)于一個(gè)具有正常生命體征的個(gè)體來(lái)說(shuō)，即使處于沉睡中，其大腦也是處于活動(dòng)中的[10]，只是有強(qiáng)弱之分，而被試的意圖便是隱藏在這大量的自發(fā)腦電活動(dòng)信號(hào)當(dāng)中。特征提取部分的功能便是從采集到的腦電信號(hào)中提取出能夠有效表達(dá)被試意圖的特征信號(hào)。而后進(jìn)入模式分類過(guò)程，以對(duì)特征信后進(jìn)行處理，從而識(shí)別出被試的真正意圖。而刺激與反饋模塊主要存在于通過(guò)外部刺激來(lái)誘發(fā)特定腦電信號(hào)的 BCI 系統(tǒng)如聽(tīng)覺(jué)、視覺(jué)刺激[11]等。這部分的主要功能在于將上一部分模式分類的識(shí)別結(jié)果及時(shí)反饋給被試，以便被試在大腦中形成一定的思維模式。而與 BCI 系統(tǒng)聯(lián)接的可以是計(jì)算機(jī)本身也可以是其他諸如輪椅等外部設(shè)備，這樣 BCI 系統(tǒng)在四肢活動(dòng)等受限的殘疾人士和外界之間構(gòu)建了一個(gè)溝通和交流的渠道，在一定程度上便利和豐富了這類人群的社會(huì)生活。

作為 mVEP 信號(hào)主要識(shí)別特征的 N2 成分(常見(jiàn)于 160 至 200ms 范要與頂葉、顳葉和枕葉這些腦區(qū)的神經(jīng)活動(dòng)有關(guān)，這些體現(xiàn)了大腦對(duì)于的整合與加工的機(jī)制[72]。而左腦半球呈現(xiàn)的 N2 的幅度與右腦半球呈現(xiàn)的幅度，也存在著很大不同。文獻(xiàn)[73]發(fā)現(xiàn)，在所有參與實(shí)驗(yàn)的被試中，大的參與者表現(xiàn)出左腦半球呈現(xiàn)出更高的 N2 幅度特征，而這樣的一個(gè)差異并非源于參與者習(xí)慣使用右手還是習(xí)慣使用左手。相比 P1 和 N2，P2 成時(shí)間稍微晚些，大約在 240ms 左右，主要位于頂區(qū)至中央?yún)^(qū)之間。研究度和來(lái)自外界的視覺(jué)刺激所具有的復(fù)雜性有一定的正比關(guān)系[71]。對(duì)于 mVEP 的誘發(fā)方式來(lái)說(shuō)，如 1.2.6 節(jié)所述，其既不需要像 SSVEP 一爍刺激的方式，也不需要像 P300 那樣對(duì)刺激呈現(xiàn)方式的要求，而僅采用速啟動(dòng)這種柔和的刺激方式便可以實(shí)現(xiàn)，這極大的提高了參與者在實(shí)驗(yàn)觀感受的舒適度，也大大降低了誘發(fā)癲癇等疾病的概率。根據(jù)定義可知，mVEP 信號(hào)可以由任意的運(yùn)動(dòng)快速啟動(dòng)方式實(shí)現(xiàn)。但是研同的刺激方式所產(chǎn)生的信號(hào)特征是不同的[74]，現(xiàn)將常見(jiàn)的 4 種誘發(fā)方式：

圖 1-3 實(shí)驗(yàn)中的 mVEP 刺激界面示意圖-3 為實(shí)驗(yàn)過(guò)程中所采用的 mVEP 信號(hào)的刺激界面。從中可以看出，3含一條向左移動(dòng)的紅色線條，而移動(dòng)的時(shí)間被設(shè)定為 140ms。參與者注視對(duì)應(yīng)的滑動(dòng)框，當(dāng)紅色線條出現(xiàn)之時(shí)，參與者對(duì)應(yīng)部位的電極應(yīng)的腦電信號(hào)。，對(duì)于 mVEP-BCI 的相關(guān)研究成果還不是很多，最早由 Guo 團(tuán)隊(duì)于 mVEP-BCI 系統(tǒng)[75]，他們?cè)O(shè)計(jì)的刺激范式能夠誘發(fā)出穩(wěn)定的 mVEP hang 等提出了一種利用 mVEP 三個(gè)主要成分的幅度建立的動(dòng)態(tài)疊加EP-BCI 系統(tǒng)[76]，其能夠有效提升 mVEP-BCI 系統(tǒng)的信息傳輸率。腦機(jī)接口研究現(xiàn)狀來(lái)，混合 BCI(hybrid-BCI)受到越來(lái)越多的關(guān)注，混合 BCI 又稱多ti-modal-BCI)是由兩種或兩種以上的單模態(tài) BCI 系統(tǒng)組合而成。相比多模態(tài) BCI 具有明顯優(yōu)勢(shì)。單模態(tài) BCI 在不同程度上都存在一些不

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 何俊;劉躍;何忠文;多模態(tài)情感識(shí)別研究進(jìn)展[J];計(jì)算機(jī)應(yīng)用研究;2018年11期

2 湯波;王云;姚道武;;基于廣告語(yǔ)言的多模態(tài)表現(xiàn)研究[J];皖西學(xué)院學(xué)報(bào);2018年03期

3 梅勇;申云化;;大學(xué)英語(yǔ)教師多模態(tài)運(yùn)用調(diào)查研究——以武漢地區(qū)高校為例[J];外國(guó)語(yǔ)文研究;2017年05期

4 翁成顏;;淺析多模態(tài)視角下中學(xué)翻轉(zhuǎn)課堂教學(xué)模式[J];海外英語(yǔ);2017年22期

5 郭婷;;微傳播中多模態(tài)語(yǔ)篇的圖文意義共建研究[J];海外英語(yǔ);2017年24期

6 何少嫻;張芳;毛浩然;;多模態(tài)研究的內(nèi)涵外延、方法與視角[J];閩江學(xué)院學(xué)報(bào);2017年06期

7 劉欣;徐邵陽(yáng);劉蘇玲;翟子秋;;中英廣告的多模態(tài)隱喻對(duì)比研究[J];現(xiàn)代交際;2018年02期

8 金黛萊;關(guān)承惠;;多模態(tài)視角下民族大學(xué)�；盏囊饬x解讀[J];聊城大學(xué)學(xué)報(bào)(社會(huì)科學(xué)版);2018年01期

9 毛現(xiàn)樁;;多模態(tài)符號(hào)學(xué)理論下多模態(tài)意義建構(gòu)中模態(tài)間的并協(xié)與互補(bǔ)——一個(gè)大學(xué)�；�?qǐng)D案的視覺(jué)語(yǔ)法分析[J];科技風(fēng);2016年20期

10 王榮斌;薛耀琴;;大學(xué)英語(yǔ)寫(xiě)作教學(xué)中多模態(tài)評(píng)價(jià)能力的培養(yǎng)研究[J];內(nèi)蒙古農(nóng)業(yè)大學(xué)學(xué)報(bào)(社會(huì)科學(xué)版);2016年06期

相關(guān)會(huì)議論文 前10條

1 唐淑華;;文學(xué)語(yǔ)篇的語(yǔ)言學(xué)研究視角:多模態(tài)認(rèn)知詩(shī)學(xué)——《多模態(tài)、認(rèn)知和實(shí)驗(yàn)文學(xué)》評(píng)介[A];認(rèn)知詩(shī)學(xué)2014年第1輯[C];2014年

2 杜玲莉;王開(kāi)建;紀(jì)再祥;;基于多模態(tài)話語(yǔ)理論的大學(xué)英語(yǔ)教學(xué)改革[A];新教育時(shí)代（2015年10月 總第1輯）[C];2015年

3 王琳;;淺析多模態(tài)話語(yǔ)分析理論在初中英語(yǔ)寫(xiě)作教學(xué)中的應(yīng)用[A];第二屆世紀(jì)之星創(chuàng)新教育論壇論文集[C];2015年

4 張霄軍;;多模態(tài)語(yǔ)料庫(kù):搶救瀕危語(yǔ)言的有效途徑[A];民族語(yǔ)言文字信息技術(shù)研究——第十一屆全國(guó)民族語(yǔ)言文字信息學(xué)術(shù)研討會(huì)論文集[C];2007年

5 張瑩;;大學(xué)英語(yǔ)課堂的多模態(tài)教學(xué)研究[A];“決策論壇——基于公共管理學(xué)視角的決策研討會(huì)”論文集（下）[C];2015年

6 夏凡;王宏;;多模態(tài)情感數(shù)據(jù)標(biāo)注方法與實(shí)現(xiàn)[A];第一屆建立和諧人機(jī)環(huán)境聯(lián)合學(xué)術(shù)會(huì)議（HHME2005）論文集[C];2005年

7 張旭;郭晨;孫建波;;自適應(yīng)多模態(tài)克隆選擇算法[A];2007年中國(guó)智能自動(dòng)化會(huì)議論文集[C];2007年

8 趙廣州;;從多模態(tài)話語(yǔ)理論角度來(lái)看交際教學(xué)法中的角色扮演[A];福建省外國(guó)語(yǔ)文學(xué)會(huì)2010年年會(huì)論文集[C];2010年

9 霍暢;侯婷婷;;基于大學(xué)英語(yǔ)翻轉(zhuǎn)課堂的多模態(tài)教學(xué)研究[A];外語(yǔ)教育與翻譯發(fā)展創(chuàng)新研究(第六卷）[C];2017年

10 黨軍;;雙語(yǔ)詞典的多模態(tài)化——用戶·詞典·編者[A];福建省外國(guó)語(yǔ)文學(xué)會(huì)2010年年會(huì)論文集[C];2010年

相關(guān)重要報(bào)紙文章 前10條

1 蘇州大學(xué)跨文化研究中心、天津職業(yè)技術(shù)師范大學(xué)非盟研究中心 朱玲;多模態(tài)：翻譯研究的新視角[N];中國(guó)社會(huì)科學(xué)報(bào);2017年

2 康建朝 中國(guó)教育科學(xué)研究院助理研究員 中芬教育創(chuàng)新研究中心主任 李棟 芬中教育協(xié)會(huì)執(zhí)行副主席兼秘書(shū)長(zhǎng);從中芬對(duì)比視角看芬蘭核心素養(yǎng)[N];中國(guó)教育報(bào);2017年

3 浙江萬(wàn)里學(xué)院外語(yǔ)部 王中祥;多模態(tài)研究：認(rèn)知語(yǔ)言學(xué)的新方法[N];中國(guó)社會(huì)科學(xué)報(bào);2017年

4 記者 戴麗昕;共融機(jī)器人多模態(tài)轉(zhuǎn)變成為發(fā)展趨勢(shì)[N];上�？萍紙�(bào);2017年

5 西北師范大學(xué)外國(guó)語(yǔ)學(xué)院 呂文澎 蘭州商學(xué)院隴橋?qū)W院外國(guó)語(yǔ)言文學(xué)系 韓世霞;多模態(tài)寫(xiě)作的特征與趨勢(shì)[N];中國(guó)社會(huì)科學(xué)報(bào);2016年

6 同濟(jì)大學(xué)外國(guó)語(yǔ)學(xué)院 黃立鶴;多模態(tài)語(yǔ)言研究發(fā)展前景廣闊[N];中國(guó)社會(huì)科學(xué)報(bào);2016年

7 記者 張建列 通訊員 馮春;深圳先進(jìn)院研制出新一代多模態(tài)顯微系統(tǒng)[N];廣東科技報(bào);2016年

8 浙江大學(xué)教授 胡曉云　本報(bào)記者 孫魯威;堅(jiān)持多模態(tài)產(chǎn)業(yè)模式[N];農(nóng)民日?qǐng)?bào);2011年

9 記者 李玉;信息技術(shù)深化多模態(tài)話語(yǔ)研究[N];中國(guó)社會(huì)科學(xué)報(bào);2017年

10 記者 劉垠;在分子水平上認(rèn)識(shí)疾病[N];大眾科技報(bào);2009年

相關(guān)博士學(xué)位論文 前10條

1 屈雯;基于多模態(tài)內(nèi)容分析的多視角視頻推薦技術(shù)研究[D];東北大學(xué);2015年

2 馬騰;基于mVEP和MI多模態(tài)腦機(jī)接口的關(guān)鍵技術(shù)研究[D];電子科技大學(xué);2018年

3 張靈均;多模態(tài)數(shù)據(jù)分類的模糊粗糙方法研究[D];天津大學(xué);2017年

4 張淑美;基于數(shù)據(jù)驅(qū)動(dòng)的復(fù)雜多模態(tài)過(guò)程模態(tài)識(shí)別及過(guò)程監(jiān)測(cè)研究[D];東北大學(xué);2016年

5 曾憲武;大跨度橋梁多模態(tài)耦合顫抖振及其控制研究[D];華南理工大學(xué);2006年

6 朱玲;昆劇翻譯的多模態(tài)視角探索[D];蘇州大學(xué);2015年

7 聶為之;多模態(tài)媒體數(shù)據(jù)分析關(guān)鍵技術(shù)研究[D];天津大學(xué);2014年

8 李寶磊;多元優(yōu)化過(guò)程記憶算法及動(dòng)靜條件下多模態(tài)尋優(yōu)研究[D];云南大學(xué);2015年

9 王雷全;基于圖模型的多模態(tài)社會(huì)媒體分析[D];北京郵電大學(xué);2016年

10 程波;基于遷移學(xué)習(xí)的多模態(tài)腦圖像分析及其應(yīng)用研究[D];南京航空航天大學(xué);2015年

相關(guān)碩士學(xué)位論文 前10條

1 黃秀;基于多模態(tài)社交媒體數(shù)據(jù)源的用戶畫(huà)像構(gòu)建的研究[D];電子科技大學(xué);2018年

2 梅素萍;多模態(tài)理論在高中英語(yǔ)詞匯教學(xué)中的實(shí)驗(yàn)研究[D];河北師范大學(xué);2018年

3 朱美玲;概念整合理論視角下《野獸國(guó)》的多模態(tài)隱喻意義建構(gòu)[D];陜西師范大學(xué);2017年

4 吳米花;集體教學(xué)活動(dòng)中學(xué)前名師多模態(tài)話語(yǔ)支架功能的個(gè)案研究[D];華中師范大學(xué);2017年

5 謝亮;小生境粒子群算法在多模態(tài)及動(dòng)態(tài)問(wèn)題中的研究[D];中原工學(xué)院;2018年

6 崔煥喜;多模態(tài)MRI結(jié)合超聲在腦膠質(zhì)瘤術(shù)中的應(yīng)用[D];新疆醫(yī)科大學(xué);2017年

7 張寅豐;基于體模的64排螺旋CT多模態(tài)掃描對(duì)顱腦病灶及邊緣征象的解剖學(xué)研究[D];河北醫(yī)科大學(xué);2017年

8 韓晶;政治漫畫(huà)中多模態(tài)隱喻認(rèn)知研究：概念整合視角[D];內(nèi)蒙古大學(xué);2017年

9 賽小琴;多模態(tài)視角下中英反吸煙公益廣告人際意義對(duì)比研究[D];新疆大學(xué);2017年

10 馬嵩;多模態(tài)理論在高中英語(yǔ)詞匯教學(xué)中的應(yīng)用研究[D];沈陽(yáng)師范大學(xué);2017年

本文編號(hào)：2747650