動(dòng)作意圖理解的雙模態(tài)分析及分類研究
發(fā)布時(shí)間:2021-01-01 06:28
動(dòng)作意圖理解是指人在觀察他人動(dòng)作時(shí),自發(fā)地理解動(dòng)作所包含的意圖的一種行為,這種行為對(duì)人類心智、語(yǔ)言和社會(huì)化的發(fā)展都具有重要的意義。目前針對(duì)動(dòng)作意圖的理解的研究大多采用單模態(tài)的腦成像技術(shù),在測(cè)量的效果和時(shí)空分辨率上都存在一定的缺陷。而本研究采用腦電(electroencephalography, EEG)和功能近紅外(functional near-infrared spectroscopy, fNIRS)結(jié)合的雙模態(tài)腦成像技術(shù),可以同步測(cè)量大腦活動(dòng)的電位信息和血氧變化信息,實(shí)現(xiàn)動(dòng)作意圖理解神經(jīng)機(jī)制的多信息、多層面研究。本研究選擇了三種手與杯子進(jìn)行接觸的圖片來(lái)表示喝水、移動(dòng)和不合理的動(dòng)作意圖;使用EEG-fNIRS雙模態(tài)設(shè)備測(cè)量被試在觀察這三種圖片時(shí)的大腦活動(dòng);并通過(guò)溯源分析、幅值差異分析和腦網(wǎng)絡(luò)分析探究動(dòng)作意圖理解的神經(jīng)機(jī)制;最后結(jié)合差異分析的結(jié)果采用支持向量機(jī)(support vector machine, SVM)對(duì)兩種不同的動(dòng)作意圖進(jìn)行分類。本研究通過(guò)溯源分析對(duì)動(dòng)作意圖理解激活的腦區(qū)進(jìn)行定位,EEG溯源分析的結(jié)果顯示:左側(cè)腦區(qū)的顳頂葉在100 ms-160 ms之間激活最強(qiáng),右側(cè)...
【文章來(lái)源】:東南大學(xué)江蘇省 211工程院校 985工程院校 教育部直屬院校
【文章頁(yè)數(shù)】:71 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
圖1-1本研究的研究思路及技術(shù)路線??為了準(zhǔn)確、直觀地反映大腦在理解動(dòng)作意圖時(shí)的激活位置和激活強(qiáng)度,同時(shí)為實(shí)驗(yàn)??結(jié)論提供可靠的理論支持,本研究對(duì)EEG和fNIRS信號(hào)分別進(jìn)行了溯源分析?
圖2-1實(shí)驗(yàn)環(huán)境??2.4實(shí)驗(yàn)范式??實(shí)驗(yàn)要求被試觀察顯示屏中出現(xiàn)的手與杯子接觸的圖片,并根據(jù)如圖2-2中所示H??種不同的手勢(shì)判斷該動(dòng)作的意圖,其中1表示拿杯子喝水,2表示移動(dòng)杯子,3表示不??合理的意圖。??物例??一一^?MM??方]轉(zhuǎn)公?.J??圖2-2刺激材料(1;喝水意圖;2:移動(dòng)意圖;3;不合理意圖)??為了實(shí)現(xiàn)EEG-fNIRS的雙模態(tài)測(cè)量,我們?cè)O(shè)計(jì)如圖2-3所示的實(shí)驗(yàn)范式;??(1)實(shí)驗(yàn)開(kāi)始的前6秒是休息階段,屏幕呈現(xiàn)黑屏和一個(gè)白色十字。被試注視十??10??
??圖2-1實(shí)驗(yàn)環(huán)境??2.4實(shí)驗(yàn)范式??實(shí)驗(yàn)要求被試觀察顯示屏中出現(xiàn)的手與杯子接觸的圖片,并根據(jù)如圖2-2中所示H??種不同的手勢(shì)判斷該動(dòng)作的意圖,其中1表示拿杯子喝水,2表示移動(dòng)杯子,3表示不??合理的意圖。??物例??一一^?MM??方]轉(zhuǎn)公?.J??圖2-2刺激材料(1;喝水意圖;2:移動(dòng)意圖;3;不合理意圖)??為了實(shí)現(xiàn)EEG-fNIRS的雙模態(tài)測(cè)量,我們?cè)O(shè)計(jì)如圖2-3所示的實(shí)驗(yàn)范式;??(1)實(shí)驗(yàn)開(kāi)始的前6秒是休息階段,屏幕呈現(xiàn)黑屏和一個(gè)白色十字。被試注視十??10??
【參考文獻(xiàn)】:
期刊論文
[1]復(fù)雜腦網(wǎng)絡(luò)研究:現(xiàn)狀與挑戰(zhàn)[J]. 張方風(fēng),鄭志剛. 上海理工大學(xué)學(xué)報(bào). 2012(02)
[2]復(fù)雜腦網(wǎng)絡(luò)研究進(jìn)展——結(jié)構(gòu)、功能、計(jì)算與應(yīng)用[J]. 孫俊峰,洪祥飛,童善保. 復(fù)雜系統(tǒng)與復(fù)雜性科學(xué). 2010(04)
[3]基于改進(jìn)CSP算法的運(yùn)動(dòng)想象腦電信號(hào)識(shí)別方法[J]. 李明愛(ài),劉凈瑜,郝冬梅. 中國(guó)生物醫(yī)學(xué)工程學(xué)報(bào). 2009(02)
[4]EEG/fMRI融合分析綜述:腦模型、算法和應(yīng)用[J]. 何繼軍,沈輝,胡德文. 計(jì)算機(jī)工程與科學(xué). 2007(12)
本文編號(hào):2951095
【文章來(lái)源】:東南大學(xué)江蘇省 211工程院校 985工程院校 教育部直屬院校
【文章頁(yè)數(shù)】:71 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
圖1-1本研究的研究思路及技術(shù)路線??為了準(zhǔn)確、直觀地反映大腦在理解動(dòng)作意圖時(shí)的激活位置和激活強(qiáng)度,同時(shí)為實(shí)驗(yàn)??結(jié)論提供可靠的理論支持,本研究對(duì)EEG和fNIRS信號(hào)分別進(jìn)行了溯源分析?
圖2-1實(shí)驗(yàn)環(huán)境??2.4實(shí)驗(yàn)范式??實(shí)驗(yàn)要求被試觀察顯示屏中出現(xiàn)的手與杯子接觸的圖片,并根據(jù)如圖2-2中所示H??種不同的手勢(shì)判斷該動(dòng)作的意圖,其中1表示拿杯子喝水,2表示移動(dòng)杯子,3表示不??合理的意圖。??物例??一一^?MM??方]轉(zhuǎn)公?.J??圖2-2刺激材料(1;喝水意圖;2:移動(dòng)意圖;3;不合理意圖)??為了實(shí)現(xiàn)EEG-fNIRS的雙模態(tài)測(cè)量,我們?cè)O(shè)計(jì)如圖2-3所示的實(shí)驗(yàn)范式;??(1)實(shí)驗(yàn)開(kāi)始的前6秒是休息階段,屏幕呈現(xiàn)黑屏和一個(gè)白色十字。被試注視十??10??
??圖2-1實(shí)驗(yàn)環(huán)境??2.4實(shí)驗(yàn)范式??實(shí)驗(yàn)要求被試觀察顯示屏中出現(xiàn)的手與杯子接觸的圖片,并根據(jù)如圖2-2中所示H??種不同的手勢(shì)判斷該動(dòng)作的意圖,其中1表示拿杯子喝水,2表示移動(dòng)杯子,3表示不??合理的意圖。??物例??一一^?MM??方]轉(zhuǎn)公?.J??圖2-2刺激材料(1;喝水意圖;2:移動(dòng)意圖;3;不合理意圖)??為了實(shí)現(xiàn)EEG-fNIRS的雙模態(tài)測(cè)量,我們?cè)O(shè)計(jì)如圖2-3所示的實(shí)驗(yàn)范式;??(1)實(shí)驗(yàn)開(kāi)始的前6秒是休息階段,屏幕呈現(xiàn)黑屏和一個(gè)白色十字。被試注視十??10??
【參考文獻(xiàn)】:
期刊論文
[1]復(fù)雜腦網(wǎng)絡(luò)研究:現(xiàn)狀與挑戰(zhàn)[J]. 張方風(fēng),鄭志剛. 上海理工大學(xué)學(xué)報(bào). 2012(02)
[2]復(fù)雜腦網(wǎng)絡(luò)研究進(jìn)展——結(jié)構(gòu)、功能、計(jì)算與應(yīng)用[J]. 孫俊峰,洪祥飛,童善保. 復(fù)雜系統(tǒng)與復(fù)雜性科學(xué). 2010(04)
[3]基于改進(jìn)CSP算法的運(yùn)動(dòng)想象腦電信號(hào)識(shí)別方法[J]. 李明愛(ài),劉凈瑜,郝冬梅. 中國(guó)生物醫(yī)學(xué)工程學(xué)報(bào). 2009(02)
[4]EEG/fMRI融合分析綜述:腦模型、算法和應(yīng)用[J]. 何繼軍,沈輝,胡德文. 計(jì)算機(jī)工程與科學(xué). 2007(12)
本文編號(hào):2951095
本文鏈接:http://sikaile.net/xiyixuelunwen/2951095.html
最近更新
教材專著