【摘要】：近年來,通過解碼人體生物電信號進(jìn)而賦予機(jī)器理解人類意圖的能力,已成為人機(jī)交互領(lǐng)域研究的熱點方向。而其中肌電信號具有信噪比高、易采集、模式豐富等特點使得基于其的人機(jī)交互受到廣泛關(guān)注,并己在基于手勢、口型識別等人機(jī)交互中得到應(yīng)用。本文研究基于面部動作肌電信號的人機(jī)交互技術(shù)。由于不同面部動作(如皺眉、眨眼、咬牙等)需要相應(yīng)的肌肉群不同程度參與,從而導(dǎo)致面部動作肌電信號在位置、幅度、頻率等方面存在差異。因此,選擇合適的面部動作,并利用信號處理和機(jī)器學(xué)習(xí)技術(shù)準(zhǔn)確檢測和識別其產(chǎn)生的肌電模式就可以實現(xiàn)對不同動作的精準(zhǔn)編碼,從而作為對外交互的指令進(jìn)行輸出,實現(xiàn)不需要雙手和語音的人機(jī)交互。本文側(cè)重于對具有共性肌電模式的多種面部動作進(jìn)行準(zhǔn)確、實時的識別算法研究。主要工作有:1)基于前額單通道的面部動作肌電模式識別算法研究。通過實驗分析選擇6種具有跨被試、跨試次共性肌電模式的面部動作。提出短時能量信號分割方法,提取多種時域特征并結(jié)合隨機(jī)森林分類的識別算法。對10名被試的6種面部動作肌電模式進(jìn)行識別,達(dá)到92.05%的平均正確率。該方法在跨被試遷移學(xué)習(xí)數(shù)據(jù)增強(qiáng)情況下能進(jìn)一步提高識別準(zhǔn)確率(94.17%);在不需要自身訓(xùn)練數(shù)據(jù)而完全采用他人數(shù)據(jù)進(jìn)行訓(xùn)練的情況下達(dá)到了 84.25%的平均識別準(zhǔn)確度。2)基于頭部多通道的面部動作肌電模式識別算法研究。提出了一種融合通道內(nèi)時域特征、通道間時域特征及相關(guān)性特征的實時特征提取方法并結(jié)合隨機(jī)森林分類算法的面部動作識別算法,對5名被試多達(dá)16種面部動作進(jìn)行了識別,達(dá)到96.8%的平均識別正確率。通過對5種眼部動作和6種嘴部動作的指令組合理論上可將交互指令擴(kuò)展至60種,但需要較大訓(xùn)練成本。本文中,3位用戶通過訓(xùn)練測試了 30種指令組合,達(dá)到了 83.9%的平均準(zhǔn)確率。另外為了去除或減少頭部運動干擾導(dǎo)致的誤觸發(fā)和識別錯誤,引入了陀螺儀傳感器跟蹤頭部運動姿態(tài)并反饋到識別算法中,增加了系統(tǒng)的魯棒性。3)基于單通道和多通道面部動作肌電模式識別技術(shù)的實時人機(jī)交互測試系統(tǒng)開發(fā)。開發(fā)了可以應(yīng)用到不同場景的實時面部動作人機(jī)交互測試系統(tǒng),包括對車輛駕駛時的手機(jī)控制、機(jī)械臂運動控制、多旋翼無人機(jī)飛行控制以及打字系統(tǒng)。測試結(jié)果證明了系統(tǒng)的有效性和實用性。
【圖文】：

面部肌電信號（ｆｆｉＭＧ）是通過檢測和放大面部肌肉纖維收縮時產(chǎn)生的電脈逡逑沖得到的。ｆＥＭＧ主要集中在面部兩個主要肌肉群，與皺眉相關(guān)的皺眉肌肉群以逡逑及與微笑相關(guān)的顴骨肌肉群［２Ｑ，，２１１，如下圖１．１所示。眨眼、挑眉、咬牙等面部動逡逑作都需要相應(yīng)的肌肉群參與從而導(dǎo)致面部肌電信號發(fā)生明顯變化，而不同面部動逡逑作產(chǎn)生的肌電信號模式變化在位置、幅度、頻率等方面都會存在差異。選擇合適逡逑的面部動作，準(zhǔn)確檢測和識別這些差異就能實現(xiàn)對不同動作的精準(zhǔn)判斷，從而作逡逑為對外交互的指令進(jìn)行輸出，實現(xiàn)不需雙手和語音的人機(jī)交互。ＮａｋａｙａｍａｔＵ等逡逑人提出了一種基于微笑動作的實時超聲交互系統(tǒng)。當(dāng)用戶微笑時，播放聲音。他逡逑們對面部動作產(chǎn)生的面部肌電信號進(jìn)行了研宄，設(shè)計了算法能夠識別微笑產(chǎn)生的逡逑肌電信號，并將該信號作為控制指令來控制超聲系統(tǒng)發(fā)出音樂。逡逑３逡逑

圖２．２基于Ｍｉｎｄｗａｖｅ的信號采集軟件逡逑單通道相比，多通道的使用可以使我們獲取更為豐富的面部動作信息，更為復(fù)雜的人機(jī)交互任務(wù)。我們選擇Ｅｍｏｔｉｖ邋Ｅｐｏｃ作為多通道面部動作的采集設(shè)備，如下圖２．３邋（ａ）所示。選擇它的理由是其通道豐富、信號用方便并便于攜帶。它可以采集頭部的生物電信號（包括腦電信號，�。�，并且?guī)в型勇輧x可以檢測頭部運動姿態(tài)。ＥｍｏｔｉｖＥｐｏｃ共有１６個電有１４個采集電極，其余的是參考電極和接地電極），電極是濕電極，將電極滴上生理鹽水。電極放置采用國際標(biāo)準(zhǔn)１０－２０系統(tǒng)放置標(biāo)準(zhǔn)，如２．３邋（ｂ）所示。每個采集電極的位置及名稱如表２．１所示。其中，ＡＦ３同一腦區(qū)（前額葉）對稱位置的一對通道名，其它左右對稱的通道對也是的。ＥｍｏｔｉｖＥｐｏｃ通過藍(lán)牙方式來傳輸數(shù)據(jù)到其他終端，采樣率達(dá)。逡逑９逡逑
【學(xué)位授予單位】：杭州電子科技大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2019
【分類號】：TN911.7;TP11

【參考文獻(xiàn)】

相關(guān)期刊論文 前1條

1 龔杰民,王獻(xiàn)青;人機(jī)交互技術(shù)的進(jìn)展與發(fā)展趨向[J];西安電子科技大學(xué)學(xué)報;1998年06期

相關(guān)博士學(xué)位論文 前1條

1 趙章琰;表面肌電信號檢測和處理中若干關(guān)鍵技術(shù)研究[D];中國科學(xué)技術(shù)大學(xué);2010年

相關(guān)碩士學(xué)位論文 前2條

1 姜羽;基于眼動與運動想象的人機(jī)交互方法研究[D];東北師范大學(xué);2018年

2 李陽丹;基于生物電控制的人機(jī)交互技術(shù)研究[D];杭州電子科技大學(xué);2018年

本文編號：2666394