本文關(guān)鍵詞：三維點與二維圖像協(xié)同的面部表情識別方法研究

  更多相關(guān)文章： 表情識別 紋理特征 3D幾何向量 遷移學(xué)習(xí)

【摘要】：面部表情在人與人之間的交流上有重要的作用,人臉表情相對文字、語音等媒介在表達(dá)人的情感、情緒方面具有更加直觀、準(zhǔn)確的優(yōu)勢。將自然人這種情感交互模式用于如虛擬遠(yuǎn)程教學(xué)、虛擬游戲、疲勞駕駛檢測等人機(jī)交互領(lǐng)域,有利于提升人機(jī)交互的自然性。目前面部表情識別主要采用攝像設(shè)備采集的二維圖像作為輸入,通過二維圖像樣本訓(xùn)練表情識別模型,從而實現(xiàn)交互環(huán)境下基于面部圖像的表情認(rèn)知。但研究證明包括深度信息的三維表情信息在表情理解中也占有重要的地位,因而基于三維信息的表情識別也逐漸成為一種主要方法。為探討二維圖像和三維點坐標(biāo)信息融合對表情識別的提升作用,本文研究了基于特征融合表情識別效果。然而實際應(yīng)用環(huán)境,存在二維表情圖像易獲取,而三維表情信息需要特定的采集設(shè)備,數(shù)據(jù)采集相對困難的問題。本文研究改進(jìn)了深度超限學(xué)習(xí)機(jī)模型,以面部捕捉儀獲取的三維表情數(shù)據(jù)為基礎(chǔ),二維表情圖像數(shù)據(jù)做局部參數(shù)修正,利用知識遷移建立了3D和2D信息協(xié)同的表情識別模型,將3D面部表情識別模型遷移到了針對2D面部表情數(shù)據(jù)的識別中。本文主要的研究工作和創(chuàng)新點如下:1.構(gòu)建了基于面部標(biāo)記點坐標(biāo)的3D表情數(shù)據(jù)集與對應(yīng)的2D表情圖像數(shù)據(jù)集。由于實驗室購置的OptiTrack面部動作捕捉設(shè)備可以精確地捕捉特定面部標(biāo)定點的三維坐標(biāo)點數(shù)據(jù),捕捉到的三維點數(shù)據(jù)相比二維圖像數(shù)據(jù)能夠更加準(zhǔn)確地表達(dá)面部表情過程中的面部運(yùn)動信息。本文利用OptiTrack面部捕捉設(shè)備構(gòu)建了基于面部標(biāo)記點坐標(biāo)的3D表情數(shù)據(jù)集,數(shù)據(jù)集包含27個特定位置標(biāo)記點的三維坐標(biāo)點數(shù)據(jù)。同時,利用高清攝像頭采集了相同對象的2D表情數(shù)據(jù)集。兩類數(shù)據(jù)集中各含有7個被采集對象的6種基本表情,每個表情共有5組數(shù)據(jù)。2.利用深度超限學(xué)習(xí)機(jī)研究了3D表情與2D表情的融合表情識別。本文通過研究3D幾何向量和2D圖像紋理特征融合的表情識別方法,證明特征融合的方法能夠提高單獨種類特征下的表情識別效果。為提取具有良好表征能力的表情特征,本文利用深度隨機(jī)網(wǎng)絡(luò)中的深度超限學(xué)習(xí)機(jī)提取3D幾何向量與2D表情融合數(shù)據(jù)的特征,利用提取的特征進(jìn)行表情識別。實驗結(jié)果表明,深度超限學(xué)習(xí)機(jī)的多層ELM-AE網(wǎng)絡(luò)具有很強(qiáng)的特征提取能力并且能提高基于特征融合的表情識別效果。3.提出一種基于改進(jìn)深度超限學(xué)習(xí)機(jī)的遷移學(xué)習(xí)模型,研究了基于遷移學(xué)習(xí)的表情識別。遷移學(xué)習(xí)模型由深度超限學(xué)習(xí)機(jī)中的多層ELM-AE網(wǎng)絡(luò)與OS-ELM分類器組合而成。本文利用遷移學(xué)習(xí)模型將基于三維點表情數(shù)據(jù)的表情識別模型遷移到基于二維圖像的表情識別中,提升了基于二維圖像數(shù)據(jù)的表情識別效果。
【學(xué)位授予單位】：北京工業(yè)大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2016
【分類號】：TP391.41

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 應(yīng)自爐;張有為;李景文;;融合人臉局部區(qū)域的表情識別[J];信號處理;2009年06期

2 胡明銀;孟凡民;;微表情識別的偵查實用性探析[J];江西警察學(xué)院學(xué)報;2011年03期

3 申尋兵;隋華杰;許坤金;;微表情識別能力與在校生人際關(guān)系相關(guān)性研究[J];科技視界;2013年28期

4 武宇文,劉宏,查紅彬;基于特征分組加權(quán)聚類的表情識別[J];計算機(jī)輔助設(shè)計與圖形學(xué)學(xué)報;2005年11期

5 何良華,鄒采榮,包永強(qiáng),趙力;人臉面部表情識別的研究進(jìn)展[J];電路與系統(tǒng)學(xué)報;2005年01期

6 楊國亮;王志良;王國江;;面部表情識別研究進(jìn)展[J];自動化技術(shù)與應(yīng)用;2006年04期

7 王功孝;;面部表情識別研究綜述[J];黑龍江科技信息;2007年24期

8 韓t}t};王益文;洪慧;徐艷嬌;;面孔呈現(xiàn)順序?qū)植勘砬樽R別的影響[J];山東師范大學(xué)學(xué)報(自然科學(xué)版);2008年02期

9 寧凡;厲星星;;基于人臉幾何結(jié)構(gòu)的表情識別[J];計算機(jī)應(yīng)用與軟件;2009年06期

10 方婷;葛萬成;;基于人臉非對稱性的表情識別[J];信息技術(shù);2009年11期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 沈卓卿;俞國良;;情緒表達(dá)者的文化差異對表情識別的影響[A];第十二屆全國心理學(xué)學(xué)術(shù)大會論文摘要集[C];2009年

2 章吉;陳英和;;兒童混合表情識別的發(fā)展及與基本表情識別的關(guān)系[A];增強(qiáng)心理學(xué)服務(wù)社會的意識和功能——中國心理學(xué)會成立90周年紀(jì)念大會暨第十四屆全國心理學(xué)學(xué)術(shù)會議論文摘要集[C];2011年

3 劉芳;王志良;徐銀梅;陳鋒軍;郭群;;應(yīng)用于表情識別的黑斑特征算法的設(shè)計與實現(xiàn)[A];第一屆中國情感計算及智能交互學(xué)術(shù)會議論文集[C];2003年

4 史光遠(yuǎn);崔麗霞;;性別和羞怯水平對大學(xué)生面部表情識別的影響[A];第十五屆全國心理學(xué)學(xué)術(shù)會議論文摘要集[C];2012年

5 曹宇嘉;鄭文明;趙力;鄒采榮;;基于差值模板特征的表情識別方法[A];第十二屆全國圖象圖形學(xué)學(xué)術(shù)會議論文集[C];2005年

6 李睿凡;朱強(qiáng)生;郭燕慧;劉海濤;;魯棒局部保持投影的表情識別[A];2006年首屆ICT大會信息、知識、智能及其轉(zhuǎn)換理論第一次高峰論壇會議論文集[C];2006年

7 韓t}t};王益文;;面孔呈現(xiàn)順序?qū)植勘砬樽R別的影響[A];第十一屆全國心理學(xué)學(xué)術(shù)會議論文摘要集[C];2007年

8 歐陽琰;桑農(nóng);;基于面部動作單元組合特征的表情識別[A];第十五屆全國圖象圖形學(xué)學(xué)術(shù)會議論文集[C];2010年

9 羅崢;魏錦;陳凡;尹天驕;;自閉、智障與正常兒童面部表情識別的差異[A];增強(qiáng)心理學(xué)服務(wù)社會的意識和功能——中國心理學(xué)會成立90周年紀(jì)念大會暨第十四屆全國心理學(xué)學(xué)術(shù)會議論文摘要集[C];2011年

10 張明;傅小蘭;;微表情識別的背景效價效應(yīng)[A];心理學(xué)與創(chuàng)新能力提升——第十六屆全國心理學(xué)學(xué)術(shù)會議論文集[C];2013年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 王麗;智能服務(wù)機(jī)器人表情識別技術(shù)研究[D];哈爾濱工業(yè)大學(xué);2015年

2 楊勇;基于粗糙集理論的表情識別研究[D];西南交通大學(xué);2009年

3 李遠(yuǎn)征;人體目標(biāo)跟蹤和表情識別中的若干問題研究[D];西安電子科技大學(xué);2013年

4 阮錦新;多姿態(tài)人臉檢測與表情識別關(guān)鍵技術(shù)研究[D];華南理工大學(xué);2010年

5 歐陽琰;面部表情識別方法的研究[D];華中科技大學(xué);2013年

6 朱明旱;基于流形學(xué)習(xí)的人臉表情識別研究[D];中南大學(xué);2009年

7 劉帥師;非均勻光照和局部遮擋情況下的魯棒表情識別理論與方法研究[D];吉林大學(xué);2012年

8 張錚;基于二維MB-LGBP特征的表情識別及其光照檢測研究[D];天津大學(xué);2010年

9 付曉峰;基于二元模式的人臉識別與表情識別研究[D];浙江大學(xué);2008年

10 洪濤;船體建造CAD/CAM系統(tǒng)數(shù)據(jù)庫技術(shù)及面部表情識別技術(shù)的若干研究[D];浙江大學(xué);2003年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 賀春榮;情緒情境與訓(xùn)練因素對微表情識別能力影響的研究[D];山西醫(yī)科大學(xué);2012年

2 竇曉娟;大學(xué)生自卑特質(zhì)對面部表情識別的影響研究[D];河北師范大學(xué);2015年

3 黃世偉;雙相躁狂患者面部表情識別的研究[D];安徽醫(yī)科大學(xué);2015年

4 陳心韻;抑郁傾向、抑郁癥患者與正常人生態(tài)化微表情識別差異及評估指標(biāo)初探[D];蘇州大學(xué);2015年

5 張海婷;基于深度神經(jīng)網(wǎng)絡(luò)的人體動作及自發(fā)表情識別[D];山東大學(xué);2015年

6 武冠群;基于情感模型的表情識別及應(yīng)用研究[D];哈爾濱工業(yè)大學(xué);2015年

7 路立;生態(tài)化微表情識別測量的編制及微表情識別差異研究[D];蘇州大學(xué);2015年

8 王晶晶;面部反饋對表情識別的作用及其影響因素[D];浙江師范大學(xué);2015年

9 王劍云;基于深度神經(jīng)網(wǎng)絡(luò)的表情識別算法[D];西南科技大學(xué);2015年

10 趙晴;微表情識別、親社會行為與人際交往的關(guān)系研究[D];曲阜師范大學(xué);2015年

，

本文編號：1139463