作為表達(dá)情感的一種方式,表情是比較自然和直接的,它在我們的日常生活中扮演者非常重要的角色,在某些場(chǎng)合中,表情有時(shí)比語言更能有效的傳達(dá)出內(nèi)心的真實(shí)情感。表情的產(chǎn)生是一個(gè)動(dòng)態(tài)變化的過程,在單張靜態(tài)圖片中,通常包含的特征信息有限,而在視頻序列中呈現(xiàn)的表情,則提供了更加充分的上下文信息,表情產(chǎn)生的機(jī)理得到進(jìn)一步的滿足,在研究過程中提供的信息會(huì)更加豐富,在計(jì)算機(jī)方面技術(shù)正快速進(jìn)步,基于圖像序列的情感研究得到越來越多的重視。本文的研究重點(diǎn)是視頻序列,為了能高效提取視頻序列中的時(shí)空特征信息,提出了相關(guān)算法,論文的具體工作內(nèi)容如下:（1）提出一種加權(quán)雙流網(wǎng)絡(luò)模型。使用傳統(tǒng)方法進(jìn)行提取表情特征時(shí),算法提取的特征通常是設(shè)定在固定空間內(nèi),魯棒性能有待進(jìn)一步提高,隨著深度學(xué)習(xí)的發(fā)展和公開數(shù)據(jù)集的增加,可以很好的解決類似問題。在單流卷積網(wǎng)絡(luò)中,通常關(guān)注的重點(diǎn)是空間特征,忽略了視頻序列中存在的上下文信息,而雙流網(wǎng)絡(luò)模擬人體視覺過程,在處理空間信息的同時(shí),對(duì)視頻中的時(shí)序信息也有更好的理解,所以使用雙流網(wǎng)絡(luò)作為模型結(jié)構(gòu),同時(shí)為了更好的獲取圖像序列中幀與幀之間隱藏的時(shí)間信息,在模型中加入LSTM網(wǎng)絡(luò)結(jié)構(gòu),雙流網(wǎng)絡(luò)模型中... 

【文章來源】：合肥工業(yè)大學(xué)安徽省 211工程院校 教育部直屬院校

【文章頁數(shù)】：64 頁

【學(xué)位級(jí)別】：碩士

【部分圖文】：

MMI庫(kù)表情類別Fig1.1FacialexpressiondisplayonMMIdatabase

nMMIdatabase（4）CK+（TheExtendedCohn-KanadeDataset）CK+庫(kù)[26]是使用的比較多的數(shù)據(jù)集，與MMI一樣它也是在實(shí)驗(yàn)室環(huán)境下制作的。該數(shù)據(jù)庫(kù)包含123個(gè)主題，視頻序列總計(jì)593個(gè)，每個(gè)對(duì)象的視頻幀序列長(zhǎng)度分布在8幀到70幀之間，每個(gè)視頻序列表情均是從中性演變到表情峰值，CK+數(shù)據(jù)共包含7種標(biāo)簽，由于CK+并沒有明確的進(jìn)行劃分訓(xùn)練集、驗(yàn)證集、測(cè)試集，在傳統(tǒng)的靜態(tài)表情處理中，通常的做法是選擇表情峰值的一張到五張用來訓(xùn)練，CK+庫(kù)表情如圖1.2所示，在實(shí)驗(yàn)過程中，基于與人無關(guān)的策略，使用5折或10折交叉驗(yàn)證試驗(yàn)。圖1.2CK+庫(kù)表情類別Fig1.2FacialexpressiondisplayonCK+database

CASIAOulu-CASIA庫(kù)共有6種表情（驚訝，開心，悲傷，生氣，恐懼，厭惡），共包含80個(gè)主題對(duì)象共2880個(gè)表情序列，年齡跨度從23到58歲不等，73.8%的比例是女性，在數(shù)據(jù)集的制作過程中，有三種不一樣的光照條件：正常光照條件，弱光照條件，近乎接近于黑暗環(huán)境，視頻序列是使用近紅外或者可見光可成像設(shè)備進(jìn)行拍攝。與前面介紹的CK+庫(kù)類似，每個(gè)圖像序列均是由中性到表情峰值，如圖1.3所示。整個(gè)數(shù)據(jù)庫(kù)中，在光照條件正常的狀況下獲得的僅有480個(gè)視頻序列，在實(shí)驗(yàn)過程中，開始的第一幀和最后三幀經(jīng)常用來進(jìn)行10折交叉驗(yàn)證。圖1.3Oulu-CASIA庫(kù)表情類別Fig1.3FacialexpressiondisplayonOulu-CASIAdatabase（6）RAF-DB（Real-worldAffectiveFaceDatabase）RAF-DB數(shù)據(jù)庫(kù)，是現(xiàn)實(shí)世界中的表情數(shù)據(jù)庫(kù)，它包含29672張圖片，這些圖片是從互聯(lián)網(wǎng)上下載的，通過人工檢測(cè)和標(biāo)注，整個(gè)數(shù)據(jù)庫(kù)被分為七種表情和是十一種復(fù)合情感標(biāo)簽，所有表情均是遵從Ekman提出的FACS結(jié)構(gòu)，整個(gè)數(shù)據(jù)集包含青年和孩子，所有的圖片均在在相同的技術(shù)操作和外界其他因素。在試驗(yàn)中，一般會(huì)用15339張圖片，這些圖片一般分為兩個(gè)部分，一個(gè)是12271張的訓(xùn)練集，另一個(gè)是3068張的測(cè)試集合。（7）AffectNet到目前為止，AffectNet是最大的自然環(huán)境下數(shù)據(jù)庫(kù)，它是丹佛大學(xué)通過Google、Bing和Yahoo三種搜索引擎，使用不同的情感標(biāo)簽獲得的。經(jīng)過表情圖像預(yù)處理之后，圖片數(shù)量超過一百萬張，其中有四十四萬張圖片被標(biāo)記為7種基本表情，還有連續(xù)維度下的arousal和valence數(shù)值，可以看出該數(shù)據(jù)庫(kù)可以同時(shí)用來研究?jī)煞N類型。數(shù)據(jù)集各個(gè)主題年齡跨度較大，平均年齡33.01歲，與MMI數(shù)據(jù)庫(kù)類似，AffectNet數(shù)據(jù)集中約有50%的人唇部也眼睛部位進(jìn)行了化妝，大約有10%的人戴有眼鏡，其中的樣本分布比

【參考文獻(xiàn)】：
期刊論文
[1]構(gòu)建并行卷積神經(jīng)網(wǎng)絡(luò)的表情識(shí)別算法[J]. 徐琳琳,張樹美,趙俊莉.  中國(guó)圖象圖形學(xué)報(bào). 2019(02)
[2]結(jié)合滑動(dòng)窗口動(dòng)態(tài)時(shí)間規(guī)整和CNN的視頻人臉表情識(shí)別[J]. 胡敏,張柯柯,王曉華,任福繼.  中國(guó)圖象圖形學(xué)報(bào). 2018(08)
[3]基于改進(jìn)Sobel算子的紅外圖像邊緣提取算法[J]. 夏清,張振鑫,王婷婷,王亞云,石娟娟.  激光與紅外. 2013(10)
[4]駕駛員眼部狀態(tài)識(shí)別方法的研究[J]. 郭克友,儲(chǔ)江偉,王榮本.  系統(tǒng)工程與電子技術(shù). 2003(10)



本文編號(hào)：3479486