發(fā)布時間：2021-10-22 06:14

　　人臉識別技術(shù)越來越多地應(yīng)用于當(dāng)今世界的各個場景與產(chǎn)品中。人臉識別是實現(xiàn)自然的人機交互（HCI）的基本手段之一。情緒識別是進一步研究人機交互的重中之重。情緒的復(fù)雜性使得信息采集的這一任務(wù)在這項工作中變得更加困難。本文在研究了人臉識別與情緒識別方法后,結(jié)合實驗室已有的NAO機器人,設(shè)計了一個初步的人機交互系統(tǒng)。本文主要的工作如下。首先介紹了一種應(yīng)用LBP算子進行圖像預(yù)處理的方法。利用LBP特征的旋轉(zhuǎn)不變以及灰度不變兩大特性,對圖像中光照引起的噪聲進行了消除,同時減少了訓(xùn)練模型所需的數(shù)據(jù)量。為了獲取更準確地人臉信息以便用于情緒識別,我們對圖像中的人臉進行了三維重建。與常規(guī)進行人臉重建時不同的是,在卷積神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練時對輸入圖像應(yīng)用LBP算法進行預(yù)處理,相比于直接輸入RGB圖像可以有效減少訓(xùn)練集中由于光照因素所帶來的干擾,提高了模型的準確率。接下來建立了一個多模態(tài)的實時人臉情緒識別系統(tǒng),通過圖像對進行人臉檢測與情緒識別,利用聲音作為輔助手段進一步提高識別的成功率與準確率。使用的CNN網(wǎng)絡(luò)是一種改進的VGG-16網(wǎng)絡(luò)模型,整個系統(tǒng)主要由語音識別器、人臉檢測器以及情緒預(yù)測器構(gòu)成。使用FER201... 

【文章來源】：青島科技大學(xué)山東省

【文章頁數(shù)】：84 頁

【學(xué)位級別】：碩士

【部分圖文】：

注意級聯(lián)結(jié)構(gòu)

青島科技大學(xué)研究生學(xué)位論文3123輸入子窗口進一步處理拒絕子窗口TTTFFF圖1-1注意級聯(lián)結(jié)構(gòu)Figure1-1TheAttentionalCascade1.2.2特征提取的研究現(xiàn)狀如前所述，由于存儲和計算資源的快速發(fā)展，基于外觀的方法主導(dǎo)了人臉識別的最新進展。一般做法為收集大量樣本，包括含有人臉以及沒有人臉的兩種樣本，采用相關(guān)機器學(xué)習(xí)算法來學(xué)習(xí)模型從而完成分類。這一任務(wù)包括兩個關(guān)鍵點，需要獲得什么樣的特征與選擇何種應(yīng)用算法。解決這兩個問題為進一步發(fā)展人臉識別的重點所在。Haar-like矩形特征由于采用了積分成像技術(shù)，計算速度非�？�，為構(gòu)建正面人臉探測器提供了良好的性能。后續(xù)的研究中簡單的特征得到了拓展，在矩形特征的組合方式上存在更多變化。一部分人注意到文獻[1]中原始的Haar-like特征集在多視圖人臉檢測方面的不足，并提出通過允許更靈活的矩形區(qū)域組合來擴展特征集。例如，在文獻[11]中，在檢測子窗口中定義了三種類型的特征，如圖1-2所示。作者認為，這些特征可能是不對稱的，以迎合非正面面孔的不對稱特征。Jones和Viola[12]也提出了一個類似的特征，稱為對角濾波器，如圖1-3所示。+2-2+1+1-2+1-1-1+1dxdxdxdydydyxydx’dx’xyxy圖1-2文獻[11]中介紹的具有靈活尺寸和距離的矩形特征Figure1-2Rectangularfeatureswithflexiblesizesanddistancesintroducedin[11]

基于圖像的情緒識別方法研究4圖1-3文獻[12]中介紹的對角線濾波器Figure1-3Diagonalfiltersin[12]Jones等人進一步拓展了Haar-like特征集，用作基于視頻行為的行人檢測的運動濾波圖像。要注意的是運動濾波圖像的構(gòu)建尺度不是不變的，也就是說，當(dāng)檢測到不同尺度的行人時，需要重新計算這些過濾后的圖像。通過首先為它構(gòu)建一個不同尺度的圖像金字塔，并使用金字塔的逐層計算過濾后的圖像來實現(xiàn)。Mita等[8]提出了基于多個Haar-like特征共現(xiàn)的聯(lián)合Haar-like特征。Mita覺得特征共現(xiàn)能夠更好的提取人臉特征，這使得組建性能更好的分類器成為可能。聯(lián)合Haar-like特征采用相似的特征計算和閾值化方案，但僅將Haar-like特征的二進制輸出連接到一個可能為2的組合的索引中，其中F為組合特征的數(shù)量。為了尋找計算復(fù)雜度有限的特征共現(xiàn)，作者采用了次優(yōu)序前向選擇方案。為了避免統(tǒng)計上的不可靠性，數(shù)字F也被啟發(fā)式地限制了。在某種程度上，上述Haar-like特征類似于[13]中探索的CART樹。結(jié)果表明，基于CART樹的弱分類器能夠以較小的速度損失改進各種增強算法的結(jié)果。另一個改進弱分類器的變體中，提出使用單一Haar-like特征，并將特征值平等地放入直方圖中，以用于RealBoost學(xué)習(xí)算法。與Haar-like聯(lián)合特征中的F數(shù)相似，直方圖的bin數(shù)對最終檢測器的性能至關(guān)重要。文獻[9]中建議使用64個回收箱，在他們后來的工作[14]中，特別指出直方圖的粒度太細可能會導(dǎo)致過擬合，并建議在級聯(lián)的前幾層使用細粒度，在后幾層使用粗粒度。文獻[15]提出了一種新的弱分類器，成為貝葉斯殘差（Bayesianstump）。貝葉斯殘差也是一種基于直方圖的弱分類器，但是貝葉斯殘差的分割閾值是由迭代分割和歸并操作得到的，而不是等距固定的。實驗結(jié)果表明這種靈活的多分割閾值方案對于提

【參考文獻】：
期刊論文
[1]一種改進的局部嵌入網(wǎng)絡(luò)人臉圖像分類方法[J]. 劉道華,王莎莎,楊志鵬,崔玉爽.  西安電子科技大學(xué)學(xué)報. 2020(04)
[2]關(guān)鍵點深度特征驅(qū)動人臉表情識別[J]. 王善敏,帥惠,劉青山.  中國圖象圖形學(xué)報. 2020(04)
[3]基于情感信息輔助的多模態(tài)情緒識別[J]. 吳良慶,劉啟元,張棟,王建成,李壽山,周國棟.  北京大學(xué)學(xué)報(自然科學(xué)版). 2020(01)
[4]基于多任務(wù)學(xué)習(xí)的多模態(tài)情緒識別方法[J]. 吳良慶,張棟,李壽山,陳瑛.  計算機科學(xué). 2019(11)
[5]基于面部表情的學(xué)習(xí)者情緒自動識別研究——適切性、現(xiàn)狀、現(xiàn)存問題和提升路徑[J]. 陳子健,朱曉亮.  遠程教育雜志. 2019(04)

碩士論文
[1]基于語音和面部表情融合的情緒識別算法研究及其實現(xiàn)[D]. 王喆.北方工業(yè)大學(xué) 2018
[2]基于腦電信號和眼動信號融合的多模態(tài)情緒識別研究[D]. 陸怡菲.上海交通大學(xué) 2017



本文編號：3450537