面部表情是表達情緒的主要通道,也是用于情緒識別的一種重要信號。以計算機視覺、人工智能、情感計算等新興技術(shù)為支撐,計算機可以通過識別學習者外顯的面部表情,來判斷學習者內(nèi)隱的情緒狀態(tài),從而獲取識別、理解學習者情緒的能力。實現(xiàn)基于面部表情的學習者情緒識別,首先需要在對不同情緒表征方法進行對比分析的基礎上,確定適用的情緒表征方法,再對基于面部表情的學習者情緒識別的適切性進行論證。作為面部表情識別流程中的核心環(huán)節(jié),面部表情特征提取方法分為傳統(tǒng)的計算機視覺方法和深度學習方法兩大類。梳理不同特征提取算法的特點及局限性,可以為探索適合學習者面部表情識別的特征提取算法提供借鑒,并推動學習者面部表情識別研究的發(fā)展和有效應用。當前,學習者情緒面部表情識別相關(guān)研究仍存有局限性,需要從大規(guī)模的自然的學習者情緒面部表情數(shù)據(jù)庫的共建共享,并融合多種特征識別學習者情緒面部表情;從結(jié)合人工設計和自動學習兩種方法,提取面部表情特征等多種路徑,來提升研究深度。 

【文章來源】：遠程教育雜志. 2019,37(04)北大核心CSSCI

【文章頁數(shù)】：9 頁

【部分圖文】：

面部表情的幾何特征表征示意圖

2019年第4期總第253期用于降低數(shù)據(jù)維度。CNN的首層卷積層提取圖像低階特征，比如，邊、角、曲線等，后續(xù)卷積層在前一層卷積層提取到的特征基礎上，進一步提取特征。通過卷積層與池化層的堆疊，實現(xiàn)高階特征提取，最后通過全連接層連接分類器。CNN的架構(gòu)設計是圖像識別任務中的核心環(huán)節(jié)，其中AlexNet和VGGNet是兩種在往年的ImageNet大規(guī)模視覺識別挑戰(zhàn)賽中獲得冠軍的CNN架構(gòu)，如圖2所示。這兩種網(wǎng)絡架構(gòu)在圖像識別領域仍具有廣泛的應用前景，在靜態(tài)圖像面部表情識別領域尤為突出。利用CNN識別面部表情的流程，如圖3所示。研究者提出了各種不同的基于CNN的面部表情識別方法。例如，Hamester等設計雙通道的CNN識別面部表情，其中一個CNN子網(wǎng)的第一層采用預置權(quán)重的Ga-bor濾波作為卷積自編碼器，兩個CNN子網(wǎng)提取的特征在融合后被用于識別面部表情[38]。Liu等提出由多個CNN子網(wǎng)組成的集成式CNN，用于面部表情特征自動提取和分類[39]。LiuY等則融合人工設計的特征（CBP，中心二值模式）和CNN自動提取的特征識別面部表情[40]。曹曉明等則融合靜態(tài)圖像的面部表情、腦電波和學習日志三種模態(tài)數(shù)據(jù)，訓練CNN模型判斷學習者參與度[41]。但是，已有研究在所設計的CNN中所有卷積核的權(quán)值系數(shù)是隨機初始化的，需要在標注的樣本數(shù)據(jù)集上訓練CNN模型，調(diào)節(jié)卷積核的權(quán)值系數(shù)，才能有效地提取面部表情特征，因此，需要大量的訓練數(shù)據(jù)用于模型的訓練。2.基于動態(tài)圖像序列的表情識別利用深度學習方法識別動態(tài)圖像序列的面部表情，不僅需要提取單幀圖像的空域特征，而且還需要提取圖像幀之間的時域特征。單幀圖像的空域特征提取可以通過CNN實現(xiàn)，而提取序列時域特征的代表性算法則是循環(huán)神經(jīng)網(wǎng)絡（RecurrentNeuralNet-w

氖庇蛺?征，結(jié)合空時域特征識別面部表情[42]。Zhang等從表情圖像序列中選擇代表幀圖像，利用CNN提取代表幀的空域特征，同時利用RNN提取所有表情序列幀的面部特征點的時域特征，最后融合兩種特征識別面部表情[43]。RNN模型的訓練采用BPTT（Back-PropagationThroughTime）算法反向傳播誤差，通過隨機梯度下降（StochasticGradientDescent）算法調(diào)節(jié)網(wǎng)絡參數(shù)，使得損失函數(shù)值達到最校但是隨著序列長度增大，RNN在訓練過程中會出現(xiàn)梯度消失問題，從而喪失學習序列時域特征的能力。為了解決這一問題，長短圖3CNN識別面部表情流程圖（圖中表情實例來自數(shù)據(jù)集CAS（ME）2）圖2兩個廣泛應用的CNN模型的網(wǎng)絡結(jié)構(gòu)圖4循環(huán)神經(jīng)網(wǎng)絡示意圖注：其中（1）代表整個神經(jīng)網(wǎng)絡；（2）代表隱藏層中單個神經(jīng)元；（3）表示單個神經(jīng)元沿時間軸展開。前沿探索基于面部表情的學習者情緒自動識別研究蕁蕁68

【參考文獻】：
期刊論文
[1]物理學習空間中學習者情緒感知研究綜述[J]. 劉智,方常麗,劉三(女牙),孫建文.  遠程教育雜志. 2019(02)
[2]基于面部表情的學習困惑自動識別法[J]. 江波,李萬健,李芷璇,葉韻.  開放教育研究. 2018(04)
[3]基于多流CNN-LSTM網(wǎng)絡的群體情緒識別[J]. 卿粼波,熊文詩,周文俊,熊珊珊,吳曉紅.  計算機應用研究. 2018(12)
[4]課堂環(huán)境中基于面部表情的教學效果分析[J]. 韓麗,李洋,周子佳,宋沛軒.  現(xiàn)代遠程教育研究. 2017(04)
[5]基于空間多尺度HOG特征的人臉表情識別方法[J]. 童瑩.  計算機工程與設計. 2014(11)
[6]在線學習系統(tǒng)中情感識別模塊的設計與實現(xiàn)[J]. 魏刃佳,丁亦喆,張莉,吳振強.  現(xiàn)代教育技術(shù). 2014(03)



本文編號：3607189