發(fā)布時間：2023-02-18 22:43

　　情感計算中音/視頻的情感識別對人機(jī)交互等領(lǐng)域的深層次認(rèn)知具有重要應(yīng)用價值,在現(xiàn)代遠(yuǎn)程教育中可作為教學(xué)過程性實(shí)時評估的重要技術(shù)之一.為克服單一模態(tài)模型識別精度依賴于情感類型這一問題,本文提出一種基于長短時記憶(LSTM)網(wǎng)絡(luò)的多模態(tài)情感識別模型,采用雙路LSTM分別模擬人類聽覺和視覺處理通路處理語音和面部表情的情感信息,在eNTERFACE’05雙模態(tài)情感數(shù)據(jù)集上進(jìn)行訓(xùn)練和測試,并模擬人腦邊緣系統(tǒng)情感區(qū)進(jìn)行決策層加權(quán)特征融合,傳統(tǒng)情緒六分類標(biāo)準(zhǔn)的準(zhǔn)確率可達(dá)74.7%.同時,考慮到傳統(tǒng)離散情緒六分類法無法進(jìn)行程度度量,且存在外在表現(xiàn)相似和多情感同時并存的問題,本文提出一種新的多模態(tài)情感識別模型的空間標(biāo)注法,采用模型層特征融合方法將情感分類特征映射到激活度-效價空間(Arousal-Valence Space),從而更好刻畫情感的程度,實(shí)驗(yàn)結(jié)果顯示準(zhǔn)確率在空間兩個維度上分別達(dá)到84.1%和86.6%.相比于已有的大多數(shù)相關(guān)研究,本文提出的模型運(yùn)算量小,識別精度高,可進(jìn)行實(shí)時在線情感識別.

【文章頁數(shù)】：10 頁

【文章目錄】：
1 模型設(shè)計
    1.1 整體架構(gòu)
    1.2 語音情感特征提取模塊
    1.3 面部表情特征提取模塊
    1.4 特征融合算法
2 實(shí)驗(yàn)設(shè)置
3 結(jié)果與討論
    3.1 單模態(tài)情感識別結(jié)果
    3.2 多模態(tài)情感識別結(jié)果
    3.3 情感空間標(biāo)注結(jié)果
4 結(jié)語



本文編號：3745690