為了解決多模態(tài)數(shù)據(jù)中數(shù)據(jù)樣本不平衡的問題,利用資源豐富的文本模態(tài)知識對資源貧乏的聲學(xué)模態(tài)建模,構(gòu)建一種利用輔助模態(tài)間相似度監(jiān)督訓(xùn)練的情緒識別神經(jīng)網(wǎng)絡(luò)。首先,使用以雙向門控單元為核心的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),分別學(xué)習(xí)文本與音頻模態(tài)的初始特征向量;其次,使用SoftMax函數(shù)進(jìn)行情緒識別預(yù)測,同時使用一個全連接層生成2個模態(tài)對應(yīng)的目標(biāo)特征向量;最后,利用該目標(biāo)特征向量計(jì)算彼此之間的相似度輔助監(jiān)督訓(xùn)練,提升情緒識別的性能。結(jié)果表明,該神經(jīng)網(wǎng)絡(luò)可以在IEMOCAP數(shù)據(jù)集上進(jìn)行情緒4分類,實(shí)現(xiàn)了82.6%的加權(quán)準(zhǔn)確率和81.3%的不加權(quán)準(zhǔn)確率。研究結(jié)果為人工智能多模態(tài)領(lǐng)域的情緒識別以及輔助建模提供了參考依據(jù)。 

【文章來源】：河北科技大學(xué)學(xué)報. 2020,41(05)

【文章頁數(shù)】：9 頁

【部分圖文】：

模型的總體架構(gòu)

A j L =GRU(A j l ,( h k-1 → , h k+1 ← )), A j G =ReLU(W d ?A j g +b d )。將GRU的隱藏狀態(tài)數(shù)設(shè)置為與線性轉(zhuǎn)換中的隱藏層神經(jīng)元數(shù)相同,其中,ALj和AGj各自具有相同尺寸d。全局特征缺少時間信息和2個時間片段之間的依賴信息,但在用于檢測高喚醒情緒時的效果較好,例如憤怒和厭惡[4]。融合局部特征之后可以學(xué)習(xí)得出更豐富和潛在情緒的特征向量。因此,本文使用模態(tài)內(nèi)的注意力機(jī)制,在局部高階特征中學(xué)習(xí)可以引起強(qiáng)烈喚醒情緒的特征表示向量。計(jì)算公式如下:

2)對情緒識別任務(wù)和模態(tài)相似性任務(wù)的目標(biāo)函數(shù)設(shè)置權(quán)重,分析權(quán)重對最終任務(wù)性能的影響,并通過權(quán)重參數(shù)λ進(jìn)行調(diào)節(jié)。圖4 本文模型對不同任務(wù)權(quán)重設(shè)置的性能改變


本文編號：3046625