隨著智能時(shí)代的到來,情感識(shí)別任務(wù)成為眾多學(xué)者研究的熱點(diǎn)問題之一。研究情感識(shí)別不僅能夠優(yōu)化人機(jī)交互的體驗(yàn),而且在個(gè)性化推薦、健康監(jiān)督、交互式游戲等等方面具有廣泛的應(yīng)用前景。視頻作為一種被廣泛利用的信息載體,包含了大量的情感信息。這使得學(xué)者們對(duì)視頻中的情感識(shí)別問題產(chǎn)生了濃厚的興趣。攝像頭和移動(dòng)設(shè)備的普及帶來了視頻數(shù)據(jù)量的急劇增長(zhǎng)。早期靠人工手動(dòng)標(biāo)注視頻的情感內(nèi)容的方式已經(jīng)遠(yuǎn)遠(yuǎn)不能適應(yīng)視頻數(shù)據(jù)增長(zhǎng)的速度,因此,自動(dòng)地識(shí)別視頻的情感內(nèi)容變成了一種迫切的需求。如何從多模態(tài)視頻中的音頻模態(tài)和視覺模態(tài)提取更具表征力的特征來表達(dá)視頻的情感內(nèi)容是視頻情感內(nèi)容分析任務(wù)中的一大難點(diǎn)。針對(duì)這個(gè)難點(diǎn),本文提出了兩種視頻情感分析方法。(1)本文基于手工特征和深度學(xué)習(xí),提出了基于廣義主角的視頻情感內(nèi)容分析方法。通過觀察發(fā)現(xiàn),視頻中不同角色在視頻中起到的作用不同,其中主要的角色對(duì)視頻的情感表達(dá)起了更為重要的作用。與大多數(shù)學(xué)者將所有人臉不分主次全部考慮的做法不同,在眾多的角色中根據(jù)一定的標(biāo)準(zhǔn),本方法挑選出在視頻表達(dá)情感中起重要作用的角色,并將這樣的角色命名為廣義主角。在眾多的視頻幀中,基于廣義主角來提取其中的關(guān)鍵幀并獲...

【文章頁(yè)數(shù)】：80 頁(yè)

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
Abstract
第1章 緒論
    1.1 課題研究的背景及意義
    1.2 國(guó)內(nèi)外研究現(xiàn)狀及分析
        1.2.1 國(guó)內(nèi)外研究現(xiàn)狀
        1.2.2 主要存在的問題
    1.3 內(nèi)容及章節(jié)安排
        1.3.1 研究?jī)?nèi)容
        1.3.2 組織結(jié)構(gòu)
第2章 相關(guān)技術(shù)基礎(chǔ)理論
    2.1 情感描述模型
    2.2 卷積神經(jīng)網(wǎng)絡(luò)
        2.2.1 AlexNet網(wǎng)絡(luò)
        2.2.2 VGGNet網(wǎng)絡(luò)
    2.3 R2plus1d網(wǎng)絡(luò)
    2.4 深度信念網(wǎng)絡(luò)
    2.5 評(píng)價(jià)標(biāo)準(zhǔn)
        2.5.1 均方誤差
        2.5.2 準(zhǔn)確率
    2.6 本章小結(jié)
第3章 基于廣義主角的視頻情感內(nèi)容分析方法
    3.1 引言
    3.2 HFPD方法基本思想
    3.3 廣義主角的定義與檢測(cè)
        3.3.1 主要臉的定義
        3.3.2 廣義主角的檢測(cè)
    3.4 基于廣義主角的關(guān)鍵幀提取算法
        3.4.1 基于顏色直方圖的候選幀提取
        3.4.2 基于聚類的候選幀提取
        3.4.3 基于廣義主角的關(guān)鍵幀提取
    3.5 基于變分理論的高精度光流提取
    3.6 特征提取
        3.6.1 深度特征提取
        3.6.2 音頻和視覺手工特征提取
    3.7 三種模態(tài)的特征融合及特征映射
    3.8 實(shí)驗(yàn)結(jié)果及分析
        3.8.1 數(shù)據(jù)集簡(jiǎn)介
        3.8.2 實(shí)驗(yàn)設(shè)置與環(huán)境
        3.8.3 實(shí)驗(yàn)分析
    3.9 本章小結(jié)
第4章 基于時(shí)空域信息的視頻情感內(nèi)容分析方法
    4.1 引言
    4.2 MSTFF方法基本思想
    4.3 視頻的預(yù)處理
        4.3.1 音頻的預(yù)處理
        4.3.2 視覺片段預(yù)處理
    4.4 網(wǎng)絡(luò)訓(xùn)練及特征提取
        4.4.1 音頻網(wǎng)絡(luò)訓(xùn)練
        4.4.2 視覺網(wǎng)絡(luò)訓(xùn)練
        4.4.3 混合網(wǎng)絡(luò)訓(xùn)練
    4.5 兩種模態(tài)的特征融合及特征映射
    4.6 實(shí)驗(yàn)結(jié)果及分析
        4.6.1 數(shù)據(jù)集簡(jiǎn)介
        4.6.2 實(shí)驗(yàn)設(shè)置與環(huán)境
        4.6.3 實(shí)驗(yàn)分析
    4.7 本章小結(jié)
第5章 總結(jié)與展望
參考文獻(xiàn)
致謝
攻讀碩士學(xué)位期間的研究成果



本文編號(hào)：3866384