隨著信息技術(shù)的快速發(fā)展和移動(dòng)互聯(lián)網(wǎng)的普及,人們的生活方式和溝通交流方式發(fā)生了翻天覆地的變化,越來越多的人通過自己的社交網(wǎng)絡(luò)賬號(hào)以文本、圖片等方式來表達(dá)自己的觀點(diǎn)和情感,使得互聯(lián)網(wǎng)成為涉及廣泛主題的意見和情感的資源庫。針對(duì)社交媒體數(shù)據(jù)的用戶情感分析是理解用戶個(gè)體行為的關(guān)鍵,其研究能夠?yàn)檎芜x舉、股票市場(chǎng)分析、影片票房預(yù)測(cè)、心理醫(yī)療健康和網(wǎng)絡(luò)口碑營(yíng)銷等領(lǐng)域提供有效的參考,具有重要的現(xiàn)實(shí)應(yīng)用價(jià)值。相比較文本或者圖片等單模態(tài)數(shù)據(jù)而言,綜合考慮這些多模態(tài)數(shù)據(jù)能為用戶的情感分析提供多維度的信息補(bǔ)充,能更加準(zhǔn)確的反映用戶的情感傾向。傳統(tǒng)的情感分析工作主要針對(duì)圖片或者文本等單模態(tài)數(shù)據(jù),近年來逐漸有研究者開始考慮圖片文本聯(lián)合情感分析,但這類工作僅僅考慮簡(jiǎn)單的特征融合技術(shù)或者決策融合技術(shù),在復(fù)雜多變的多模態(tài)社交媒體數(shù)據(jù)中效果有限,難以實(shí)現(xiàn)精確的情感分類。綜合考慮圖片文本對(duì)中存在的語義對(duì)齊關(guān)系,以及其對(duì)于聯(lián)合情感分析的貢獻(xiàn)不一致等特性,對(duì)于提高用戶的情感分析性能具有重要的作用。針對(duì)已有研究的不足,本文將從社交網(wǎng)絡(luò)中用戶發(fā)布的圖片文本對(duì)數(shù)據(jù)普遍存在的特性出發(fā),基于深度神經(jīng)網(wǎng)絡(luò)技術(shù)和注意力機(jī)制,分別設(shè)計(jì)兩個(gè)不同...

【文章頁數(shù)】：84 頁

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
Abstract
第一章 緒論
    1.1 研究背景
    1.2 研究現(xiàn)狀
        1.2.1 視覺情感分析
        1.2.2 注意力機(jī)制
        1.2.3 多模態(tài)分析
        1.2.4 圖片文本聯(lián)合情感分析
        1.2.5 研究現(xiàn)狀總結(jié)
    1.3 本文主要工作
        1.3.1 研究目標(biāo)
        1.3.2 研究?jī)?nèi)容
    1.4 本文的組織結(jié)構(gòu)
第二章 相關(guān)背景知識(shí)概述
    2.1 深度神經(jīng)網(wǎng)絡(luò)相關(guān)技術(shù)
        2.1.1 卷積神經(jīng)網(wǎng)絡(luò)
        2.1.2 循環(huán)神經(jīng)網(wǎng)絡(luò)
    2.2 注意力機(jī)制相關(guān)技術(shù)
        2.2.1 層次注意力機(jī)制
        2.2.2 雙線性注意力機(jī)制
    2.3 遷移學(xué)習(xí)相關(guān)技術(shù)
    2.4 本章小結(jié)
第三章 數(shù)據(jù)獲取與處理分析
    3.1 數(shù)據(jù)獲取
    3.2 數(shù)據(jù)預(yù)處理
        3.2.1 文本內(nèi)容預(yù)處理
        3.2.2 圖片內(nèi)容預(yù)處理
    3.3 數(shù)據(jù)分析
    3.4 本章小結(jié)
第四章 基于注意力機(jī)制的圖片文本聯(lián)合情感分析
    4.1 基于跨模態(tài)注意力機(jī)制的圖片文本聯(lián)合情感分析
        4.1.1 基于雙向循環(huán)神經(jīng)網(wǎng)絡(luò)的跨模態(tài)語義嵌入學(xué)習(xí)
        4.1.2 基于情感上下文的跨模態(tài)注意力機(jī)制
    4.2 基于多粒度注意力機(jī)制的圖片文本聯(lián)合情感分析
        4.2.1 引言
        4.2.2 單詞層面的圖片文本聯(lián)合特征表示
        4.2.3 短語層面的圖片文本聯(lián)合特征表示
        4.2.4 句子層面的圖片文本聯(lián)合特征表示
        4.2.5 匹配卷積神經(jīng)網(wǎng)絡(luò)
        4.2.6 多模態(tài)卷積神經(jīng)網(wǎng)絡(luò)
        4.2.7 注意力遷移學(xué)習(xí)機(jī)制
    4.3 本章小結(jié)
第五章 實(shí)驗(yàn)設(shè)計(jì)及結(jié)果分析
    5.1 實(shí)驗(yàn)?zāi)康呐c實(shí)驗(yàn)環(huán)境
        5.1.1 實(shí)驗(yàn)?zāi)康?br>        5.1.2 實(shí)驗(yàn)環(huán)境
    5.2 實(shí)驗(yàn)設(shè)計(jì)
        5.2.1 評(píng)價(jià)指標(biāo)
        5.2.2 對(duì)比算法
        5.2.3 參數(shù)設(shè)置與訓(xùn)練細(xì)節(jié)
    5.3 實(shí)驗(yàn)結(jié)果及分析
        5.3.1 Getty測(cè)試數(shù)據(jù)集結(jié)果分析
        5.3.2 VST-VO測(cè)試數(shù)據(jù)集結(jié)果分析
        5.3.3 情感不一致測(cè)試數(shù)據(jù)集結(jié)果分析
        5.3.4 注意力權(quán)重可視化分析
    5.4 本章小結(jié)
第六章 原型系統(tǒng)與實(shí)現(xiàn)
    6.1 原型系統(tǒng)設(shè)計(jì)
    6.2 原型系統(tǒng)實(shí)現(xiàn)
        6.2.1 支撐技術(shù)
        6.2.2 模塊劃分與實(shí)現(xiàn)細(xì)節(jié)
        6.2.3 系統(tǒng)展示
    6.3 本章小結(jié)
第七章 總結(jié)與展望
    7.1 工作總結(jié)
    7.2 研究展望
致謝
參考文獻(xiàn)
作者簡(jiǎn)介



本文編號(hào)：3826364