在信息時(shí)代,人們希望計(jì)算機(jī)能像人類一樣智能地感知對方的情感,實(shí)現(xiàn)有效的人機(jī)情感交互。傳統(tǒng)意義上的通過表情、聲音等單一模態(tài)信息來分析人的情感往往具有一定的局限性和不準(zhǔn)確性,這是因?yàn)槿说那楦型嵌鄠�(gè)模態(tài)信息的綜合呈現(xiàn)。近年來,在情感識(shí)別中采用多模態(tài)分析技術(shù)成為人工智能發(fā)展的一個(gè)熱點(diǎn)。在教育領(lǐng)域,準(zhǔn)確地把握學(xué)生上課時(shí)的學(xué)習(xí)情況有利于增強(qiáng)課堂教學(xué)效果。而課堂中學(xué)生的情感表達(dá)往往是多種模態(tài)信息的綜合,因此對其進(jìn)行多模態(tài)信息分析顯得尤為重要。本文選取課堂中學(xué)生上課時(shí)的面部表情和坐姿兩種模態(tài)信息作為評(píng)價(jià)學(xué)生課堂情感的基本指標(biāo),設(shè)計(jì)了一種改進(jìn)的Resnet,利用DS證據(jù)理論分析兩種模態(tài)信息融合后的識(shí)別情況,從而對課堂中學(xué)生的情感進(jìn)行實(shí)時(shí)把握。混淆矩陣扮演著橋梁的角色,對改進(jìn)的Resnet和DS證據(jù)理論進(jìn)行銜接。本文所做的主要工作為:1.設(shè)計(jì)了一種改進(jìn)的含殘差模塊的網(wǎng)絡(luò)（Resnet₅0_v2）傳統(tǒng)意義上用做識(shí)別分類的卷積神經(jīng)網(wǎng)絡(luò)會(huì)隨著網(wǎng)絡(luò)層數(shù)的增加而出現(xiàn)梯度消失或者梯度爆炸的情況,從而使得目標(biāo)函數(shù)無法按照預(yù)期收斂。為了避免這種情況的發(fā)生,本文采用Resnet... 

【文章來源】：華中師范大學(xué)湖北省 211工程院校 教育部直屬院校

【文章頁數(shù)】：55 頁

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
Abstrac
1 緒論
    1.1 課題研究背景及意義
    1.2 單模態(tài)信息情感識(shí)別研究現(xiàn)狀
        1.2.1 面部表情識(shí)別研究現(xiàn)狀
        1.2.2 坐姿識(shí)別研究現(xiàn)狀
    1.3 雙模態(tài)信息情感識(shí)別研究現(xiàn)狀
    1.4 論文的主要內(nèi)容和章節(jié)安排
        1.4.1 論文的主要內(nèi)容
        1.4.2 論文的章節(jié)安排
2 深度學(xué)習(xí)及相關(guān)技術(shù)
    2.1 深度學(xué)習(xí)理論
        2.1.1 深度學(xué)習(xí)發(fā)展概述
        2.1.2 深度學(xué)習(xí)應(yīng)用領(lǐng)域
        2.1.3 深度學(xué)習(xí)常見框架
    2.2 兩種模態(tài)信息的映射
        2.2.1 面部表情模態(tài)信息的映射
        2.2.2 坐姿模態(tài)信息的映射
    2.3 卷積神經(jīng)網(wǎng)絡(luò)
        2.3.1 卷積操作
        2.3.2 池化操作
        2.3.3 激活函數(shù)
        2.3.4 全連接操作
        2.3.5 網(wǎng)絡(luò)的選取
    2.4 VGG19網(wǎng)絡(luò)
    2.5 Resnet
    2.6 本章小結(jié)
3 基于神經(jīng)網(wǎng)絡(luò)技術(shù)的單模態(tài)信息情感識(shí)別研究
    3.1 數(shù)據(jù)集的處理與環(huán)境簡介
        3.1.1 基于數(shù)字圖像處理的數(shù)據(jù)增強(qiáng)
        3.1.2 基于生成對抗網(wǎng)絡(luò)的數(shù)據(jù)增強(qiáng)
        3.1.3 數(shù)據(jù)集展示
        3.1.4 實(shí)驗(yàn)環(huán)境簡介
    3.2 模型的構(gòu)建與參數(shù)設(shè)置
        3.2.1 VGG19網(wǎng)絡(luò)的模型實(shí)現(xiàn)
        3.2.2 Resnet_50_v2的模型實(shí)現(xiàn)
    3.3 兩種網(wǎng)絡(luò)模型結(jié)果的對比與分析
    3.4 本章小結(jié)
4 DS證據(jù)理論技術(shù)
    4.1 DS證據(jù)理論
        4.1.1 DS證據(jù)理論的演變與應(yīng)用場景
        4.1.2 經(jīng)典DS證據(jù)理論
        4.1.3 經(jīng)典DS證據(jù)理論的局限性
        4.1.4 經(jīng)典DS證據(jù)理論的改進(jìn)
    4.2 DS證據(jù)理論的概率分配函數(shù)構(gòu)造
    4.3 DS證據(jù)理論的融合方法和決策準(zhǔn)則
    4.4 本章小結(jié)
5 基于DS證據(jù)理論的雙模態(tài)信息學(xué)習(xí)情況識(shí)別研究
    5.1 基于DS證據(jù)理論的雙模態(tài)信息情感識(shí)別
        5.1.1 數(shù)據(jù)的預(yù)處理
        5.1.2 數(shù)據(jù)融合過程與實(shí)驗(yàn)分析
        5.1.3 基于DS證據(jù)理論的雙模態(tài)信息情感識(shí)別測試分析
    5.2 基于DS證據(jù)理論的雙模態(tài)信息情感識(shí)別對比分析
        5.2.1 與單模態(tài)信息情感識(shí)別對比分析
        5.2.2 與其它算法對比分析
    5.3 本章小結(jié)
6 總結(jié)與展望
    6.1 論文總結(jié)
    6.2 論文展望
參考文獻(xiàn)
攻讀碩士期間發(fā)表的相關(guān)論文
致謝



本文編號(hào)：3176190