情感計(jì)算是一個(gè)新興的跨學(xué)科研究領(lǐng)域,匯集了人工智能,自然語(yǔ)言處理,認(rèn)知科學(xué)和社會(huì)科學(xué)等不同領(lǐng)域的研究人員和實(shí)踐者。隨著在線發(fā)布的關(guān)于產(chǎn)品評(píng)論,電影評(píng)論,政治觀點(diǎn)等視頻的泛濫,網(wǎng)上多模態(tài)內(nèi)容的數(shù)量呈指數(shù)級(jí)增長(zhǎng),情感計(jì)算分析研究已經(jīng)從傳統(tǒng)的單模分析演變?yōu)楦鼜?fù)雜的多模態(tài)分析�，F(xiàn)有的情感分析大部分關(guān)注視頻中圖片的情感分類,忽視了圖片幀序列的時(shí)空信息以及文本和音頻信息。另一方面,現(xiàn)有的多核學(xué)習(xí)易忽略不具鑒別性的基本特征,不能充分利用不同模態(tài)的基特征。針對(duì)以上問(wèn)題,本文進(jìn)行了如下研究:1.本文提出了一種基于視覺(jué)信息的3DCLS（3D Conv-Long Short Term Memory）模型,通過(guò)三維卷積神經(jīng)網(wǎng)絡(luò)和卷積長(zhǎng)短期記憶遞歸神經(jīng)網(wǎng)絡(luò)的級(jí)聯(lián)組合來(lái)為視覺(jué)情感識(shí)別任務(wù)建立時(shí)空信息。對(duì)于視頻中的文本信息,通過(guò)卷積神經(jīng)網(wǎng)絡(luò)和長(zhǎng)短期記憶遞歸神經(jīng)網(wǎng)絡(luò)的級(jí)聯(lián)組合進(jìn)行文本情感分類。對(duì)于音頻信息,利用openSMILE軟件提取相應(yīng)的特征,使用支持向量機(jī)對(duì)其情感進(jìn)行分類預(yù)測(cè)。2.本文提出了一種基于間隔維度約束的多核學(xué)習(xí)（Margin Dimension Constrained Multiple Kernel ... 

【文章來(lái)源】：重慶郵電大學(xué)重慶市

【文章頁(yè)數(shù)】：74 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

不同內(nèi)核時(shí)間深度對(duì)比

圖 5.2 3DCLS 模型準(zhǔn)確率實(shí)驗(yàn)圖.3 顯示了使用不同算法對(duì)視覺(jué)信息進(jìn)行情感分類的準(zhǔn)確率比較， 3DCLS 模型，在數(shù)據(jù)集 MOUD 上進(jìn)行實(shí)驗(yàn)，準(zhǔn)確率優(yōu)于現(xiàn)有數(shù)的增加，3DCLS 模型與 C3D、CNN、RNN 相比，優(yōu)勢(shì)越來(lái)越 卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行視覺(jué)情感分類實(shí)驗(yàn)時(shí)，準(zhǔn)確率達(dá)到 87.23%。結(jié)合能夠達(dá)到 92.12%的準(zhǔn)確率。使用我們所提出的 3DCLS 模型到 95.25%，比單獨(dú)使用 C3D 準(zhǔn)確率高。那是因?yàn)樵?C3D 從輸特征后，卷積 LSTM 進(jìn)一步學(xué)習(xí)長(zhǎng)期的時(shí)空特征，同時(shí)能夠很的局部特征，從而達(dá)到更高的準(zhǔn)確率。相比 CNN、RNN 網(wǎng)絡(luò)，使確率高 10%左右。

圖 5.2 3DCLS 模型準(zhǔn)確率實(shí)驗(yàn)圖.3 顯示了使用不同算法對(duì)視覺(jué)信息進(jìn)行情感分類的準(zhǔn)確率比較， 3DCLS 模型，在數(shù)據(jù)集 MOUD 上進(jìn)行實(shí)驗(yàn)，準(zhǔn)確率優(yōu)于現(xiàn)有數(shù)的增加，3DCLS 模型與 C3D、CNN、RNN 相比，優(yōu)勢(shì)越來(lái)越 卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行視覺(jué)情感分類實(shí)驗(yàn)時(shí)，準(zhǔn)確率達(dá)到 87.23%。結(jié)合能夠達(dá)到 92.12%的準(zhǔn)確率。使用我們所提出的 3DCLS 模型進(jìn)到 95.25%，比單獨(dú)使用 C3D 準(zhǔn)確率高。那是因?yàn)樵?C3D 從輸特征后，卷積 LSTM 進(jìn)一步學(xué)習(xí)長(zhǎng)期的時(shí)空特征，同時(shí)能夠很的局部特征，從而達(dá)到更高的準(zhǔn)確率。相比 CNN、RNN 網(wǎng)絡(luò)，使確率高 10%左右。

【參考文獻(xiàn)】：
期刊論文
[1]一種基于多特征融合的圖像檢索方法[J]. 孔凡輝,柏曉輝,竺如生.  哈爾濱商業(yè)大學(xué)學(xué)報(bào)(自然科學(xué)版). 2010(03)
[2]Zernike矩及它們的應(yīng)用[J]. 王耀明.  上海電機(jī)學(xué)院學(xué)報(bào). 2008(01)
[3]情感建模與情感識(shí)別[J]. 張穎,羅森林.  計(jì)算機(jī)工程與應(yīng)用. 2003(33)
[4]圖像的情感語(yǔ)義研究進(jìn)展[J]. 王偉凝,余英林.  電路與系統(tǒng)學(xué)報(bào). 2003(05)

碩士論文
[1]基于主角和卷積神經(jīng)網(wǎng)絡(luò)的視頻情感內(nèi)容分析方法研究[D]. 江政波.深圳大學(xué) 2017
[2]基于驚奇模型與聲譜圖的音頻事件檢測(cè)與識(shí)別研究[D]. 程小雪.合肥工業(yè)大學(xué) 2015



本文編號(hào)：3305962