情感計算是一個新興的跨學科研究領域,匯集了人工智能,自然語言處理,認知科學和社會科學等不同領域的研究人員和實踐者。隨著在線發(fā)布的關于產品評論,電影評論,政治觀點等視頻的泛濫,網上多模態(tài)內容的數(shù)量呈指數(shù)級增長,情感計算分析研究已經從傳統(tǒng)的單模分析演變?yōu)楦鼜碗s的多模態(tài)分析�，F(xiàn)有的情感分析大部分關注視頻中圖片的情感分類,忽視了圖片幀序列的時空信息以及文本和音頻信息。另一方面,現(xiàn)有的多核學習易忽略不具鑒別性的基本特征,不能充分利用不同模態(tài)的基特征。針對以上問題,本文進行了如下研究:1.本文提出了一種基于視覺信息的3DCLS（3D Conv-Long Short Term Memory）模型,通過三維卷積神經網絡和卷積長短期記憶遞歸神經網絡的級聯(lián)組合來為視覺情感識別任務建立時空信息。對于視頻中的文本信息,通過卷積神經網絡和長短期記憶遞歸神經網絡的級聯(lián)組合進行文本情感分類。對于音頻信息,利用openSMILE軟件提取相應的特征,使用支持向量機對其情感進行分類預測。2.本文提出了一種基于間隔維度約束的多核學習（Margin Dimension Constrained Multiple Kernel ... 

【文章來源】：重慶郵電大學重慶市

【文章頁數(shù)】：74 頁

【學位級別】：碩士

【部分圖文】：

不同內核時間深度對比

圖 5.2 3DCLS 模型準確率實驗圖.3 顯示了使用不同算法對視覺信息進行情感分類的準確率比較， 3DCLS 模型，在數(shù)據(jù)集 MOUD 上進行實驗，準確率優(yōu)于現(xiàn)有數(shù)的增加，3DCLS 模型與 C3D、CNN、RNN 相比，優(yōu)勢越來越 卷積神經網絡進行視覺情感分類實驗時，準確率達到 87.23%。結合能夠達到 92.12%的準確率。使用我們所提出的 3DCLS 模型到 95.25%，比單獨使用 C3D 準確率高。那是因為在 C3D 從輸特征后，卷積 LSTM 進一步學習長期的時空特征，同時能夠很的局部特征，從而達到更高的準確率。相比 CNN、RNN 網絡，使確率高 10%左右。

圖 5.2 3DCLS 模型準確率實驗圖.3 顯示了使用不同算法對視覺信息進行情感分類的準確率比較， 3DCLS 模型，在數(shù)據(jù)集 MOUD 上進行實驗，準確率優(yōu)于現(xiàn)有數(shù)的增加，3DCLS 模型與 C3D、CNN、RNN 相比，優(yōu)勢越來越 卷積神經網絡進行視覺情感分類實驗時，準確率達到 87.23%。結合能夠達到 92.12%的準確率。使用我們所提出的 3DCLS 模型進到 95.25%，比單獨使用 C3D 準確率高。那是因為在 C3D 從輸特征后，卷積 LSTM 進一步學習長期的時空特征，同時能夠很的局部特征，從而達到更高的準確率。相比 CNN、RNN 網絡，使確率高 10%左右。

【參考文獻】：
期刊論文
[1]一種基于多特征融合的圖像檢索方法[J]. 孔凡輝,柏曉輝,竺如生.  哈爾濱商業(yè)大學學報(自然科學版). 2010(03)
[2]Zernike矩及它們的應用[J]. 王耀明.  上海電機學院學報. 2008(01)
[3]情感建模與情感識別[J]. 張穎,羅森林.  計算機工程與應用. 2003(33)
[4]圖像的情感語義研究進展[J]. 王偉凝,余英林.  電路與系統(tǒng)學報. 2003(05)

碩士論文
[1]基于主角和卷積神經網絡的視頻情感內容分析方法研究[D]. 江政波.深圳大學 2017
[2]基于驚奇模型與聲譜圖的音頻事件檢測與識別研究[D]. 程小雪.合肥工業(yè)大學 2015



本文編號：3305962