發(fā)布時間：2021-08-11 09:55

　　隨著5G商用的加速落地,微博、抖音等應用迅猛發(fā)展,網絡上產生了大量的由用戶生成的帶有文本內容的短視頻。通過分析這些文本內容和短視頻,可以了解廣大用戶對社會事件、人物、產品的看法以及輿論演化趨勢,因此,多模態(tài)的情感分析已成為當前一個非常熱門的研究課題。然而,從網絡直接獲取的數據過于冗余和繁雜,不能直接應用在實際研究中,在實際研究當中可用的數據集還是比較缺乏的,并且文本和視頻內容是獨立存在,在進行情感分析的研究時不能對視頻和本文有效地融合。針對上述問題,本文提出了如下工作:（1）針對短視頻情感分析數據樣本數量缺乏的問題,提出一種基于小樣本學習的短視頻情感分析方法。首先將數據集分為支撐集和查詢集;然后分別對數據集進行視覺特征提取;再將支撐集樣本提取的特征和查詢集樣本提取的特征進行拼接后通過度量模塊計算查詢集樣本和支撐集樣本之間的相似性;最后利用分類器預測查詢集樣本的類別。（2）針對數據集中存在多種模態(tài)的問題,提出一種文本、短視頻的情感分析方法。在文本模態(tài)上,首先使用分詞工具對文本模態(tài)數據進行預處理,然后使用詞嵌入工具獲得文字對應的詞向量,將得到的詞向量利用注意力機制的LSTM網絡提取文本信息... 

【文章來源】：南京郵電大學江蘇省

【文章頁數】：70 頁

【學位級別】：碩士

【部分圖文】：

文本情感分類框架

砘?窬??繆萇?齙耐?紜?普通的2D卷積神經網絡只能提取單幀靜態(tài)圖像的靜態(tài)特征，而對于視頻特征的提取，3D卷積神經網絡具有更好的檢測效果，3D卷積神經網絡與應用于圖像識別領域的傳統(tǒng)2D卷積神經網絡不同的是它不僅可以提取視頻中的空間維信息，而且還能夠提取時間維上的信息。如圖2.3所示，當使用2D卷積對圖像進行處理時，其輸入無論是圖2.3（a）中的單張圖像還是圖2.4（b）中的多張圖像，輸出都是一張?zhí)卣鲌D；但是通過3D卷積運算后的輸出為圖2.4（c）所示的三維特征圖，這就保存了輸入短視頻中幀與幀之間的時間維信息。圖2.32D卷積與3D卷積運算基于3D卷積特征提取器通過構造一個3D卷積神經網絡，通過將選取的固定數量的關鍵幀圖像與3D卷積核進行卷積，最終的特征表示如公式（2.5）表示，則第i層的第j個特征圖位置（x,y,z）處的信息xyzijv:)tanh(101010))()(()1(mPpQqRrijrzqypxmipqrijmxyzijiiib（2.5）其中，ijb為第i層第j個特征圖的偏置量，m表示在第i1層中與第i層第j張?zhí)卣鲌D相連的特征圖數量，pqrijm表示卷積核連接前一層的第m張?zhí)卣鲌D上坐標點為（,,rqp）相關聯的卷積核的值，iii,,RQP分別表示卷積核在空間以及時間維度上卷積核尺寸的大校同時，3D卷積在同一層是共享卷積核的權值。VGG-16網絡通過大量的實驗驗證，卷積核在選取33的尺寸時能夠取得最好的識別效果，借鑒VGG-16網絡，所以在3D卷積操作中一般也采用大小為333的3D卷積核用于實驗。C3D卷積神經網絡的結構圖如圖2.4所示，該網絡具有

砘?窬??繆萇?齙耐?紜?普通的2D卷積神經網絡只能提取單幀靜態(tài)圖像的靜態(tài)特征，而對于視頻特征的提取，3D卷積神經網絡具有更好的檢測效果，3D卷積神經網絡與應用于圖像識別領域的傳統(tǒng)2D卷積神經網絡不同的是它不僅可以提取視頻中的空間維信息，而且還能夠提取時間維上的信息。如圖2.3所示，當使用2D卷積對圖像進行處理時，其輸入無論是圖2.3（a）中的單張圖像還是圖2.4（b）中的多張圖像，輸出都是一張?zhí)卣鲌D；但是通過3D卷積運算后的輸出為圖2.4（c）所示的三維特征圖，這就保存了輸入短視頻中幀與幀之間的時間維信息。圖2.32D卷積與3D卷積運算基于3D卷積特征提取器通過構造一個3D卷積神經網絡，通過將選取的固定數量的關鍵幀圖像與3D卷積核進行卷積，最終的特征表示如公式（2.5）表示，則第i層的第j個特征圖位置（x,y,z）處的信息xyzijv:)tanh(101010))()(()1(mPpQqRrijrzqypxmipqrijmxyzijiiib（2.5）其中，ijb為第i層第j個特征圖的偏置量，m表示在第i1層中與第i層第j張?zhí)卣鲌D相連的特征圖數量，pqrijm表示卷積核連接前一層的第m張?zhí)卣鲌D上坐標點為（,,rqp）相關聯的卷積核的值，iii,,RQP分別表示卷積核在空間以及時間維度上卷積核尺寸的大校同時，3D卷積在同一層是共享卷積核的權值。VGG-16網絡通過大量的實驗驗證，卷積核在選取33的尺寸時能夠取得最好的識別效果，借鑒VGG-16網絡，所以在3D卷積操作中一般也采用大小為333的3D卷積核用于實驗。C3D卷積神經網絡的結構圖如圖2.4所示，該網絡具有

【參考文獻】：
期刊論文
[1]人工智能在計算機網絡技術中的應用[J]. 陳琨天.  電子技術與軟件工程. 2019(24)
[2]視頻關鍵幀提取方法分類研究[J]. 文輝,林華.  蘭州工業(yè)學院學報. 2017(03)
[3]單詞嵌入——自然語言的連續(xù)空間表示[J]. 陳恩紅,邱思語,許暢,田飛,劉鐵巖.  數據采集與處理. 2014(01)
[4]基于漢語情感詞表的句子情感傾向分類研究[J]. 王素格,楊安娜,李德玉.  計算機工程與應用. 2009(24)
[5]情感計算研究進展與展望——本期主題專欄“情感計算進展”序[J]. 陶霖密.  中國圖象圖形學報. 2009(05)
[6]情感可以計算——情感計算綜述[J]. 張迎輝,林學誾.  計算機科學. 2008(05)
[7]基于投票機制的融合聚類算法[J]. 蔣盛益.  小型微型計算機系統(tǒng). 2007(02)
[8]基于HowNet的詞匯語義傾向計算[J]. 朱嫣嵐,閔錦,周雅倩,黃萱菁,吳立德.  中文信息學報. 2006(01)

碩士論文
[1]融合視覺和文本的短標注視頻情感分析研究[D]. 萬俊偉.南京郵電大學 2019
[2]基于元學習的少樣本圖像分類方法研究[D]. 田霞.電子科技大學 2019
[3]基于圖像分析的網絡視頻彈幕的情感分類研究與應用[D]. 王曉艷.北京郵電大學 2018
[4]數據層和決策層的信息融合算法研究及應用[D]. 梁彩云.吉林大學 2007



本文編號：3335951