進入二十一世紀(jì)以來,隨著互聯(lián)網(wǎng)的發(fā)展與普及,微博、博客、論壇及電子商城等一系列平臺為人民提供了自由發(fā)表言論的舞臺。互聯(lián)網(wǎng)中每天會產(chǎn)生大量的文本信息,如何從大量的文本信息中精準(zhǔn)獲取到文本包含的情感信息,是目前文本情感分析領(lǐng)域研究的熱點。但是傳統(tǒng)的文本情感分析存在以下缺點:（1）人工定制的特征提取策略主觀性太強,有些隱藏的情感信息得不到有效的表達;（2）提取到的特征過于簡單,無法有效表達文本中幾個關(guān)鍵詞的依賴關(guān)系。近年來深度學(xué)習(xí)在多個領(lǐng)域都取得了矚目的成就,從而也證明了其在文本分析上的獨特優(yōu)勢。本文使用雙向門控循環(huán)單元（BiGRU）深度學(xué)習(xí)模型與內(nèi)容注意力機制（Content Attention Mechanism）相結(jié)合的方式來對文本情感分析做了深入的研究。本文主要包括以下工作:（1）針對文本情感分析問題,本文使用雙向門控循環(huán)單元（BiGRU）網(wǎng)絡(luò)模型和雙向長短期記憶（BiLSTM）網(wǎng)絡(luò)模型、雙向循環(huán)神經(jīng)網(wǎng)絡(luò)模型（BiRNN）、門控循環(huán)單元（GRU）網(wǎng)絡(luò)模型、長短期記憶（LSTM）網(wǎng)絡(luò)模型、循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）模型、卷積神經(jīng)網(wǎng)絡(luò)（CNN）模型做對比,分析不同深度學(xué)習(xí)模型在情感分析上的效... 

【文章來源】：西北大學(xué)陜西省 211工程院校

【文章頁數(shù)】：66 頁

【學(xué)位級別】：碩士

【部分圖文】：

前饋神經(jīng)網(wǎng)絡(luò)模型圖

圖 2 CBOW 和 Skip_gram 模型圖CBOW：通過目標(biāo)詞的上下文的詞預(yù)測目標(biāo)詞，圖中就是取大小為 2 的窗口，通過目標(biāo)詞前后兩個詞預(yù)測目標(biāo)詞。具體的做法是，設(shè)定詞向量的維度 d，對所有的詞隨機初始化為一個 d 維的向量，然后要對上下文所有的詞向量編碼得到一個隱藏層的向量，通過這個隱藏層的向量預(yù)測目標(biāo)詞，CBOW 中的做法是簡單的相加，然后做一個 Softmax的分類，例如詞匯表中一個有 V 個不同的詞，就是隱藏層 d 維的向量乘以一個 W 矩陣（d VR ）轉(zhuǎn)化為一個 V 維的向量，然后做一個 Softmax 的分類。由于 V 詞匯的數(shù)量一般是很大的，每次訓(xùn)練都要更新整個 W 矩陣計算量會很大，同時這是一個樣本不均衡的問題，不同的詞的出現(xiàn)次數(shù)會有很大的差異，所以論文中采用了兩種不同的優(yōu)化方法多層Softmax 和負采樣。Skip-gram：它的輸入是目標(biāo)詞，先是將目標(biāo)詞映射為一個隱藏層向量，根據(jù)這個向量預(yù)測目標(biāo)詞上下文兩個詞，因為詞匯表大和樣本不均衡，同樣也會采用多層 Softmax

第二章 相關(guān)技術(shù)量還是相對整張圖片的特征，這是卷積神經(jīng)網(wǎng)絡(luò)能夠減少模型的參數(shù)的同時還能保證模型有效性的根本原因。在卷積神經(jīng)網(wǎng)絡(luò)[35]在圖像領(lǐng)域取得巨大成績之后，有研究人員開始在自然語言處理領(lǐng)域使用卷積神經(jīng)網(wǎng)絡(luò)[36]。在 NLP 領(lǐng)域很多方面，CNN 也取得了出色的效果，比如語義分析、查詢檢索、文本分類等任務(wù)。在處理文本數(shù)據(jù)時，在卷積層前面要加入一個輸入層，需要對數(shù)據(jù)做一些預(yù)處理操作，比如將數(shù)據(jù)集中的單詞映射成詞向量來表示，經(jīng)過了轉(zhuǎn)換之后一句話就變成了一個矩陣，矩陣中的一行就代表了一個單詞，那么對于一個長度為 n 的句子，則就會轉(zhuǎn)換成一個n k的矩陣。轉(zhuǎn)換之后的處理就可以參考圖像的處理方式，用卷積神經(jīng)網(wǎng)絡(luò)來解決自然語言處理的相關(guān)問題。自然語言處理的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖如圖 3 所示：


本文編號：3110396