發(fā)布時(shí)間：2021-03-31 00:08

　　進(jìn)入二十一世紀(jì)以來,隨著互聯(lián)網(wǎng)的發(fā)展與普及,微博、博客、論壇及電子商城等一系列平臺(tái)為人民提供了自由發(fā)表言論的舞臺(tái)�；ヂ�(lián)網(wǎng)中每天會(huì)產(chǎn)生大量的文本信息,如何從大量的文本信息中精準(zhǔn)獲取到文本包含的情感信息,是目前文本情感分析領(lǐng)域研究的熱點(diǎn)。但是傳統(tǒng)的文本情感分析存在以下缺點(diǎn):（1）人工定制的特征提取策略主觀性太強(qiáng),有些隱藏的情感信息得不到有效的表達(dá);（2）提取到的特征過于簡(jiǎn)單,無法有效表達(dá)文本中幾個(gè)關(guān)鍵詞的依賴關(guān)系。近年來深度學(xué)習(xí)在多個(gè)領(lǐng)域都取得了矚目的成就,從而也證明了其在文本分析上的獨(dú)特優(yōu)勢(shì)。本文使用雙向門控循環(huán)單元（BiGRU）深度學(xué)習(xí)模型與內(nèi)容注意力機(jī)制（Content Attention Mechanism）相結(jié)合的方式來對(duì)文本情感分析做了深入的研究。本文主要包括以下工作:（1）針對(duì)文本情感分析問題,本文使用雙向門控循環(huán)單元（BiGRU）網(wǎng)絡(luò)模型和雙向長短期記憶（BiLSTM）網(wǎng)絡(luò)模型、雙向循環(huán)神經(jīng)網(wǎng)絡(luò)模型（BiRNN）、門控循環(huán)單元（GRU）網(wǎng)絡(luò)模型、長短期記憶（LSTM）網(wǎng)絡(luò)模型、循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）模型、卷積神經(jīng)網(wǎng)絡(luò)（CNN）模型做對(duì)比,分析不同深度學(xué)習(xí)模型在情感分析上的效... 

【文章來源】：西北大學(xué)陜西省 211工程院校

【文章頁數(shù)】：66 頁

【學(xué)位級(jí)別】：碩士

【部分圖文】：

前饋神經(jīng)網(wǎng)絡(luò)模型圖

圖 2 CBOW 和 Skip_gram 模型圖CBOW：通過目標(biāo)詞的上下文的詞預(yù)測(cè)目標(biāo)詞，圖中就是取大小為 2 的窗口，通過目標(biāo)詞前后兩個(gè)詞預(yù)測(cè)目標(biāo)詞。具體的做法是，設(shè)定詞向量的維度 d，對(duì)所有的詞隨機(jī)初始化為一個(gè) d 維的向量，然后要對(duì)上下文所有的詞向量編碼得到一個(gè)隱藏層的向量，通過這個(gè)隱藏層的向量預(yù)測(cè)目標(biāo)詞，CBOW 中的做法是簡(jiǎn)單的相加，然后做一個(gè) Softmax的分類，例如詞匯表中一個(gè)有 V 個(gè)不同的詞，就是隱藏層 d 維的向量乘以一個(gè) W 矩陣（d VR ）轉(zhuǎn)化為一個(gè) V 維的向量，然后做一個(gè) Softmax 的分類。由于 V 詞匯的數(shù)量一般是很大的，每次訓(xùn)練都要更新整個(gè) W 矩陣計(jì)算量會(huì)很大，同時(shí)這是一個(gè)樣本不均衡的問題，不同的詞的出現(xiàn)次數(shù)會(huì)有很大的差異，所以論文中采用了兩種不同的優(yōu)化方法多層Softmax 和負(fù)采樣。Skip-gram：它的輸入是目標(biāo)詞，先是將目標(biāo)詞映射為一個(gè)隱藏層向量，根據(jù)這個(gè)向量預(yù)測(cè)目標(biāo)詞上下文兩個(gè)詞，因?yàn)樵~匯表大和樣本不均衡，同樣也會(huì)采用多層 Softmax

第二章 相關(guān)技術(shù)量還是相對(duì)整張圖片的特征，這是卷積神經(jīng)網(wǎng)絡(luò)能夠減少模型的參數(shù)的同時(shí)還能保證模型有效性的根本原因。在卷積神經(jīng)網(wǎng)絡(luò)[35]在圖像領(lǐng)域取得巨大成績之后，有研究人員開始在自然語言處理領(lǐng)域使用卷積神經(jīng)網(wǎng)絡(luò)[36]。在 NLP 領(lǐng)域很多方面，CNN 也取得了出色的效果，比如語義分析、查詢檢索、文本分類等任務(wù)。在處理文本數(shù)據(jù)時(shí)，在卷積層前面要加入一個(gè)輸入層，需要對(duì)數(shù)據(jù)做一些預(yù)處理操作，比如將數(shù)據(jù)集中的單詞映射成詞向量來表示，經(jīng)過了轉(zhuǎn)換之后一句話就變成了一個(gè)矩陣，矩陣中的一行就代表了一個(gè)單詞，那么對(duì)于一個(gè)長度為 n 的句子，則就會(huì)轉(zhuǎn)換成一個(gè)n k的矩陣。轉(zhuǎn)換之后的處理就可以參考圖像的處理方式，用卷積神經(jīng)網(wǎng)絡(luò)來解決自然語言處理的相關(guān)問題。自然語言處理的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖如圖 3 所示：


本文編號(hào)：3110396