隨著WEB2.0時代的飛速發(fā)展,人們獲取信息的方式,已經(jīng)由最初的報紙、期刊、廣播等傳統(tǒng)單向宣傳媒介逐漸轉變成新型互聯(lián)網(wǎng)雙向溝通媒介。電商、新聞、社交等互聯(lián)網(wǎng)平臺上出現(xiàn)大量的短文本評論,并呈現(xiàn)指數(shù)級增長的態(tài)勢。如何對這類數(shù)據(jù)進行情感傾向分析和挖掘是自然語言處理（Natural Language Processing,NLP）領域的研究熱點之一。該研究不僅可以創(chuàng)造巨大的商業(yè)價值,而且能為企業(yè)和政府機構的社會輿論監(jiān)督提供十分重要的參考依據(jù)。針對該研究挑戰(zhàn),本文的主要研究工作和創(chuàng)新點如下:1、通過文本情感分類任務的相關研究發(fā)現(xiàn),將循環(huán)神經(jīng)網(wǎng)絡（Recurrent Neural Network,RNN）和卷積神經(jīng)網(wǎng)絡（Convolutional Neural Network,CNN）進行合理地組合,可使得模型在學習過程中充分地綜合其二者的優(yōu)勢性能。相對于僅使用其單一的模型來說,效果有顯著提,但其中標準RNN和CNN分別存在梯度異常和重要性特征不明顯等問題,因此本文首先將雙向門控循環(huán)單元（Bidirectional Gated Recurrent Unit,Bi GRU）和深度循環(huán)神經(jīng)網(wǎng)絡（Dee... 

【文章來源】：南京郵電大學江蘇省

【文章頁數(shù)】：77 頁

【學位級別】：碩士

【部分圖文】：

Word2Vec兩種結構

南京郵電大學專業(yè)學位碩士研究生學位論文第二章相關背景知識介紹23的任意詞匯對生成新序列的影響是完全一致的，當然如果是極短的文本序列數(shù)據(jù)對其結果造成的影響不會很大，但如果擁有一定規(guī)模的文本序列數(shù)據(jù)，生成過程持續(xù)共用相同的語義編碼會導致局部詞匯數(shù)據(jù)的語義丟失，造成最終的文本序列數(shù)據(jù)輸出不會達到預期的結果。因此將注意力機制的思想融入至語義編碼過程便可以使該問題得到有效解決，如圖2.3所示。對于目標新序列的生成，可表示為：1=(1)(2.33)2=(2,1)(2.34)3=(3,1,2)(2.35)其即為針對原始文本序列數(shù)據(jù)中的不同詞匯分配不同的注意力，即：=∑=1(2.36)其中表示注意力分配的權重參數(shù)，表示當前時刻輸入詞匯后隱藏層的狀態(tài)。圖2.3基于注意力機制的編碼器-解碼器模型如果將原始文本詞序列數(shù)據(jù)表示為,的形式，目標文本詞序列數(shù)據(jù)表示為，那么便是和的相似度，便是本身，注意力計算公式亦可表示為：=∑(,)=1(2.37)策略梯度RL主要由環(huán)境、機器人、狀態(tài)、動作、獎勵等基本概念構成。一個機器人在環(huán)境中會做

南京郵電大學專業(yè)學位碩士研究生學位論文第三章基于DBGRU-MFCNN的文本情感分類研究26圖3.1長短時記憶網(wǎng)絡GRU是對LSTM的進一步改進，如圖3.2所示。通過將輸入門與遺忘門合二為一，通過重置門r來控制歷史信息的保留比例，更新門Z來控制輸入信息的更新比例，極大程度上縮減了網(wǎng)絡參數(shù)并簡化了計算過程，在文本量較大的情況下，GRU的訓練效率要優(yōu)于LSTM的訓練效率。圖3.2門控循環(huán)單元網(wǎng)絡標準GRU僅僅是將RNN的循環(huán)單元進行了替換，其只能有效地利用輸入詞的過去序列的信息，而無法利用未來序列的信息，導致無法針對全局的語義信息進行文本生成。當文本規(guī)模比較大時，數(shù)據(jù)的特征向量表示仍會受其最后時刻的隱藏層狀態(tài)較大的影響，并且文本存在領域性或傾向性時，無法準確地學習特殊的表達方式。因此DBGRU從雙向的角度出發(fā)，并采用其方向迭代交替的模式將網(wǎng)絡的隱藏層數(shù)進行一定程度地擴展，成功地綜合了輸入詞全局時序的特征信息與特殊性的表示信息，使其生成的文本語義表達更加準確，其網(wǎng)絡如圖3.3所示。


本文編號：2951999