短文本情感分析是通過使用采集、處理、分析等方式來獲取文本的情感極性。目前,基于深度神經(jīng)網(wǎng)絡(luò)的情感分類方法能夠有效克服傳統(tǒng)方法對情感詞典和復(fù)雜特征工程的依賴,并取得了顯著的情感分類效果。然而,短文本情感分類研究存在以下問題:文本自身句式短小、不規(guī)范、信息豐富,且神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練時間長、易忽視句子中的上下文依賴關(guān)系。針對上述問題,本文提出兩種情感分析模型并且針對短文本構(gòu)造三組情感特征,主要研究內(nèi)容如下:（1）針對循環(huán)神經(jīng)網(wǎng)絡(luò)模型存在信息記憶丟失、忽略上下文非連續(xù)詞之間相關(guān)性和梯度彌散的問題,提出基于自注意力機制和樹形長短時記憶網(wǎng)絡(luò)（Tree-LSTM）的情感分析模型。該模型考慮到Tree-LSTM缺乏對情感詞的捕獲能力,首先在Tree-LSTM的輸入端添加自注意力機制,然后在Tree-LSTM模型中學(xué)習(xí)長距離節(jié)點之間的語義搭配關(guān)系,最后在輸出端引入Maxout神經(jīng)元解決隨機梯度下降算法中存在的梯度彌散問題。將該模型與六個情感分類模型進行對比,在公開數(shù)據(jù)集COAE2014上完成情感二分類實驗,實驗結(jié)果表明該模型在評價指標準確率、精確率、查全率、F₁值上優(yōu)于所選取的對比模... 

【文章來源】：鄭州大學(xué)河南省 211工程院校

【文章頁數(shù)】：62 頁

【學(xué)位級別】：碩士

【部分圖文】：

基于情感詞典的情感分類流程

1緒論4構(gòu)造是否合適會嚴重影響機器學(xué)習(xí)分類的效果。圖1.2基于機器學(xué)習(xí)的情感分類流程上述兩種方法過度依賴詞典或特征工程的構(gòu)建。近年來興起的深度學(xué)習(xí)技術(shù)受到關(guān)注，其加速了圖像處理[17]、機器人[18]、自然語言處理[19]等領(lǐng)域的發(fā)展。深度學(xué)習(xí)技術(shù)可以自動學(xué)習(xí)到無標注文本中隱藏的深層特征，同時能夠完成端到端的分類，從而提高分類效果。因此，深度學(xué)習(xí)技術(shù)被大量應(yīng)用于自然語言處理領(lǐng)域。基于深度學(xué)習(xí)的情感分類方法關(guān)鍵技術(shù)是深度神經(jīng)網(wǎng)絡(luò)模型，其不需要過度依賴特征工程，而且取得了比傳統(tǒng)方法更優(yōu)的分類效果[20][21]。圖1.3顯示的是基于深度學(xué)習(xí)的情感分類流程。如何將深度學(xué)習(xí)技術(shù)應(yīng)用到情感分析領(lǐng)域成為研究者的研究重點，同時是自然語言處理領(lǐng)域的研究熱點[22]。深度神經(jīng)網(wǎng)絡(luò)模型較好地解決了上述兩種情感分析方法的缺陷，擺脫了詞典和特征工程的束縛，使用多層神經(jīng)網(wǎng)絡(luò)將低層詞向量合成高層文本情感語義特征向量，從而得到文本最終的情感語義表示，并進一步使用神經(jīng)網(wǎng)絡(luò)模型識別文本的情感極性，加速了情感分析領(lǐng)域的發(fā)展。Kim等[23]使用卷積神經(jīng)網(wǎng)絡(luò)（ConvolutionalNeuralNetworks，CNN）對短文本進行建模來完成句子級別的文本情感分類，CNN平行化接收詞向量矩陣，在情感分析任務(wù)中的分類效果優(yōu)于傳統(tǒng)機器學(xué)習(xí)方法。在跨語言的情感分析任務(wù)中，Zhou等人[24]提出了一種結(jié)合注意力機制（AttentionMechanism）和長短時記憶網(wǎng)絡(luò)（LongShort-termMemoryNetworks，LSTM）的深度網(wǎng)絡(luò)模型。該模型中的LSTM模型能夠接收詞語的時序化輸入，并學(xué)習(xí)文本中詞語間的依賴關(guān)系，同時通過注意力機制高度關(guān)注文本中的重要信息；循環(huán)神經(jīng)網(wǎng)絡(luò)（RecurrentNeuralNetworks，RNN）[25]和長短時記憶網(wǎng)絡(luò)（LSTM）[26]也是情感分析中常用的深度學(xué)習(xí)模型。

1緒論5充分利用短文本中豐富的情感信息。該方法有利于提高短文本情感分類的性能。Sahni等人[28]提出可加快情感分析計算過程的技術(shù)，使用Twitter文本主觀性來選擇正確的訓(xùn)練樣本，同時還介紹了EFWS（有效詞得分）的概念，可用于短文本情感分類。何炎祥等人[29]提出一種新穎的情感分析模型，該模型將文本中表情符號映射到情感空間中，并使用卷積神經(jīng)網(wǎng)絡(luò)進行特征提取和分類。該模型有效增強了卷積神經(jīng)網(wǎng)絡(luò)捕捉文本情感特征信息的能力，從而提高短文本情感分類性能。陳珂等人[30]提出使用多通道卷積神經(jīng)網(wǎng)絡(luò)對多種情感組合特征進行學(xué)習(xí)。張仰森等人[31]構(gòu)建了微博情感符號庫，該符號庫包含了情感詞、否定詞、情感符號、程度副詞和常用網(wǎng)絡(luò)用語，實驗驗證了豐富的情感符號信息對短文本情感分類具有更大的幫助。上述深度網(wǎng)絡(luò)模型結(jié)合情感特征學(xué)習(xí)短文本中隱藏的情感信息，提高了短文本識別情感類別的性能。圖1.3基于深度學(xué)習(xí)的情感分類流程此外，不管是機器學(xué)習(xí)還是深度學(xué)習(xí)方法都離不開文本的向量化，即將文本分詞后的詞語映射為多維向量。情感分析任務(wù)中經(jīng)常使用One-hot表示方法和分布式表示方法對文本進行特征映射。其中One-hot表示方法將文本中的詞語特征映射為多維的0-1向量，缺點是映射后的向量無法表示詞語本身的語義以及詞語之間的依賴關(guān)系。為解決此問題，Bengio等人[32]提出基于神經(jīng)網(wǎng)絡(luò)構(gòu)建統(tǒng)計語言模型框架。利用該框架學(xué)習(xí)詞向量的權(quán)重和概率模型參數(shù)，并用多維連續(xù)的實數(shù)值向量表示詞語。此種向量表示方法能夠考慮到詞語與詞語之間的語義以及依賴關(guān)系。Mikolov等人[33]于2013年提出使用CBOW和Skip-gram兩種模型

【參考文獻】：
期刊論文
[1]基于多通道卷積神經(jīng)網(wǎng)絡(luò)的中文微博情感分析[J]. 陳珂,梁斌,柯文德,許波,曾國超.  計算機研究與發(fā)展. 2018(05)
[2]一種結(jié)合深度學(xué)習(xí)和集成學(xué)習(xí)的情感分析模型[J]. 金志剛,韓玥,朱琦.  哈爾濱工業(yè)大學(xué)學(xué)報. 2018(11)
[3]基于雙重注意力模型的微博情感分析方法[J]. 張仰森,鄭佳,黃改娟,蔣玉茹.  清華大學(xué)學(xué)報(自然科學(xué)版). 2018(02)
[4]基于網(wǎng)格聚類的情感分析研究[J]. 繆裕青,高韓,劉同來,文益民.  中國科學(xué)技術(shù)大學(xué)學(xué)報. 2016(10)
[5]用于微博情感分析的一種情感語義增強的深度學(xué)習(xí)模型[J]. 何炎祥,孫松濤,牛菲菲,李飛.  計算機學(xué)報. 2017(04)
[6]面向短文本情感分類的特征拓撲聚合模型[J]. 胡楊,馮旭鵬,黃青松,付曉東,劉驪,劉利軍.  中文信息學(xué)報. 2016(05)
[7]Study of Sentiment Classification for Chinese Microblog Based on Recurrent Neural Network[J]. ZHANG Yangsen,JIANG Yuru,TONG Yixuan.  Chinese Journal of Electronics. 2016(04)
[8]基于HNC語境框架和情感詞典的文本情感傾向分析[J]. 張克亮,黃金柱,曹蓉,李峰.  山東大學(xué)學(xué)報(理學(xué)版). 2016(07)
[9]短文本理解研究[J]. 王仲遠,程健鵬,王海勛,文繼榮.  計算機研究與發(fā)展. 2016(02)
[10]基于多樣化特征的中文微博情感分類方法研究[J]. 張志琳,宗成慶.  中文信息學(xué)報. 2015(04)

碩士論文
[1]基于深度學(xué)習(xí)的文本情感分析研究[D]. 梁斌.蘇州大學(xué) 2018
[2]基于微博平臺的中文情感分析技術(shù)的研究[D]. 葛達明.沈陽工業(yè)大學(xué) 2017
[3]基于深度學(xué)習(xí)的文本情感分析研究[D]. 曹宇慧.哈爾濱工業(yè)大學(xué) 2016



本文編號：3509147