基于深度學(xué)習(xí)的電商評(píng)論細(xì)粒度情感分析研究
發(fā)布時(shí)間:2021-09-19 00:39
隨著互聯(lián)網(wǎng)的蓬勃發(fā)展及智能終端的普及,網(wǎng)購(gòu)已經(jīng)成為人們生活中一種重要的購(gòu)物方式。用戶在各種電商購(gòu)平臺(tái)上發(fā)表評(píng)論、表達(dá)情感,從而產(chǎn)生并累積了大量亟待處理的商品評(píng)論文本。利用自然語(yǔ)言處理相關(guān)技術(shù)對(duì)這些評(píng)論文本進(jìn)行分析以挖掘其中所包含的情感傾向是商家獲取消費(fèi)者反饋信息的重要途徑。因此,研究針對(duì)電商評(píng)論的文本情感分析具有重要意義。根據(jù)情感分析對(duì)象粒度的大小可將情感分析分為四種級(jí)別,粒度由小到大分別是詞語(yǔ)級(jí)、句子級(jí)、段落級(jí)、篇章級(jí)。電商評(píng)論通常包含對(duì)商品不同屬性的情感傾向,因此更適合詞匯級(jí)別的情感分析。詞匯級(jí)別的情感分析即細(xì)粒度情感分析。本文以電商評(píng)論語(yǔ)料為基礎(chǔ),圍繞細(xì)粒度情感分析涉及的評(píng)價(jià)對(duì)象抽取任務(wù)和關(guān)聯(lián)評(píng)價(jià)對(duì)象情感分析任務(wù)展開研究。具體地,本文研究?jī)?nèi)容如下:(1)研究評(píng)價(jià)對(duì)象的抽取方法。本文提出了一種基于雙通道卷積神經(jīng)網(wǎng)絡(luò)與雙向長(zhǎng)短期記憶網(wǎng)絡(luò)的評(píng)價(jià)對(duì)象抽取模型CNN-BiLSTM-CRF。該模型分為三個(gè)模塊,分別為雙通道嵌入模塊、編碼模塊、判別序列模塊。雙通道嵌入模塊將評(píng)論文本轉(zhuǎn)化成詞向量表示并融入詞性特征。編碼模塊使用CNN與BiLSTM兩種神經(jīng)網(wǎng)絡(luò)進(jìn)行編碼,兩種網(wǎng)絡(luò)不同的捕獲特征方式充...
【文章來(lái)源】:昆明理工大學(xué)云南省
【文章頁(yè)數(shù)】:71 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
前饋神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型
昆明理工大學(xué)專業(yè)學(xué)位碩士學(xué)位論文10整體結(jié)構(gòu)如圖2.1所示:圖2.1前饋神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型該模型利用最大對(duì)數(shù)似然概率作為語(yǔ)言模型的目標(biāo)函數(shù)。在該模型中,詞匯表中的每個(gè)單詞與分布式單詞特征向量相關(guān)聯(lián),單詞序列的聯(lián)合概率函數(shù)由序列中這些單詞的特征向量的函數(shù)表示。該模型可以同時(shí)學(xué)習(xí)單詞特征向量和該概率函數(shù)的參數(shù)。這種神經(jīng)網(wǎng)絡(luò)方法可以解決稀疏問(wèn)題,并且在困惑方面也已經(jīng)證明與n-gram模型相比可以很好地推廣。然而,此方法主要缺點(diǎn)是訓(xùn)練和測(cè)試時(shí)間非常長(zhǎng)。學(xué)者M(jìn)ikolov在上述基礎(chǔ)上提出了word2vec相關(guān)模型[35],且克服了相關(guān)缺點(diǎn)。Word2vec有兩種訓(xùn)練模型,分別為CBOW和Skip-gram模型.圖2.2word2vec兩種模型結(jié)構(gòu)如圖2.2中所示,CBOW模型將每個(gè)單詞的上下文作為輸入,并嘗試預(yù)測(cè)與上下文對(duì)應(yīng)的單詞,而Skip-gram模型則完全相反,該模型通過(guò)中心詞預(yù)測(cè)預(yù)測(cè)上下
第二章相關(guān)理論基礎(chǔ)及模型11文。2.3深度學(xué)習(xí)模型深度學(xué)習(xí)是一類機(jī)器學(xué)習(xí)算法,其使用多層非線性單元進(jìn)行特征提取和轉(zhuǎn)換,學(xué)習(xí)多層次的抽象特征[36]。本節(jié)介紹目前常用的深度學(xué)習(xí)網(wǎng)絡(luò),包括卷積神經(jīng)網(wǎng)絡(luò)(ConvolutionalNeuralNetworks,CNN)、循環(huán)神經(jīng)網(wǎng)絡(luò)(RecurrentNeuralNetwork,RNN)及長(zhǎng)短期記憶網(wǎng)絡(luò)(LongShort-TermMemory,LSTM)。2.3.1卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)(CNN)是一種經(jīng)典的深度神經(jīng)網(wǎng)絡(luò),最常用于視覺圖像分析。CNN也是一種具有深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)模型,是深度學(xué)習(xí)代表模型之一[37],其使用多層感知器的變體設(shè)計(jì),且具有共享權(quán)重架構(gòu)和平移不變性特征。卷積神經(jīng)網(wǎng)絡(luò)由輸入層和輸出層以及多個(gè)隱藏層構(gòu)成。典型的卷積神經(jīng)網(wǎng)絡(luò)通常包含卷積層(ConvolutionalLayer)、池化層(PoolingLayer)和全連接層(FullyConnectedLayer)。(1)卷積層在卷積神經(jīng)網(wǎng)絡(luò)中,卷積層與輸入層相連接。卷積層的特點(diǎn)在于其通過(guò)以卷積核卷積方式獲取輸入矩陣的特征信息,這樣獲取特征信息有很大的優(yōu)勢(shì),那就是能夠極大地減少參數(shù)的數(shù)量,進(jìn)而降低訓(xùn)練模型的難度。卷積操作的公式如下所示:1(b)ijjillljijiMXfwX(2.9)其中,Xjl表示卷積操作產(chǎn)生的特征圖(Fearturemap),Mj表示所有卷積核,wjl表示卷積核權(quán)重矩陣,b表示偏置,f表示模型使用的激活函數(shù)。一個(gè)簡(jiǎn)單直觀的卷積操作過(guò)程例子如圖2.3所示:圖2.3卷積操作示
【參考文獻(xiàn)】:
期刊論文
[1]利用反向傳播算法合理分配緩沖區(qū)[J]. 吳援明,高科,李樂民. 電子與信息學(xué)報(bào). 2006(08)
[2]一種改進(jìn)的反向傳播神經(jīng)網(wǎng)絡(luò)算法[J]. 邱浩,王道波,張煥春. 應(yīng)用科學(xué)學(xué)報(bào). 2004(03)
[3]統(tǒng)計(jì)語(yǔ)言模型綜述[J]. 邢永康,馬少平. 計(jì)算機(jī)科學(xué). 2003(09)
碩士論文
[1]基于深度學(xué)習(xí)的關(guān)聯(lián)目標(biāo)情感分析研究[D]. 蔡林森.華東師范大學(xué) 2018
[2]基于深度學(xué)習(xí)的微博文本情感分析研究[D]. 宋夢(mèng)姣.南京大學(xué) 2018
[3]基于深度學(xué)習(xí)的命名實(shí)體識(shí)別研究[D]. 霍振朗.華南理工大學(xué) 2018
[4]基于神經(jīng)網(wǎng)絡(luò)的英文序列標(biāo)注方法研究[D]. 彭宗徽.北京郵電大學(xué) 2018
[5]基于深度神經(jīng)網(wǎng)絡(luò)的方面級(jí)情感分析算法研究[D]. 王毅.北京郵電大學(xué) 2018
[6]面向餐館評(píng)論的情感分析關(guān)鍵技術(shù)研究[D]. 張婷婷.哈爾濱工業(yè)大學(xué) 2017
本文編號(hào):3400652
【文章來(lái)源】:昆明理工大學(xué)云南省
【文章頁(yè)數(shù)】:71 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
前饋神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型
昆明理工大學(xué)專業(yè)學(xué)位碩士學(xué)位論文10整體結(jié)構(gòu)如圖2.1所示:圖2.1前饋神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型該模型利用最大對(duì)數(shù)似然概率作為語(yǔ)言模型的目標(biāo)函數(shù)。在該模型中,詞匯表中的每個(gè)單詞與分布式單詞特征向量相關(guān)聯(lián),單詞序列的聯(lián)合概率函數(shù)由序列中這些單詞的特征向量的函數(shù)表示。該模型可以同時(shí)學(xué)習(xí)單詞特征向量和該概率函數(shù)的參數(shù)。這種神經(jīng)網(wǎng)絡(luò)方法可以解決稀疏問(wèn)題,并且在困惑方面也已經(jīng)證明與n-gram模型相比可以很好地推廣。然而,此方法主要缺點(diǎn)是訓(xùn)練和測(cè)試時(shí)間非常長(zhǎng)。學(xué)者M(jìn)ikolov在上述基礎(chǔ)上提出了word2vec相關(guān)模型[35],且克服了相關(guān)缺點(diǎn)。Word2vec有兩種訓(xùn)練模型,分別為CBOW和Skip-gram模型.圖2.2word2vec兩種模型結(jié)構(gòu)如圖2.2中所示,CBOW模型將每個(gè)單詞的上下文作為輸入,并嘗試預(yù)測(cè)與上下文對(duì)應(yīng)的單詞,而Skip-gram模型則完全相反,該模型通過(guò)中心詞預(yù)測(cè)預(yù)測(cè)上下
第二章相關(guān)理論基礎(chǔ)及模型11文。2.3深度學(xué)習(xí)模型深度學(xué)習(xí)是一類機(jī)器學(xué)習(xí)算法,其使用多層非線性單元進(jìn)行特征提取和轉(zhuǎn)換,學(xué)習(xí)多層次的抽象特征[36]。本節(jié)介紹目前常用的深度學(xué)習(xí)網(wǎng)絡(luò),包括卷積神經(jīng)網(wǎng)絡(luò)(ConvolutionalNeuralNetworks,CNN)、循環(huán)神經(jīng)網(wǎng)絡(luò)(RecurrentNeuralNetwork,RNN)及長(zhǎng)短期記憶網(wǎng)絡(luò)(LongShort-TermMemory,LSTM)。2.3.1卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)(CNN)是一種經(jīng)典的深度神經(jīng)網(wǎng)絡(luò),最常用于視覺圖像分析。CNN也是一種具有深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)模型,是深度學(xué)習(xí)代表模型之一[37],其使用多層感知器的變體設(shè)計(jì),且具有共享權(quán)重架構(gòu)和平移不變性特征。卷積神經(jīng)網(wǎng)絡(luò)由輸入層和輸出層以及多個(gè)隱藏層構(gòu)成。典型的卷積神經(jīng)網(wǎng)絡(luò)通常包含卷積層(ConvolutionalLayer)、池化層(PoolingLayer)和全連接層(FullyConnectedLayer)。(1)卷積層在卷積神經(jīng)網(wǎng)絡(luò)中,卷積層與輸入層相連接。卷積層的特點(diǎn)在于其通過(guò)以卷積核卷積方式獲取輸入矩陣的特征信息,這樣獲取特征信息有很大的優(yōu)勢(shì),那就是能夠極大地減少參數(shù)的數(shù)量,進(jìn)而降低訓(xùn)練模型的難度。卷積操作的公式如下所示:1(b)ijjillljijiMXfwX(2.9)其中,Xjl表示卷積操作產(chǎn)生的特征圖(Fearturemap),Mj表示所有卷積核,wjl表示卷積核權(quán)重矩陣,b表示偏置,f表示模型使用的激活函數(shù)。一個(gè)簡(jiǎn)單直觀的卷積操作過(guò)程例子如圖2.3所示:圖2.3卷積操作示
【參考文獻(xiàn)】:
期刊論文
[1]利用反向傳播算法合理分配緩沖區(qū)[J]. 吳援明,高科,李樂民. 電子與信息學(xué)報(bào). 2006(08)
[2]一種改進(jìn)的反向傳播神經(jīng)網(wǎng)絡(luò)算法[J]. 邱浩,王道波,張煥春. 應(yīng)用科學(xué)學(xué)報(bào). 2004(03)
[3]統(tǒng)計(jì)語(yǔ)言模型綜述[J]. 邢永康,馬少平. 計(jì)算機(jī)科學(xué). 2003(09)
碩士論文
[1]基于深度學(xué)習(xí)的關(guān)聯(lián)目標(biāo)情感分析研究[D]. 蔡林森.華東師范大學(xué) 2018
[2]基于深度學(xué)習(xí)的微博文本情感分析研究[D]. 宋夢(mèng)姣.南京大學(xué) 2018
[3]基于深度學(xué)習(xí)的命名實(shí)體識(shí)別研究[D]. 霍振朗.華南理工大學(xué) 2018
[4]基于神經(jīng)網(wǎng)絡(luò)的英文序列標(biāo)注方法研究[D]. 彭宗徽.北京郵電大學(xué) 2018
[5]基于深度神經(jīng)網(wǎng)絡(luò)的方面級(jí)情感分析算法研究[D]. 王毅.北京郵電大學(xué) 2018
[6]面向餐館評(píng)論的情感分析關(guān)鍵技術(shù)研究[D]. 張婷婷.哈爾濱工業(yè)大學(xué) 2017
本文編號(hào):3400652
本文鏈接:http://sikaile.net/kejilunwen/shengwushengchang/3400652.html
最近更新
教材專著