基于神經(jīng)網(wǎng)絡(luò)和注意力機(jī)制的細(xì)粒度情感分析
發(fā)布時(shí)間:2021-07-10 23:18
信息化高度發(fā)展的今天,互聯(lián)網(wǎng)平臺(tái)已經(jīng)成為人們發(fā)表觀點(diǎn),表達(dá)意見,交流信息的重要渠道。用戶在使用微博、電商平臺(tái)時(shí)會(huì)針對(duì)某些事件或某些產(chǎn)品發(fā)表評(píng)論,這就產(chǎn)生了大量包含用戶情感的文本信息。如果能對(duì)這些數(shù)據(jù)加以利用,分析其中潛在的用戶情感信息,可以為消費(fèi)者和商家提供決策支持,同時(shí)可以幫助政府部門制定政策,正確引導(dǎo)輿情傳播。傳統(tǒng)句子級(jí)的情感分析工作通常是對(duì)句子給出一個(gè)整體上的情感判斷結(jié)果,無(wú)法針對(duì)商品的某一方面或?qū)傩裕ㄓ械奈墨I(xiàn)也稱之為目標(biāo))做出判斷,在如今商品信息多元化發(fā)展的今天已經(jīng)不能滿足實(shí)際需要,所以方面級(jí)的細(xì)粒度情感分析工作應(yīng)運(yùn)而生,該項(xiàng)技術(shù)可以從多個(gè)維度分析用戶數(shù)據(jù)。例如,這句話“這款手機(jī)的電池非常耐用但是處理速度有點(diǎn)慢!,我們從電池的角度可以看出用戶對(duì)這款手機(jī)表達(dá)出積極的情感,而從處理速度的角度可以看出用戶對(duì)這款手機(jī)表達(dá)了消極的情感。近年來(lái),隨著深度學(xué)習(xí)的迅速發(fā)展,細(xì)粒度情感分析工作也在蓬勃興起。因此,本文以深度學(xué)習(xí)中的神經(jīng)網(wǎng)絡(luò)和注意力機(jī)制兩方面為切入點(diǎn)對(duì)細(xì)粒度情感分析問題進(jìn)行研究:(1)本文提出了一種上下文語(yǔ)義信息保存機(jī)制(Context-Retention Transformat...
【文章來(lái)源】:山東師范大學(xué)山東省
【文章頁(yè)數(shù)】:75 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
卷積操作示意圖
山東師范大學(xué)碩士論文15=[+12](2-3)其中l(wèi)為句子向量的長(zhǎng)度,fs為卷積窗口的大校圖2-4池化操作示意圖因?yàn)閷⒕矸e核數(shù)量設(shè)置為150個(gè),池化后生成的句子表示矩陣為∈×150。池化操作后,每個(gè)卷積核提取的特征向量明顯減少,并且保留了句子核心的語(yǔ)義信息。CNN卷積層和池化層分別通過卷積運(yùn)算和池化運(yùn)算提取短文本句子的局部特征,得到廣義的n-gram特征向量。在全連接層將多類特征向量連接起來(lái)用于情感分類。2.3.2長(zhǎng)短期記憶網(wǎng)絡(luò)循環(huán)神經(jīng)網(wǎng)絡(luò)(RecurrentNeuralNetwork,RNN)是一種序列化模型,適用于序列數(shù)據(jù)建模,廣泛應(yīng)用于自然語(yǔ)言處理、語(yǔ)音識(shí)別、機(jī)器翻譯等領(lǐng)域。RNN與其他的神經(jīng)網(wǎng)絡(luò)層與層之間通過權(quán)值連接,彼此獨(dú)立的方式不同,其隱藏層之間的神經(jīng)元是有連接的,前一個(gè)神經(jīng)元的輸出是下一個(gè)神經(jīng)元的部分輸入。這樣的特性可以使之前神經(jīng)元的信息傳遞下去,所以RNN可以記住歷史信息,在處理序列信息的任務(wù)中受到廣大研究者的青睞。但是,標(biāo)準(zhǔn)的RNN通過一個(gè)
山東師范大學(xué)碩士論文16重復(fù)的只有簡(jiǎn)單tanh函數(shù)的模塊來(lái)連接文本序列中的每一個(gè)詞,容易產(chǎn)生梯度消失和梯度爆炸的問題,如圖2-5所示,于是研究者對(duì)其進(jìn)行了改進(jìn),提出了長(zhǎng)短期記憶網(wǎng)絡(luò)(Long-ShortTermMemory,LSTM)。圖2-5RNN結(jié)構(gòu)圖LSTM是由RNN衍變而來(lái),不同的是LSTM引入了門控機(jī)制,門控機(jī)制能通過一種被稱為門的結(jié)構(gòu)對(duì)細(xì)胞狀態(tài)進(jìn)行刪除或者添加信息,門能夠有選擇性的決定讓哪些信息通過,有效解決了梯度消失和梯度爆炸問題。每一個(gè)LSTM單元由輸入門、輸出門、遺忘門和細(xì)胞狀態(tài)構(gòu)成,如圖2-6所示。圖2-6LSTM結(jié)構(gòu)圖LSTM的第一步就是決定細(xì)胞狀態(tài)需要丟棄哪些信息,這部分操作是通過一個(gè)稱為遺忘門的sigmoid單元來(lái)處理的,細(xì)胞在接收到上層的輸出ht-1和本層輸
【參考文獻(xiàn)】:
期刊論文
[1]一種面向聚類的文本建模方法[J]. 唐曉麗,白宇,張桂平,蔡?hào)|風(fēng). 山西大學(xué)學(xué)報(bào)(自然科學(xué)版). 2014(04)
[2]中文微博情感分析研究綜述[J]. 周勝臣,瞿文婷,石英子,施詢之,孫韻辰. 計(jì)算機(jī)應(yīng)用與軟件. 2013(03)
碩士論文
[1]情感語(yǔ)境中的微博輿情分析研究[D]. 王倩.南京郵電大學(xué) 2018
本文編號(hào):3276841
【文章來(lái)源】:山東師范大學(xué)山東省
【文章頁(yè)數(shù)】:75 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
卷積操作示意圖
山東師范大學(xué)碩士論文15=[+12](2-3)其中l(wèi)為句子向量的長(zhǎng)度,fs為卷積窗口的大校圖2-4池化操作示意圖因?yàn)閷⒕矸e核數(shù)量設(shè)置為150個(gè),池化后生成的句子表示矩陣為∈×150。池化操作后,每個(gè)卷積核提取的特征向量明顯減少,并且保留了句子核心的語(yǔ)義信息。CNN卷積層和池化層分別通過卷積運(yùn)算和池化運(yùn)算提取短文本句子的局部特征,得到廣義的n-gram特征向量。在全連接層將多類特征向量連接起來(lái)用于情感分類。2.3.2長(zhǎng)短期記憶網(wǎng)絡(luò)循環(huán)神經(jīng)網(wǎng)絡(luò)(RecurrentNeuralNetwork,RNN)是一種序列化模型,適用于序列數(shù)據(jù)建模,廣泛應(yīng)用于自然語(yǔ)言處理、語(yǔ)音識(shí)別、機(jī)器翻譯等領(lǐng)域。RNN與其他的神經(jīng)網(wǎng)絡(luò)層與層之間通過權(quán)值連接,彼此獨(dú)立的方式不同,其隱藏層之間的神經(jīng)元是有連接的,前一個(gè)神經(jīng)元的輸出是下一個(gè)神經(jīng)元的部分輸入。這樣的特性可以使之前神經(jīng)元的信息傳遞下去,所以RNN可以記住歷史信息,在處理序列信息的任務(wù)中受到廣大研究者的青睞。但是,標(biāo)準(zhǔn)的RNN通過一個(gè)
山東師范大學(xué)碩士論文16重復(fù)的只有簡(jiǎn)單tanh函數(shù)的模塊來(lái)連接文本序列中的每一個(gè)詞,容易產(chǎn)生梯度消失和梯度爆炸的問題,如圖2-5所示,于是研究者對(duì)其進(jìn)行了改進(jìn),提出了長(zhǎng)短期記憶網(wǎng)絡(luò)(Long-ShortTermMemory,LSTM)。圖2-5RNN結(jié)構(gòu)圖LSTM是由RNN衍變而來(lái),不同的是LSTM引入了門控機(jī)制,門控機(jī)制能通過一種被稱為門的結(jié)構(gòu)對(duì)細(xì)胞狀態(tài)進(jìn)行刪除或者添加信息,門能夠有選擇性的決定讓哪些信息通過,有效解決了梯度消失和梯度爆炸問題。每一個(gè)LSTM單元由輸入門、輸出門、遺忘門和細(xì)胞狀態(tài)構(gòu)成,如圖2-6所示。圖2-6LSTM結(jié)構(gòu)圖LSTM的第一步就是決定細(xì)胞狀態(tài)需要丟棄哪些信息,這部分操作是通過一個(gè)稱為遺忘門的sigmoid單元來(lái)處理的,細(xì)胞在接收到上層的輸出ht-1和本層輸
【參考文獻(xiàn)】:
期刊論文
[1]一種面向聚類的文本建模方法[J]. 唐曉麗,白宇,張桂平,蔡?hào)|風(fēng). 山西大學(xué)學(xué)報(bào)(自然科學(xué)版). 2014(04)
[2]中文微博情感分析研究綜述[J]. 周勝臣,瞿文婷,石英子,施詢之,孫韻辰. 計(jì)算機(jī)應(yīng)用與軟件. 2013(03)
碩士論文
[1]情感語(yǔ)境中的微博輿情分析研究[D]. 王倩.南京郵電大學(xué) 2018
本文編號(hào):3276841
本文鏈接:http://sikaile.net/kejilunwen/shengwushengchang/3276841.html
最近更新
教材專著