融合雙層注意力機(jī)制的短文本情感分析模型
發(fā)布時(shí)間:2021-01-10 22:57
短文本情感分類一直是信息處理領(lǐng)域中極具挑戰(zhàn)性的問(wèn)題。與文檔級(jí)別的文本不同,短文本由于其自身的諸多特性:(1)短文本包含有限的上下文語(yǔ)境,并且語(yǔ)義表達(dá)往往不完整;(2)許多用戶生成文本(UGC)如搜索查詢,微博等短文本,并不總是很好地遵循書面語(yǔ)言的語(yǔ)法[1]。造成傳統(tǒng)機(jī)器學(xué)習(xí)方法對(duì)其分析效果不是很理想。傳統(tǒng)機(jī)器學(xué)習(xí)模型一般通過(guò)向量空間模型對(duì)短文本進(jìn)行表示,通過(guò)文本特征擴(kuò)展對(duì)分類效果進(jìn)行優(yōu)化,以此提高對(duì)短文本分類的效果[2-3]。但由于短文本一般都是句子級(jí)別的文本,大多存在語(yǔ)料簡(jiǎn)短,數(shù)據(jù)稀疏等問(wèn)題,傳統(tǒng)機(jī)器學(xué)習(xí)的性能往往表現(xiàn)一般。因此,本文采用深度學(xué)習(xí)的方法對(duì)短文本進(jìn)行情感分析。本文的研究?jī)?nèi)容概括如下:(1)通過(guò)對(duì)當(dāng)前短文本情感分析領(lǐng)域的前沿發(fā)展分析可知,基于深度學(xué)習(xí)的方法以其特征的自學(xué)習(xí)特性,在短文本情感分析問(wèn)題上表現(xiàn)良好。本文在現(xiàn)有基于深度學(xué)習(xí)的短文本情感分析的研究基礎(chǔ)上,我們研究發(fā)現(xiàn):1)一部分短文本中包含一個(gè)或多個(gè)與該短文本實(shí)際表達(dá)的情感不一致或差異較大的詞,我們稱之為“干擾詞”。這種“干擾詞”在一定程度上干擾深度模型的判斷,導(dǎo)致深度模型...
【文章來(lái)源】:華南理工大學(xué)廣東省 211工程院校 985工程院校 教育部直屬院校
【文章頁(yè)數(shù)】:63 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
基于機(jī)器學(xué)習(xí)的文本分類框架
圖 2-1 基于機(jī)器學(xué)習(xí)的文本分類框架學(xué)習(xí)的短文本情感分析框架分類指的是文本長(zhǎng)度為句子級(jí)別的文本。假定給定一個(gè)句子感分析就是要判定該句子的情感傾向,情感傾向可以是兩類+代表積極情感傾向, 代表消極情感傾向,0 代表中性情感領(lǐng)域,句子級(jí)別文本情感分析整體框架可以分為 3 個(gè)部分,中的每個(gè)詞語(yǔ)進(jìn)行表示;第二部分就是選擇合適的神經(jīng)網(wǎng)絡(luò)分就是通過(guò) softmax 作為分類器對(duì)文本給出一個(gè)分類標(biāo)簽。
= ′ ∑ ′ ∈表示上下文信息: = ,袋模型中,就直接吧隱藏層去掉,大大減少了計(jì)算量,提高了計(jì)數(shù)據(jù)訓(xùn)練模型,最后的效果也不錯(cuò)。文本訓(xùn)練 ,…, ,連續(xù)詞袋模型的目標(biāo)函數(shù)為: = 1 ( | )模型的結(jié)構(gòu)如圖 2-3 所示:
【參考文獻(xiàn)】:
期刊論文
[1]基于深度學(xué)習(xí)的短文本評(píng)論產(chǎn)品特征提取及情感分類研究[J]. 李杰,李歡. 情報(bào)理論與實(shí)踐. 2018(02)
[2]神經(jīng)網(wǎng)絡(luò)中的注意力機(jī)制[J]. Adam Kosiorek. 機(jī)器人產(chǎn)業(yè). 2017(06)
[3]基于注意力機(jī)制的微博情感分析[J]. 周瑛,劉越,蔡俊. 情報(bào)理論與實(shí)踐. 2018(03)
[4]基于特征擴(kuò)展與深度學(xué)習(xí)的短文本情感判定方法[J]. 杜永萍,陳守欽,趙曉錚. 計(jì)算機(jī)科學(xué). 2017(10)
[5]基于多維擴(kuò)展特征與深度學(xué)習(xí)的微博短文本情感分析[J]. 孫曉,彭曉琪,胡敏,任福繼. 電子與信息學(xué)報(bào). 2017(09)
[6]基于機(jī)器學(xué)習(xí)的商品評(píng)論情感分析模型研究[J]. 趙剛,徐贊. 信息安全研究. 2017(02)
[7]網(wǎng)絡(luò)情感詞自動(dòng)識(shí)別方法研究[J]. 張清亮,徐健. 現(xiàn)代圖書情報(bào)技術(shù). 2011(10)
碩士論文
[1]基于深度學(xué)習(xí)的文本情感分類研究[D]. 朱少杰.哈爾濱工業(yè)大學(xué) 2014
本文編號(hào):2969572
【文章來(lái)源】:華南理工大學(xué)廣東省 211工程院校 985工程院校 教育部直屬院校
【文章頁(yè)數(shù)】:63 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
基于機(jī)器學(xué)習(xí)的文本分類框架
圖 2-1 基于機(jī)器學(xué)習(xí)的文本分類框架學(xué)習(xí)的短文本情感分析框架分類指的是文本長(zhǎng)度為句子級(jí)別的文本。假定給定一個(gè)句子感分析就是要判定該句子的情感傾向,情感傾向可以是兩類+代表積極情感傾向, 代表消極情感傾向,0 代表中性情感領(lǐng)域,句子級(jí)別文本情感分析整體框架可以分為 3 個(gè)部分,中的每個(gè)詞語(yǔ)進(jìn)行表示;第二部分就是選擇合適的神經(jīng)網(wǎng)絡(luò)分就是通過(guò) softmax 作為分類器對(duì)文本給出一個(gè)分類標(biāo)簽。
= ′ ∑ ′ ∈表示上下文信息: = ,袋模型中,就直接吧隱藏層去掉,大大減少了計(jì)算量,提高了計(jì)數(shù)據(jù)訓(xùn)練模型,最后的效果也不錯(cuò)。文本訓(xùn)練 ,…, ,連續(xù)詞袋模型的目標(biāo)函數(shù)為: = 1 ( | )模型的結(jié)構(gòu)如圖 2-3 所示:
【參考文獻(xiàn)】:
期刊論文
[1]基于深度學(xué)習(xí)的短文本評(píng)論產(chǎn)品特征提取及情感分類研究[J]. 李杰,李歡. 情報(bào)理論與實(shí)踐. 2018(02)
[2]神經(jīng)網(wǎng)絡(luò)中的注意力機(jī)制[J]. Adam Kosiorek. 機(jī)器人產(chǎn)業(yè). 2017(06)
[3]基于注意力機(jī)制的微博情感分析[J]. 周瑛,劉越,蔡俊. 情報(bào)理論與實(shí)踐. 2018(03)
[4]基于特征擴(kuò)展與深度學(xué)習(xí)的短文本情感判定方法[J]. 杜永萍,陳守欽,趙曉錚. 計(jì)算機(jī)科學(xué). 2017(10)
[5]基于多維擴(kuò)展特征與深度學(xué)習(xí)的微博短文本情感分析[J]. 孫曉,彭曉琪,胡敏,任福繼. 電子與信息學(xué)報(bào). 2017(09)
[6]基于機(jī)器學(xué)習(xí)的商品評(píng)論情感分析模型研究[J]. 趙剛,徐贊. 信息安全研究. 2017(02)
[7]網(wǎng)絡(luò)情感詞自動(dòng)識(shí)別方法研究[J]. 張清亮,徐健. 現(xiàn)代圖書情報(bào)技術(shù). 2011(10)
碩士論文
[1]基于深度學(xué)習(xí)的文本情感分類研究[D]. 朱少杰.哈爾濱工業(yè)大學(xué) 2014
本文編號(hào):2969572
本文鏈接:http://sikaile.net/kejilunwen/shengwushengchang/2969572.html
最近更新
教材專著