發(fā)布時間：2021-06-24 16:38

　　情感分類是指對文本的情感極性進(jìn)行分析判斷,應(yīng)用于意見挖掘、情緒識別、輿情分析等方面。注意力機(jī)制在自然語言處理領(lǐng)域應(yīng)用十分廣泛,在許多分類任務(wù)上有較高的準(zhǔn)確率。循環(huán)神經(jīng)網(wǎng)絡(luò)與注意力機(jī)制都是端到端的結(jié)構(gòu),都具備結(jié)合上下文的能力。循環(huán)神經(jīng)網(wǎng)絡(luò)沿著時間方向?qū)W習(xí),能記憶順序信息。但當(dāng)句子過長時,即便是RNN的變體LSTM也無法學(xué)習(xí)到較遠(yuǎn)的詞語信息。自注意力機(jī)制可以作為編碼器,使每個詞都能獲得全局范圍內(nèi)的上下文信息。對于情感分類算法而言,將情感信息嵌入到網(wǎng)絡(luò)中以豐富文本表示,這是很重要的。自注意力機(jī)制雖然能全局范圍注意,但也會由此引入噪音詞。較為復(fù)雜的語境足以混淆自注意力機(jī)制的視聽,出現(xiàn)每個帶情感的詞都很重要的情況,所以自注意力機(jī)制仍然有許多改進(jìn)的空間�？紤]將詞性嵌入融合到自注意力機(jī)制中,本文提出基于融合詞性嵌入的自注意力機(jī)制的情感分類算法,具體包括兩種情感分類算法,分別是基于Pos-IdSA（Part Of Speech Independent Self Attention）的情感分類算法與基于 Pos-ItSA（Part Of Speech interactive Self Attention... 

【文章來源】：電子科技大學(xué)四川省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：71 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖２－３中，設(shè)置三個門控機(jī)制，輸入門（ｉｎｐｕｔ?ｇａｔｅ），遺忘門（ｆｏｒｇｅｔ?ｇａｔｅ），輸??

?電子科技大學(xué)碩士學(xué)位論文???ｙ??Ｄｅｃｏｄｅｒ??ｉ?ｉ??Ｃ??Ｅｎｃｏｄｅｒ??ｌｉ?ａ?ｎ?ｎ??＾２?工３?＂＾Ｌ??圖?２－６?ＲＮＮ?Ｓｅｑｕｅｎｃｅ?ｔｏ?ｓｅｑｕｅｎｃｅ??圖２－６計算公式簡化如下：??ｙ＝ｍ．?（２－１０）??注意力機(jī)制也是Ｅｎｃｏｄｅｒ?ｔｏ?Ｄｅｃｏｄｅｒ的框架，但它認(rèn)為應(yīng)該有區(qū)別的看待不同??時刻的輸入對輸出的影響，而不是無差別的計算ｙ，即Ｘ，．，ｉ取值不同，對分類結(jié)??果ｙ造成的影響是不同的。圖２－７為注意力機(jī)制在情感分類算法中的框架。其中，??Ｃｌ，?〇２，…，Ｃｉ分別與Ｘｉ，Ｘ２，?．．？，處對應(yīng)。??Ｄｅｃｏｄｅｒ??ｎ?未??Ｃ，?］?Ｃ２?ｃ３?Ｉ?ｃＬ??Ｅｎｃｏｄｅｒ??＾?ｆ?｜??－＾１?＾２?－＾２??？?２－７?Ａｔｔｅｎｔｉｏｎ?Ｓｅｑｕｅｎｃｅ?ｔｏ?ｓｅｑｕｅｎｃｅ??如下公式為注意力機(jī)制的簡化公式。??ｙ＝ｆ（Ｃｌ，Ｃ２，．．．，ＣＬ）．?（２－１１）??輸入端到輸出端有對齊機(jī)制，而輸入端自身也可以構(gòu)建注意力機(jī)制，并且跨??距離學(xué)習(xí)全局的詞語信息，這就是自注意力機(jī)制。自注意力機(jī)制可以像ＲＮＮ—樣??學(xué)習(xí)上下文信息，并且擁有長距離學(xué)習(xí)能力。??１４??

注意力機(jī)制可以表示為如下公式：??Ｌｘ??Ａｔｔｅｎｔｉｏｎ（Ｑｕｅｒｙ，?Ｓｏｕｒｃｅ）?＝?Ｓｉｍｉｌａｒｉｔｙ?（Ｑｕｅｒｙ，?Ｋｅｙ；）?＊?Ｖａｌｕｅｊ．?（３－１）??ｉ＝＼??公式中，Ｓｏｕｒｃｅ指輸入信息，包括句子Ｓ與標(biāo)簽＿ｙ，Ｑｕｅｒｙ作為查詢向??量，Ｋｅｙ與Ｖａｌｕｅ成對出現(xiàn)，Ｓｉｍｉｌａｒｉｔｙ?（Ｑｕｅｒｙ，?Ｋｅｙ，．）指Ｖａｌｕｅ，．的注意力權(quán)重值，??Ａｔｔｅｎｔｉｏｎ（Ｑｕｅｒｙ，Ｓｏｕｒｃｅ）即為經(jīng)過注意力機(jī)制加權(quán)求和后的注意力向量，這個公式??代表了注意力機(jī)制解碼句子Ｓ的方式。??結(jié)合圖３－１，我們看到４個輸入的ｖａｌｕｅ值，對齊一個輸出的Ａｔｔｅｎｔｉｏｎ?Ｖａｌｕｅ值，??０與輸出端關(guān)聯(lián)，尤與輸入端關(guān)聯(lián)。??

【參考文獻(xiàn)】：
期刊論文
[1]結(jié)合詞性信息的基于注意力機(jī)制的雙向LSTM的中文文本分類[J]. 高成亮,徐華,高凱.  河北科技大學(xué)學(xué)報. 2018(05)
[2]情感詞典自動構(gòu)建方法綜述[J]. 王科,夏睿.  自動化學(xué)報. 2016(04)
[3]情感計算理論與技術(shù)[J]. 羅森林,潘麗敏.  系統(tǒng)工程與電子技術(shù). 2003(07)



本文編號：3247455