【摘要】：本文從自然語言處理的宏觀角度介紹文本分析的相關(guān)技術(shù)步驟與理論基礎(chǔ)的全面解析中探討尋找出一種基于自注意力機制的雙向雙層長短期記憶算法,理論上可以有效學習文本情緒分析對于樣本數(shù)據(jù)集和標簽集向前、向后的時序處理依賴和對于樣本數(shù)據(jù)集內(nèi)部的遠程依賴。并使用Tensorflow的GPU版本對此算法在IMDB情緒分析數(shù)據(jù)集上的表現(xiàn)進行實驗分析。本文先介紹了從非結(jié)構(gòu)化文本到結(jié)構(gòu)化文本的詞向量化原理和流程,分析詞嵌入的相關(guān)理論基礎(chǔ)、技術(shù)基礎(chǔ),并介紹淺層分析算法的主要分類和原理。闡述了分類算法、回歸算法和聚類算法的典型算法思想,基于淺層學習中的經(jīng)典線性模式和線性回歸模式原理及思想,闡述了多層神經(jīng)網(wǎng)絡(luò)的一般結(jié)構(gòu)和處理層次以及誤差逆向傳播算法的詳細過程。再基于此提出了自注意力機制的雙向長短期記憶算法框架,然后從雙向長短期記憶算法的演變和迭代步驟方面剖析長短期記憶算法對于文本情緒分析任務(wù)學習序列問題的有效性,從誤差逆?zhèn)鞑ニ惴私獾诫p向長短期記憶算法在反向傳播過程中存在的遠程依賴問題,并提出自注意力模型可以幫助解決此問題從而回答了為何要針對文本分析任務(wù)提出此算法框架的原因。最后,本文基于此種算法框架使用Keras深度學習開源庫和Tensorflow開源庫進行實驗平臺的搭建,在給定其他因子不變的條件下,電影評論數(shù)據(jù)集IMDB上取得了比單純的自注意力機制模型、單向長短期記憶、雙向長短期記憶模型更為良好的效果。并延展了其他因子對此算法的性能影響。
【圖文】：

圖 2-3 分詞概率圖圖 2-3 中的箭頭以及箭頭上的加權(quán)指的是基于標準語料庫得到的分詞詞語的條件概率，譬如 。此時維特比算法就是利用動態(tài)規(guī)劃的思想找到最短路徑。假設(shè)某個局部節(jié)點是在任意一個在 End 之前的節(jié)點， 是到達該節(jié)點可能的最大概率，節(jié)點位置 是到達這個局部節(jié)點滿足可能的最大概率的前一個節(jié)點。那么初始化為：局部節(jié)點“花”只有一個前節(jié)點：局部節(jié)點“吃”有多個前節(jié)點，，這些前節(jié)點可以通過不同的路徑到達“吃”，滿足最大概率的路徑是：

華 中 科 技 大 學 碩 士 學 位 論 文望學習出一種回歸模型，使得 f (x)與 y盡量地接近，如圖 2-4 所示。么線性模型可解釋如公式（2.11）所示。1 1 2 2( )m mf x w x w x w x b （量形式如公式（2.12）所示。f ( x )y w x b （中有：1 2( ; ; ; )mw w w w , w 和 b 是待確定的模型參數(shù)，其最優(yōu)解的閉式.13）所示。性回歸模型以線性模型為基礎(chǔ)，試圖學習出一種與已知輸入大量樣本信并且在未來的輸入小量樣本數(shù)據(jù)中預測連續(xù)變量表現(xiàn)良好的模型。在
【學位授予單位】：華中科技大學
【學位級別】：碩士
【學位授予年份】：2019
【分類號】：TP391.1;TP18

【參考文獻】

相關(guān)期刊論文 前6條

1 成曉霞;劉云紅;;情緒工作研究綜述[J];科技展望;2015年09期

2 來斯惟;徐立恒;陳玉博;劉康;趙軍;;基于表示學習的中文分詞算法探索[J];中文信息學報;2013年05期

3 周勝臣;瞿文婷;石英子;施詢之;孫韻辰;;中文微博情感分析研究綜述[J];計算機應用與軟件;2013年03期

4 王琳;;情緒負性偏向及負情緒效價強度效應的研究綜述[J];科教導刊(中旬刊);2013年01期

5 周立柱;賀宇凱;王建勇;;情感分析研究綜述[J];計算機應用;2008年11期

6 費洪曉,康松林,朱小娟,謝文彪;基于詞頻統(tǒng)計的中文分詞的研究[J];計算機工程與應用;2005年07期

本文編號：2605764