進入21世紀以來,互聯(lián)網的蓬勃發(fā)展推動了各種電子商務平臺的誕生。這些平臺上發(fā)布的在線評論文本所包含的情感傾向有著特別重要的意義,可以幫助用戶商家進行有效決策,而單單依靠人工方式從這些呈爆炸式增長的文本中獲取信息十分耗時耗力。因此,如何快速有效的挖掘出海量文本中有價值的情感信息已成為當下的研究熱點,在這種背景下,基于主題模型的機器學習和基于神經網絡的深度學習技術相繼運用到文本情感分析的研究領域,并取得了很大進展。早期研究使用的機器學習方法,大多在主題間相互獨立的假設下采用詞袋模型來提取詞匯特征,忽略了主題之間的相關性,且在特征選擇上采用人工設計的特征。近年來,隨著深度學習技術的興起,分布式詞表示方法擺脫了傳統(tǒng)機器學習中詞表示粒度稀疏的問題,取得了不錯的效果,但該方法中詞向量表示是固定的,存在一詞多義問題無法很好解決。而改進的預訓練語言模型采用多組向量表示的形式,能很好的解決一詞多義問題,但在模型設計中對于主題本身的意義和相關性這個先驗信息沒有加以考慮。在句子表示方面,有研究采用組合矢量模型的表示方法,但存在不能很好捕獲句子位置信息的缺陷。在抽取句子的情感信息上,有研究利用多層前饋神經網絡...

【文章頁數】：64 頁

【學位級別】：碩士

【部分圖文】：

圖２．１?ｐＬＳＡ概率圖??

之作，ＬＳＡ模型在詞袋中引入了主題的概念，通過奇異值分解的方式??將大規(guī)模、高維度的稀疏文本降維到了一個低煒的空間，得到文檔的潛在語義，??加快了信息檢索，該研宂發(fā)現(xiàn)在低維空間中，同義詞會被聚類在一起。??２．１．２?ｐＬＳＡ?模型??然而，ＬＳＡ模型并沒有建立統(tǒng)計學概念，所以，....

圖２．２?ＬＤＡ模型圖??

后，它無法生成新的未知文檔，而且，隨著ｄ和ｗ的增??力口，該模型的計算復雜度也線性增加。??于是，針對這種問題，在２００３年，Ｂｌｅｉ等人提出了?ＬＤＡ模型，模型圖如圖??２．２所示，可以看到，ＬＤＡ己經從ｐＬＳＡ的兩層貝葉斯模型變成了三層，下圖中，??ａ、＃分別為文檔－主題、主....

圖２．３?ＣＴＭ模型圖??和ＬＤＡ中從狄利克雷分布中采樣生成文檔的主題多項式分布不同，在ＣＴＭ??

？碩士學位論文??ＭＡＳＴＥＲ＇Ｓ?ＴＨＥＳＩＳ??（３）從主題分布０中采樣生成文檔ｄ的第Ｊ＇個詞分布２。??（４）從詞分布０中米樣生成詞ｗ。??對于ＬＤＡ的求解，主要是需要估計其主題分布０和詞分布心首先，對文檔??的每個詞隨機給一個編號；然后，遍歷預料，對于每個詞，使用吉布斯采....

圖２．４?ＮＮＬＭ模型圖

？碩士學位論文??ＭＡＳＴＥＲ＇Ｓ?ＴＨＥＳＩＳ??２．?２預訓練詞向置理論??詞向量作為自然語言處理中詞的一種表示方法，經歷了從統(tǒng)計方法到語言模??型方法的過渡，本小節(jié)主要介紹使用語言模型得到的詞向量表示。??所謂語言模型，就是指找出一個概率分布ｆ，而對于給定的長為ｍ的序列，?....

本文編號：3912329