隨著互聯(lián)網(wǎng)技術(shù)迅猛發(fā)展,人們逐漸開始接受并熱衷于網(wǎng)絡(luò)購物,同時(shí)習(xí)慣于查看商品評(píng)論信息來決定是否購買。這些評(píng)論數(shù)據(jù)中不僅蘊(yùn)含著用戶的興趣與偏好信息,還包含著商品信息。因此如何通過商品評(píng)論數(shù)據(jù)獲取到有價(jià)值的信息成為一個(gè)亟待解決的問題。首先爬取亞馬遜平臺(tái)的手機(jī)評(píng)論信息,對爬取到的數(shù)據(jù)進(jìn)行預(yù)處理,包括數(shù)據(jù)清洗以及缺失值處理等工作,之后對數(shù)據(jù)進(jìn)行文本分詞、詞性標(biāo)注以及去停用詞等文本語言化處理工作。實(shí)驗(yàn)中進(jìn)行名詞過濾以及同義詞合并的操作,縮小商品特征詞的篩選范圍,利用隱狄利克雷分配模型來獲取商品特征信息,篩選出出現(xiàn)次數(shù)較多的特征詞。然后通過將知網(wǎng)HowNet、臺(tái)灣大學(xué)NTUSD、清華大學(xué)李軍中文褒貶義詞典以及一部分未標(biāo)注來源的詞典中的正負(fù)向情感詞分開整合,同時(shí)加入知網(wǎng)詞典中的副詞,從而構(gòu)成一個(gè)完整的情感詞典。為了計(jì)算商品特征詞情感極性值,需要為情感詞典中的不同詞賦予不同的權(quán)重。使用主成分分析算法對建模數(shù)據(jù)進(jìn)行降維,保留數(shù)據(jù)中有用信息,去除噪聲數(shù)據(jù)。將情感因子加入多元線性回歸模型、支持向量機(jī)回歸以及極端梯度提升算法對商品銷量做預(yù)測。實(shí)驗(yàn)中銷量是通過商品銷量排名來體現(xiàn),所以實(shí)驗(yàn)中具體是對銷量排名進(jìn)行預(yù)... 

【文章來源】：大連海事大學(xué)遼寧省 211工程院校

【文章頁數(shù)】：75 頁

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖１．?１論文研究思路??Ｆｉｇ．?１．１?Ｐａｐｅｒ?ｒｅｓｅａｒｃｈ?ｉｄｅａｓ??１．５?本章小結(jié)??本章介紹了論文的研究背景及意義，進(jìn)一步敘述文本情感分析以及銷量預(yù)測的國內(nèi)??外研究情況

則，??正確使用方法，才能從大量數(shù)據(jù)中挖掘出對我們有用的信息。文本挖掘的過程如下圖所??示：????Ｉ?｜?；＊???????＊?＇?｜—＾―＾―｜?ｒ——１?｜?｜??數(shù)?數(shù)文丨?￣?｜丨文特?數(shù)結(jié)??據(jù)?據(jù)?本?丨—————：?本?征?據(jù)?果??：■；?Ｉ?＾?：??集?處?￥?丨?１?ｉ?＃?選?模?析??理?處１１去停用詞Ｉ理?改??理丨?ｊ?進(jìn)??—Ｉ?—Ｉ?１＾——Ｊ??Ｊ?Ｌ＾＿＿＿１????圖２．?１文本挖掘過程??Ｆｉｇ．?２．１?Ｔｅｘｔ?ｍｉｎｉｎｇ?ｐｒｏｃｅｓｓ??所以總的來說數(shù)據(jù)挖掘有以下幾個(gè)步驟：??（１）?明確文本數(shù)據(jù)挖掘目的。明確文本挖掘的目的就是確定你想要解決什么問??題，想要了解哪種隱藏的關(guān)系。只有明確了挖掘的０標(biāo)，才能順利地開展接下來的工作。??－７?－??

題的文檔生成模型，主要由文檔、主題、詞組成的??三層貝葉斯結(jié)構(gòu)，并且是用概率分布來描述數(shù)據(jù)集［４叱同時(shí)ＬＤＡ主題模型是將狄利克??雷分布作為先驗(yàn)，并且使用貝葉斯算法來進(jìn)行估計(jì)ｔ４ｌ］。它的工作過程是這樣的：首先從??語料庫中以一定的概率去選擇一定的主題，然后再在主題下以一定的概率去選擇詞語。??這里文檔與主題以及主題與詞之間都是服從狄利克雷分布的。不斷去重復(fù)這個(gè)過程，直??到文檔生成。文本生成過程如圖所示：??Ａ＇??？?ｅ??￡?１�。撸粒�???Ｍ＿??圖２．２?ＬＤＡ概率模型圖??Ｆｉｇ．?２．２?ＬＤＡ?ｐｒｏｂａｂｉｌｉｔｙ?ｍｏｄｅｌ?ｄｉａｇｒａｍ??圖中各變量分別表示：Ｍ代表文檔篇數(shù)，Ｎ是文檔中詞的個(gè)數(shù)，ｗ是單個(gè)單詞。ａ??代表狄利克雷分布（Ｄｉｒｉｃｈｌｅｔ）的參數(shù)，０是一篇文檔的主題分布ｆｉ＾Ｄｉｒｉｃｈｌｅｔｉ＾＾ｚ是一篇??文檔某個(gè)主題，服從多項(xiàng)分布：ｚ（ｎ）￣Ｍｕｌｔｉｎｏｍｉａｌ（６＞），ｐ代表有主題數(shù)乘以語料庫中詞的??總個(gè)數(shù)形成的矩陣，它是主題與詞之間的Ｄｉｒｉｃｈｌｅｔ分布中的超參數(shù)。所以模型中所有變??量的聯(lián)合概率分布為公式（２．４），之后我們進(jìn)一步調(diào)整，對０進(jìn)行積分，對ｚ進(jìn)行求和，獲??得一個(gè)文檔生成概率。最后將所有文檔的生成概率相乘，得到所有文檔的生成概率，也??就是生成整個(gè)語料庫的概率Ｍｌ，即公式（２．５）。??Ｐ（９，?Ｚ，Ｗ＼ｄ，Ｐ）?＝?Ｐ｛６１?ｄ）?＊?ｎ；＾，?Ｐ（Ｚｎ?１６）?＊?Ｐ（Ｄ?Ｉ?ａ，?Ｐ）?（２．４）??－ｌｉ?－??

【參考文獻(xiàn)】：
期刊論文
[1]基于表情符號(hào)的情感詞典的構(gòu)建研究[J]. 林江豪,顧也力,周詠梅,陽愛民,陳錦.  計(jì)算機(jī)技術(shù)與發(fā)展. 2019(06)
[2]基于主題模型的技術(shù)預(yù)見文本分析[J]. 呂皓,周曉紀(jì).  情報(bào)探索. 2018(10)
[3]基于TF-IDF算法的文本信息提取[J]. 于韜,王洪巖.  科技視界. 2018(16)
[4]主題模型的發(fā)展及應(yīng)用研究[J]. 馬欣.  電腦知識(shí)與技術(shù). 2018(15)
[5]文本特征提取方法研究綜述[J]. 徐冠華,趙景秀,楊紅亞,劉爽.  軟件導(dǎo)刊. 2018(05)
[6]基于Logistic回歸模型的藏文文本分類研究與實(shí)現(xiàn)[J]. 群諾,賈宏云.  信息與電腦(理論版). 2018(05)
[7]一種基于詞義和詞頻的向量空間模型改進(jìn)方法[J]. 鄧曉衡,楊子榮,關(guān)培源.  計(jì)算機(jī)應(yīng)用研究. 2019(05)
[8]LDA模型的優(yōu)化及其主題數(shù)量選擇研究——以科技文獻(xiàn)為例[J]. 王婷婷,韓滿,王宇.  數(shù)據(jù)分析與知識(shí)發(fā)現(xiàn). 2018(01)
[9]樸素貝葉斯算法在文本分類中的應(yīng)用[J]. 鄒曉輝.  數(shù)字技術(shù)與應(yīng)用. 2017(12)
[10]數(shù)據(jù)挖掘技術(shù)綜述[J]. 鄒祎.  信息通信. 2016(12)

碩士論文
[1]基于領(lǐng)域詞典與機(jī)器學(xué)習(xí)的中文評(píng)論情感分析[D]. 楊鵬.南京郵電大學(xué) 2018
[2]航拍圖像的分割提取及其應(yīng)用改進(jìn)[D]. 徐瑩.電子科技大學(xué) 2018
[3]基于機(jī)器學(xué)習(xí)的情感分析方法研究[D]. 張磊.電子科技大學(xué) 2018
[4]在線評(píng)論文本和評(píng)級(jí)的不一致性及商家反饋對商品銷量的影響研究[D]. 張艷芳.北京郵電大學(xué) 2018
[5]基于時(shí)間序列分析的汽車銷量預(yù)測研究[D]. 章旭.合肥工業(yè)大學(xué) 2017
[6]基于評(píng)論情感和自回歸模型的銷量預(yù)測研究[D]. 李雪妮.大連理工大學(xué) 2013
[7]文本特征選擇在網(wǎng)絡(luò)信息過濾系統(tǒng)中的應(yīng)用研究[D]. 邱燁.山東師范大學(xué) 2010
[8]KNN文本分類研究[D]. 閆晨.燕山大學(xué) 2010
[9]基于最大熵的漢語詞性標(biāo)注[D]. 孔海霞.大連理工大學(xué) 2007



本文編號(hào)：3452624