本文關(guān)鍵詞：基于電子商務(wù)平臺(tái)的數(shù)據(jù)分析系統(tǒng)

  更多相關(guān)文章： 分析系統(tǒng) 網(wǎng)絡(luò)爬蟲 領(lǐng)域分詞 買家關(guān)注點(diǎn) selenium 評(píng)論特征

【摘要】：隨著電子商務(wù)的發(fā)展,數(shù)字營(yíng)銷市場(chǎng)也逐漸擴(kuò)大,與傳統(tǒng)零售業(yè)相比,數(shù)字營(yíng)銷的最大特點(diǎn)就是一切都可以通過(guò)數(shù)據(jù)化來(lái)進(jìn)行監(jiān)控和改進(jìn)。通過(guò)監(jiān)控?cái)?shù)據(jù)的變化,能夠有效地掌握店鋪、商品、活動(dòng)的營(yíng)銷情況。通過(guò)分析整體銷售情況、用戶畫像、活動(dòng)效果等,提煉出有價(jià)值的結(jié)論,用于輔助運(yùn)營(yíng)者更好的進(jìn)行店鋪運(yùn)營(yíng),提高利潤(rùn)。因此,數(shù)據(jù)分析在電子商務(wù)和數(shù)字營(yíng)銷領(lǐng)域非常重要。對(duì)于需要進(jìn)行數(shù)字營(yíng)銷工作的相關(guān)人員來(lái)說(shuō),包括客戶部人員、策劃人員、運(yùn)營(yíng)人員、設(shè)計(jì)師、數(shù)據(jù)分析師等,對(duì)數(shù)據(jù)的使用頻率高且頻次多。在這樣的情況下,出現(xiàn)了無(wú)權(quán)限查詢信息、不同平臺(tái)需要登錄多個(gè)賬號(hào)、平臺(tái)提供的第三方數(shù)據(jù)應(yīng)用未能貼近業(yè)務(wù)以及未能根據(jù)業(yè)務(wù)進(jìn)行定制和擴(kuò)展等問(wèn)題。針對(duì)以上情況,本文以天貓平臺(tái)為對(duì)象,設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)基于電商平臺(tái)的數(shù)據(jù)分析系統(tǒng)。具體研究?jī)?nèi)容如下:(1)研究涉及本系統(tǒng)后臺(tái)數(shù)據(jù)處理模塊相關(guān)的技術(shù),包括Selenium工具在動(dòng)態(tài)網(wǎng)頁(yè)爬蟲中的應(yīng)用;分詞方法及分詞系統(tǒng);評(píng)論特征提取的方法。(2)介紹系統(tǒng)的需求分析及整體框架,并闡述了系統(tǒng)4大模塊的內(nèi)容:數(shù)據(jù)獲取、數(shù)據(jù)處理、數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)呈現(xiàn)。同時(shí)介紹了系統(tǒng)前端的功能及頁(yè)面設(shè)計(jì)、系統(tǒng)數(shù)據(jù)庫(kù)的設(shè)計(jì)。系統(tǒng)前端是基于B/S架構(gòu)的,并按照三層架構(gòu)進(jìn)行設(shè)計(jì),包括數(shù)據(jù)訪問(wèn)層、業(yè)務(wù)邏輯層和用戶表示層,采用Asp.net+C#實(shí)現(xiàn);數(shù)據(jù)庫(kù)采用Sql Server 2012構(gòu)建;后臺(tái)模塊采用Python及Java實(shí)現(xiàn)。(3)結(jié)合Selenium工具,實(shí)現(xiàn)商品基本信息、素材信息和買家評(píng)論信息爬蟲,覆蓋PC端和Mobile端,Mobile端的爬取是在PC端上模擬進(jìn)入Mobile端。(4)利用爬蟲爬取平臺(tái)上的品類/品牌/屬性信息,以及通過(guò)Tamll對(duì)商品標(biāo)題的分詞信息,設(shè)計(jì)了評(píng)論領(lǐng)域?qū)Ｓ迷~典構(gòu)建方法。利用積累的評(píng)論,運(yùn)用分詞工具,對(duì)評(píng)論進(jìn)行分詞、詞性標(biāo)注、詞頻統(tǒng)計(jì),通過(guò)人工歸類的手段,構(gòu)建了通用型的買家關(guān)注點(diǎn)模型。(5)實(shí)現(xiàn)了買家關(guān)注點(diǎn)識(shí)別的兩種方法,詞語(yǔ)匹配模型法和模型匹配評(píng)論法。詞語(yǔ)匹配模型法的核心是對(duì)評(píng)論進(jìn)行分詞、標(biāo)注、特征抽取后,利用抽取的詞語(yǔ)與模型中的詞語(yǔ)進(jìn)行匹配及統(tǒng)計(jì)。模型匹配評(píng)論法的核心是不進(jìn)行分詞,直接利用模型中的詞語(yǔ),匹配評(píng)論中是否含有與該詞語(yǔ)一致的字串,并進(jìn)行統(tǒng)計(jì)。實(shí)驗(yàn)結(jié)果證明,在系統(tǒng)當(dāng)前條件下,兩種方法都能夠適應(yīng)跨類別評(píng)論的分析,而在算法表現(xiàn)是,模型匹配評(píng)論法的有效評(píng)論查全率和各個(gè)類別的匹配準(zhǔn)確率要優(yōu)于詞語(yǔ)匹配模型法。
【關(guān)鍵詞】：分析系統(tǒng) 網(wǎng)絡(luò)爬蟲 領(lǐng)域分詞 買家關(guān)注點(diǎn) selenium 評(píng)論特征
【學(xué)位授予單位】：廣東外語(yǔ)外貿(mào)大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：F724.6;F274
【目錄】：

• 摘要4-5
• ABSTRACT5-9
• 第1章 緒論9-14
• 1.1 研究背景9-10
• 1.2 研究意義10-11
• 1.3 研究創(chuàng)新點(diǎn)11-12
• 1.4 論文工作內(nèi)容12
• 1.5 論文組織結(jié)構(gòu)12-14
• 第2章 相關(guān)技術(shù)研究現(xiàn)狀14-25
• 2.1 網(wǎng)絡(luò)爬蟲技術(shù)14-18
• 2.1.1 靜態(tài)網(wǎng)頁(yè)爬蟲15
• 2.1.2 動(dòng)態(tài)網(wǎng)頁(yè)爬蟲15-18
• 2.2 分詞技術(shù)18-22
• 2.2.1 基于詞典的分詞方法19-20
• 2.2.2 基于統(tǒng)計(jì)的分詞方法20-22
• 2.2.3 混合的分詞方法22
• 2.3 評(píng)論特征提取22-24
• 2.3.1 人工定義模型23
• 2.3.2 文本模式提取特征23-24
• 2.3.3 關(guān)聯(lián)規(guī)則提取特權(quán)24
• 2.4 小結(jié)24-25
• 第3章 系統(tǒng)設(shè)計(jì)25-50
• 3.1 需求分析25-26
• 3.2 系統(tǒng)整體框架26
• 3.3 系統(tǒng)整體功能模塊設(shè)計(jì)26-31
• 3.3.1 數(shù)據(jù)獲取28-29
• 3.3.2 數(shù)據(jù)處理29-31
• 3.3.3 數(shù)據(jù)存儲(chǔ)31
• 3.3.4 數(shù)據(jù)呈現(xiàn)31
• 3.4 系統(tǒng)前端頁(yè)面功能設(shè)計(jì)31-41
• 3.4.1 經(jīng)營(yíng)詳情、產(chǎn)品銷售、流量來(lái)源、營(yíng)銷效果頁(yè)面31-37
• 3.4.2 商品分析頁(yè)面37-39
• 3.4.3 素材分析頁(yè)面39-40
• 3.4.4 買家關(guān)注點(diǎn)頁(yè)面40-41
• 3.5 系統(tǒng)數(shù)據(jù)庫(kù)設(shè)計(jì)41-49
• 3.5.1 經(jīng)營(yíng)詳情表設(shè)計(jì)41-42
• 3.5.2 產(chǎn)品銷售表設(shè)計(jì)42-43
• 3.5.3 流量來(lái)源表設(shè)計(jì)43-44
• 3.5.4 營(yíng)銷效果表設(shè)計(jì)44-45
• 3.5.5 商品分析表設(shè)計(jì)45-46
• 3.5.6 素材分析表設(shè)計(jì)46
• 3.5.7 買家關(guān)注點(diǎn)表設(shè)計(jì)46-49
• 3.6 小結(jié)49-50
• 第4章 系統(tǒng)后臺(tái)模塊實(shí)現(xiàn)50-69
• 4.1 網(wǎng)絡(luò)爬蟲模塊的實(shí)現(xiàn)50-55
• 4.1.1 商品基本信息爬蟲50-52
• 4.1.2 素材信息爬蟲52-53
• 4.1.3 買家評(píng)論爬蟲53-55
• 4.2 買家關(guān)注點(diǎn)模型的構(gòu)建55-58
• 4.3 評(píng)論領(lǐng)域?qū)Ｓ迷~典的構(gòu)建58-59
• 4.4 分詞/標(biāo)注/候選特征詞抽取模塊的實(shí)現(xiàn)59-61
• 4.4.1 分詞/標(biāo)注/候選特征詞抽取流程59-60
• 4.4.2 中科院NLPIR接口60
• 4.4.3 實(shí)現(xiàn)代碼60-61
• 4.5 買家關(guān)注點(diǎn)識(shí)別及統(tǒng)計(jì)模塊的實(shí)現(xiàn)61-68
• 4.5.1 詞語(yǔ)匹配模型法62-63
• 4.5.2 模型匹配評(píng)論法63-64
• 4.5.3 實(shí)驗(yàn)結(jié)果與分析64-68
• 4.6 小結(jié)68-69
• 第5章 總結(jié)與展望69-71
• 5.1 全文總結(jié)69-70
• 5.2 工作展望70-71
• 參考文獻(xiàn)71-74
• 致謝74-75
• 在學(xué)期間的研究成果及發(fā)表的學(xué)術(shù)論文75

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 孟慶超;李永亮;;智能數(shù)據(jù)分析系統(tǒng)研究[J];現(xiàn)代商貿(mào)工業(yè);2008年11期

2 郭靜;;鋼鐵企業(yè)能源數(shù)據(jù)分析系統(tǒng)的構(gòu)建[J];昆明理工大學(xué)學(xué)報(bào)(理工版);2009年05期

3 毛蘭斌;;基于機(jī)電結(jié)構(gòu)檢測(cè)的可靠性數(shù)據(jù)分析系統(tǒng)設(shè)計(jì)[J];中國(guó)高新技術(shù)企業(yè);2008年08期

4 毛羽芳;王銳明;;天津市工商行政管理局?jǐn)?shù)據(jù)分析系統(tǒng)的建設(shè)[J];信息系統(tǒng)工程;2010年07期

5 章璐;;人民幣跨境結(jié)算業(yè)務(wù)數(shù)據(jù)分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];中國(guó)金融電腦;2013年01期

6 張振華 ,王浩;數(shù)據(jù)分析系統(tǒng)性能調(diào)整[J];中國(guó)金融電腦;2005年04期

7 羅國(guó)忠;;建立電力營(yíng)銷數(shù)據(jù)分析系統(tǒng)[J];科技創(chuàng)新導(dǎo)報(bào);2008年03期

8 羅國(guó)忠;;電力營(yíng)銷數(shù)據(jù)分析系統(tǒng)研究[J];現(xiàn)代商貿(mào)工業(yè);2008年05期

9 朱曉統(tǒng);王興杰;;可擴(kuò)展性的架構(gòu)設(shè)計(jì)——談科立訊數(shù)據(jù)分析系統(tǒng)[J];中國(guó)無(wú)線電;2008年06期

10 劉穎;;電信企業(yè)數(shù)據(jù)分析系統(tǒng)的現(xiàn)狀及未來(lái)發(fā)展探索[J];山西焦煤科技;2007年09期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前7條

1 顧紅生;;淺談汽車行業(yè)競(jìng)品數(shù)據(jù)分析系統(tǒng)解決方案[A];第八屆中國(guó)汽車設(shè)計(jì)與研發(fā)高峰論壇論文集[C];2013年

2 辛建峰;辛陽(yáng);;數(shù)據(jù)分析系統(tǒng)中的自定義量度方案設(shè)計(jì)實(shí)現(xiàn)[A];2011年通信與信息技術(shù)新進(jìn)展——第八屆中國(guó)通信學(xué)會(huì)學(xué)術(shù)年會(huì)論文集[C];2011年

3 尚屹;朱琦;;國(guó)家持久性有機(jī)污染物數(shù)據(jù)分析系統(tǒng)研究[A];2008中國(guó)環(huán)境科學(xué)學(xué)會(huì)學(xué)術(shù)年會(huì)優(yōu)秀論文集（下卷）[C];2008年

4 鄭慧娟;周嘉元;李斌;;水電站生產(chǎn)數(shù)據(jù)分析系統(tǒng)及其現(xiàn)場(chǎng)應(yīng)用[A];中國(guó)水力發(fā)電工程學(xué)會(huì)信息化專委會(huì)2010年學(xué)術(shù)交流會(huì)論文集[C];2010年

5 張永忠;趙靜;;基于事件檢測(cè)算法的交通數(shù)據(jù)分析系統(tǒng)[A];2008全國(guó)第十三屆自動(dòng)化應(yīng)用技術(shù)學(xué)術(shù)交流會(huì)論文集[C];2008年

6 王治國(guó);王薇;訾凱;任鵬;;臨床檢驗(yàn)方法確認(rèn)與性能驗(yàn)證數(shù)據(jù)分析系統(tǒng)(MVS)的開(kāi)發(fā)與應(yīng)用[A];中華醫(yī)學(xué)會(huì)第九次全國(guó)檢驗(yàn)醫(yī)學(xué)學(xué)術(shù)會(huì)議暨中國(guó)醫(yī)院協(xié)會(huì)臨床檢驗(yàn)管理專業(yè)委員會(huì)第六屆全國(guó)臨床檢驗(yàn)實(shí)驗(yàn)室管理學(xué)術(shù)會(huì)議論文匯編[C];2011年

7 董剛;孫建林;譚耘宇;;建立梅鋼熱軋數(shù)據(jù)分析系統(tǒng)[A];自動(dòng)化技術(shù)與冶金流程節(jié)能減排——全國(guó)冶金自動(dòng)化信息網(wǎng)2008年會(huì)論文集[C];2008年

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫(kù) 前8條

1 記者 劉慧敏;開(kāi)發(fā)區(qū)一企業(yè)研發(fā)成功“消費(fèi)行為數(shù)據(jù)分析系統(tǒng)”[N];寧波日?qǐng)?bào);2009年

2 別志銘;基于云的大數(shù)據(jù)分析系統(tǒng)[N];網(wǎng)絡(luò)世界;2013年

3 袁毅;蘇州：數(shù)據(jù)分析系統(tǒng)精準(zhǔn)問(wèn)診城市交通[N];人民公安報(bào)·交通安全周刊;2011年

4 紹興職業(yè)技術(shù)學(xué)院 沈華峰 寧波大學(xué)信息科學(xué)與工程學(xué)院 朱雙東;基于可縮放矢量圖形數(shù)據(jù)分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[N];中國(guó)計(jì)算機(jī)報(bào);2010年

5 記者 董科;轉(zhuǎn)型客戶服務(wù) 打造全新競(jìng)爭(zhēng)力[N];期貨日?qǐng)?bào);2010年

6 江蘇省淮安市漣水地稅局 周躍 黃呂勝 童政;應(yīng)完善稅收數(shù)據(jù)分析系統(tǒng)提升使用效能[N];中國(guó)稅務(wù)報(bào);2013年

7 陶利軍;路橋當(dāng)好企業(yè)經(jīng)濟(jì)分析師[N];中國(guó)工商報(bào);2007年

8 本報(bào)記者 鞏國(guó)強(qiáng);汛潮的“賣點(diǎn)”[N];山西經(jīng)濟(jì)日?qǐng)?bào);2004年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 馬寶全;新疆車牌信息數(shù)據(jù)分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];吉林大學(xué);2016年

2 李全偉;移動(dòng)數(shù)據(jù)分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];山東大學(xué);2016年

3 陳盛力;SEM廣告數(shù)據(jù)分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];北京交通大學(xué);2016年

4 段凌軒;基于HTTP協(xié)議的網(wǎng)絡(luò)數(shù)據(jù)分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];哈爾濱工業(yè)大學(xué);2016年

5 廖靜欣;基于電子商務(wù)平臺(tái)的數(shù)據(jù)分析系統(tǒng)[D];廣東外語(yǔ)外貿(mào)大學(xué);2016年

6 孔令云;基于云計(jì)算的卡口交通數(shù)據(jù)分析系統(tǒng)[D];天津大學(xué);2014年

7 劉勝;交通管理執(zhí)法質(zhì)量數(shù)據(jù)分析系統(tǒng)研究[D];天津大學(xué);2014年

8 廖靜欣;基于電子商務(wù)平臺(tái)的數(shù)據(jù)分析系統(tǒng)[D];廣東外語(yǔ)外貿(mào)大學(xué);2016年

9 周樂(lè)安;氣象數(shù)據(jù)分析系統(tǒng)的設(shè)計(jì)與預(yù)報(bào)應(yīng)用[D];杭州電子科技大學(xué);2016年

10 馮偉;基于云計(jì)算的海量數(shù)據(jù)分析系統(tǒng)的研究與實(shí)現(xiàn)[D];上海交通大學(xué);2012年

，

本文編號(hào)：773703