基于網(wǎng)絡(luò)爬蟲的論壇數(shù)據(jù)分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)
發(fā)布時(shí)間:2021-11-07 18:02
游戲論壇是一個(gè)重要的玩家建議反饋渠道,通常游戲開發(fā)者都需要密切關(guān)注論壇輿論風(fēng)向來發(fā)現(xiàn)游戲中存在及潛在的問題,然而論壇數(shù)據(jù)質(zhì)量參差不齊,人工從大量論壇帖子中發(fā)現(xiàn)收集有價(jià)值的帖子信息需要消耗一定的時(shí)間和精力,還容易出現(xiàn)紕漏,為了更加敏捷高效的對(duì)論壇玩家反饋的有效信息作出相關(guān)反饋,如何自動(dòng)化獲取論壇數(shù)據(jù)并對(duì)數(shù)據(jù)作出相關(guān)篩選分析成為提升工作效率的一個(gè)關(guān)鍵途徑。該系統(tǒng)主要實(shí)現(xiàn)了對(duì)游戲建議反饋論壇數(shù)據(jù)的分析處理,包括數(shù)據(jù)提取,數(shù)據(jù)分析和分析結(jié)果展示三個(gè)主要模塊。系統(tǒng)開發(fā)使用Python開發(fā)工具PyCharm與MySQL數(shù)據(jù)庫管理系統(tǒng),用到的相關(guān)Python庫主要包括jieba自然語言處理工具庫、操作MySQL數(shù)據(jù)庫的PyMySQL庫和用于繪制詞云圖的wordcloud庫。系統(tǒng)通過網(wǎng)絡(luò)爬蟲將論壇數(shù)據(jù)內(nèi)容爬取出來,利用Beautiful Soup庫對(duì)數(shù)據(jù)進(jìn)行解析,從中提取出待分析的數(shù)據(jù)并保存到數(shù)據(jù)庫中,利用jieba庫對(duì)待分析的數(shù)據(jù)進(jìn)行中文分詞處理,在此基礎(chǔ)上對(duì)分詞結(jié)果進(jìn)行價(jià)值評(píng)分,并將結(jié)果通過html的形式展示出來,另外還可以根據(jù)不同篩選條件通過詞云圖展示出滿足條件的高頻詞匯,使用戶可以快速掌握論壇...
【文章來源】: 華中科技大學(xué)湖北省 211工程院校 985工程院校 教育部直屬院校
【文章頁數(shù)】:65 頁
【文章目錄】:
摘要
Abstract
1 緒論
1.1 研究背景和意義
1.2 國內(nèi)外研究現(xiàn)狀
1.3 主要內(nèi)容和組織結(jié)構(gòu)
2 相關(guān)技術(shù)分析
2.1 網(wǎng)絡(luò)爬蟲
2.2 Jieba自然語言處理工具庫
2.3 PyMySQL數(shù)據(jù)庫連接技術(shù)
2.4 本章小結(jié)
3 系統(tǒng)需求分析
3.1 功能性需求分析
3.2 非功能性需求分析
3.3 本章小結(jié)
4 系統(tǒng)設(shè)計(jì)
4.1 系統(tǒng)總體設(shè)計(jì)
4.2 主要功能模塊設(shè)計(jì)
4.3 數(shù)據(jù)庫設(shè)計(jì)
4.4 本章小結(jié)
5 系統(tǒng)實(shí)現(xiàn)
5.1 開發(fā)與運(yùn)行環(huán)境
5.2 數(shù)據(jù)提取模塊實(shí)現(xiàn)
5.3 數(shù)據(jù)分析模塊實(shí)現(xiàn)
5.4 分析結(jié)果展示模塊實(shí)現(xiàn)
5.5 系統(tǒng)測(cè)試與分析
5.6 本章小結(jié)
6 總結(jié)與展望
6.1 全文總結(jié)
6.2 展望
致謝
參考文獻(xiàn)
【參考文獻(xiàn)】:
期刊論文
[1]基于聚焦型網(wǎng)絡(luò)爬蟲的影評(píng)獲取技術(shù) [J]. 高宇,楊小兵. 中國計(jì)量大學(xué)學(xué)報(bào). 2018(03)
[2]網(wǎng)絡(luò)爬蟲技術(shù)原理 [J]. Kevin. 計(jì)算機(jī)與網(wǎng)絡(luò). 2018(10)
[3]中文語義特征屬性擴(kuò)展的視頻推薦系統(tǒng)設(shè)計(jì) [J]. 王星凱,鄧浩江,趙震宇,盛益強(qiáng). 網(wǎng)絡(luò)新媒體技術(shù). 2018(03)
[4]基于詞聯(lián)接的自然語言處理改進(jìn)技術(shù)研究 [J]. 趙棟材,周雁. 計(jì)算機(jī)與網(wǎng)絡(luò). 2018(09)
[5]面向中文社交媒體語料的無監(jiān)督新詞識(shí)別研究 [J]. 張婧,黃鍇宇,梁晨,黃德根. 中文信息學(xué)報(bào). 2018(03)
[6]MySQL數(shù)據(jù)庫中數(shù)據(jù)導(dǎo)入與導(dǎo)出探析 [J]. 詹重詠. 數(shù)字技術(shù)與應(yīng)用. 2017(12)
[7]基于自然語言處理的微信智能客服系統(tǒng)研究 [J]. 崔文迪. 數(shù)字技術(shù)與應(yīng)用. 2017(11)
[8]基于爬蟲的數(shù)據(jù)監(jiān)控系統(tǒng) [J]. 董博,李翀,劉學(xué)敏,董科軍. 計(jì)算機(jī)系統(tǒng)應(yīng)用. 2017(10)
[9]基于微博的細(xì)粒度情感分析 [J]. 敦欣卉,張?jiān)魄?楊鎧西. 數(shù)據(jù)分析與知識(shí)發(fā)現(xiàn). 2017(07)
[10]基于深度神經(jīng)網(wǎng)絡(luò)的中文命名實(shí)體識(shí)別 [J]. 張海楠,伍大勇,劉悅,程學(xué)旗. 中文信息學(xué)報(bào). 2017(04)
本文編號(hào):3482307
【文章來源】: 華中科技大學(xué)湖北省 211工程院校 985工程院校 教育部直屬院校
【文章頁數(shù)】:65 頁
【文章目錄】:
摘要
Abstract
1 緒論
1.1 研究背景和意義
1.2 國內(nèi)外研究現(xiàn)狀
1.3 主要內(nèi)容和組織結(jié)構(gòu)
2 相關(guān)技術(shù)分析
2.1 網(wǎng)絡(luò)爬蟲
2.2 Jieba自然語言處理工具庫
2.3 PyMySQL數(shù)據(jù)庫連接技術(shù)
2.4 本章小結(jié)
3 系統(tǒng)需求分析
3.1 功能性需求分析
3.2 非功能性需求分析
3.3 本章小結(jié)
4 系統(tǒng)設(shè)計(jì)
4.1 系統(tǒng)總體設(shè)計(jì)
4.2 主要功能模塊設(shè)計(jì)
4.3 數(shù)據(jù)庫設(shè)計(jì)
4.4 本章小結(jié)
5 系統(tǒng)實(shí)現(xiàn)
5.1 開發(fā)與運(yùn)行環(huán)境
5.2 數(shù)據(jù)提取模塊實(shí)現(xiàn)
5.3 數(shù)據(jù)分析模塊實(shí)現(xiàn)
5.4 分析結(jié)果展示模塊實(shí)現(xiàn)
5.5 系統(tǒng)測(cè)試與分析
5.6 本章小結(jié)
6 總結(jié)與展望
6.1 全文總結(jié)
6.2 展望
致謝
參考文獻(xiàn)
【參考文獻(xiàn)】:
期刊論文
[1]基于聚焦型網(wǎng)絡(luò)爬蟲的影評(píng)獲取技術(shù) [J]. 高宇,楊小兵. 中國計(jì)量大學(xué)學(xué)報(bào). 2018(03)
[2]網(wǎng)絡(luò)爬蟲技術(shù)原理 [J]. Kevin. 計(jì)算機(jī)與網(wǎng)絡(luò). 2018(10)
[3]中文語義特征屬性擴(kuò)展的視頻推薦系統(tǒng)設(shè)計(jì) [J]. 王星凱,鄧浩江,趙震宇,盛益強(qiáng). 網(wǎng)絡(luò)新媒體技術(shù). 2018(03)
[4]基于詞聯(lián)接的自然語言處理改進(jìn)技術(shù)研究 [J]. 趙棟材,周雁. 計(jì)算機(jī)與網(wǎng)絡(luò). 2018(09)
[5]面向中文社交媒體語料的無監(jiān)督新詞識(shí)別研究 [J]. 張婧,黃鍇宇,梁晨,黃德根. 中文信息學(xué)報(bào). 2018(03)
[6]MySQL數(shù)據(jù)庫中數(shù)據(jù)導(dǎo)入與導(dǎo)出探析 [J]. 詹重詠. 數(shù)字技術(shù)與應(yīng)用. 2017(12)
[7]基于自然語言處理的微信智能客服系統(tǒng)研究 [J]. 崔文迪. 數(shù)字技術(shù)與應(yīng)用. 2017(11)
[8]基于爬蟲的數(shù)據(jù)監(jiān)控系統(tǒng) [J]. 董博,李翀,劉學(xué)敏,董科軍. 計(jì)算機(jī)系統(tǒng)應(yīng)用. 2017(10)
[9]基于微博的細(xì)粒度情感分析 [J]. 敦欣卉,張?jiān)魄?楊鎧西. 數(shù)據(jù)分析與知識(shí)發(fā)現(xiàn). 2017(07)
[10]基于深度神經(jīng)網(wǎng)絡(luò)的中文命名實(shí)體識(shí)別 [J]. 張海楠,伍大勇,劉悅,程學(xué)旗. 中文信息學(xué)報(bào). 2017(04)
本文編號(hào):3482307
本文鏈接:http://sikaile.net/kejilunwen/ruanjiangongchenglunwen/3482307.html
最近更新
教材專著