在近十幾年來,隨著網(wǎng)絡(luò)速度的飛躍式提升,智能上網(wǎng)設(shè)備的大范圍普及,一系列新穎的互聯(lián)網(wǎng)社交媒體應(yīng)運而生、發(fā)展壯大。其中,微博作為一種典型的社交軟件,憑借其發(fā)布及時,操作便捷等特性成為了人們進行互聯(lián)網(wǎng)社交時的首選。通過發(fā)條狀態(tài)抒發(fā)情感已經(jīng)逐漸融入到了人們的日常生活中,隨著時間的累積,微博平臺數(shù)據(jù)中承載積累了大量的用戶真實情感。因此,如何收集并統(tǒng)計出網(wǎng)絡(luò)上廣大用戶的情感動態(tài)是一個值得研究的問題。而國家電網(wǎng)作為一個國有特大型骨干企業(yè),為客戶供更優(yōu)質(zhì)的服務(wù)提是其永恒不變的宗旨。因此本文提出了一個能抓取互聯(lián)網(wǎng)上電力相關(guān)主題信息的軟件,分析其整體情感走向,能有助于國網(wǎng)公司及時群眾的滿意度及需求,使公司能更好的履行社會責(zé)任,更好的實現(xiàn)“互聯(lián)網(wǎng)+營銷服務(wù)”。本次研究對象為具有一定互聯(lián)網(wǎng)代表意義的微博,針對微博上出現(xiàn)的眾多與電力相關(guān)的信息數(shù)據(jù),如何整理歸類,如何有選擇性的去提取有效的主體信息,本論文設(shè)計了一個程序,采用了當前的自然語言處理技術(shù),該系統(tǒng)可以實現(xiàn)對微博電力相關(guān)主題的實時抓取,同時也可以展開針對性的情感傾向性分析。本論文的主要工作包括:1)本文開發(fā)并實現(xiàn)了一個爬蟲程序,可在微博內(nèi)定向?qū)崟r抓取電力... 

【文章來源】：電子科技大學(xué)四川省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：69 頁

【學(xué)位級別】：碩士

【部分圖文】：

網(wǎng)絡(luò)爬蟲架構(gòu)圖

第二章相關(guān)理論與研究綜述7絡(luò)爬蟲程序，基本上都是在一個公認的成熟的框架下編制而成的。何謂一個成熟的網(wǎng)絡(luò)爬蟲框架呢？本文各方探討，得出結(jié)論如下，一個好的網(wǎng)絡(luò)爬蟲框架，應(yīng)該滿足以下要求：（1）更新及時，因為網(wǎng)頁的更新是隨時隨地的，爬蟲的本質(zhì)就是在網(wǎng)頁上抓取內(nèi)容，一個成熟的爬蟲，必然需要與網(wǎng)頁更新速率一致；（2）流暢性，一個成熟的網(wǎng)絡(luò)爬蟲必然與用戶所使用的計算機以及一算機內(nèi)各個核心硬件，如CPU,硬盤等運行流暢；（3）分辨重點，爬蟲的原理是爬去相關(guān)信息，那么如何選取那些事重點，能減少很多多余操作；（4）能同步工作，一個好的爬蟲軟件，必然不會只有一個設(shè)備運行或是一個用戶需要，能支持多設(shè)備同時運行，才能滿足用戶要求。（5）兼容性，在爬蟲軟件發(fā)展到如今，各種類型的爬蟲軟件互相交接已必不可免，能相互拓展、兼容才能更好地靈活發(fā)展。Heritrix就是一個最好的例子，Heritrix的本質(zhì)是由java編寫的爬蟲軟件，它的原理是搜索站點內(nèi)每一個頁面，取得有效的URL后產(chǎn)生本地文件，所抓取的內(nèi)容不僅有文字信息，還包括了圖片信息。而我們熟知的Scrapy本質(zhì)也是利用了傳統(tǒng)模式，利用python編寫的開源。Scrapy整體框架如圖2-2所示。圖2-2Scrapy爬蟲框架圖根據(jù)表格，我們很容易理解該爬蟲框架的運行規(guī)則：（1）根據(jù)輸入信息生成

敢環(huán)揭?蚍?衿鞣⒉既?務(wù)是，只需要把內(nèi)容與URL地址傳輸過去就行，工作流程非常迅速且簡單；（3）兼容性強，各種數(shù)據(jù)都能通過HTTP進行傳輸；（4）一對一服務(wù)，HTTP連接不會同時處理多個服務(wù)要求，只有處理完當前連接請求后，才會繼續(xù)下一條任務(wù)，因此其處理單個任務(wù)的效率非常高。（5）HTTP協(xié)議為無狀態(tài)協(xié)議，對每個任務(wù)的答復(fù)都比較快捷，同時為了增加速度，其只負責(zé)處理任務(wù)，而不會對任務(wù)做存儲功能，即同一個任務(wù)若重復(fù)提交，HTTP協(xié)議也只會重復(fù)進行，而不會把上次的服務(wù)結(jié)果提供過來。HTTP協(xié)議原理如圖2-3所示。圖2-3HTTP協(xié)議原理簡圖一個HTTP請求由以下三部分組成：（1）請求行，請求行首先是一個符號，接著空格符，最后附上地址與協(xié)議版本，如MelodyRequest-URLHTPP-Ivpndion

【參考文獻】：
期刊論文
[1]使用網(wǎng)絡(luò)爬蟲獲取數(shù)據(jù)行為的刑事責(zé)任認定——以“晟品公司”非法獲取計算機信息系統(tǒng)數(shù)據(jù)罪為視角[J]. 游濤,計莉卉.  法律適用. 2019(10)
[2]互聯(lián)網(wǎng)化社會結(jié)構(gòu)的賦權(quán)分析[J]. 杜鵬,王梓霈爾,任文肖.  新聞研究導(dǎo)刊. 2018(24)
[3]基于詞典和規(guī)則集的中文微博情感分析[J]. 王志濤,於志文,郭斌,路新江.  計算機工程與應(yīng)用. 2015(08)
[4]基于多特征與復(fù)合分類法的中文微博情感分析[J]. 吳維,肖詩斌.  北京信息科技大學(xué)學(xué)報(自然科學(xué)版). 2013(04)
[5]中文微博情感分析中主客觀句分類方法[J]. 楊武,宋靜靜,唐繼強.  重慶理工大學(xué)學(xué)報(自然科學(xué)). 2013(01)

碩士論文
[1]微博中新興語氣詞“咩”的研究[D]. 張圓圓.上海外國語大學(xué) 2019



本文編號：3445212