【摘要】：隨著大數(shù)據(jù)時(shí)代的來臨,網(wǎng)頁信息爆炸式地增長,個(gè)人或者企業(yè)網(wǎng)絡(luò)數(shù)據(jù)采集需求越來越高。云數(shù)據(jù)采集系統(tǒng)采用一種網(wǎng)絡(luò)爬蟲技術(shù)和SaaS服務(wù)結(jié)合的云平臺(tái)新服務(wù)模式,向用戶提供低成本的、可定制和高效的數(shù)據(jù)采集服務(wù)。針對(duì)云數(shù)據(jù)采集系統(tǒng)中任務(wù)和資源管理需求,本文提出云數(shù)據(jù)采集系統(tǒng)中管理子系統(tǒng)的設(shè)計(jì),提供任務(wù)管理和資源監(jiān)控兩大功能模塊。在任務(wù)管理模塊中,提供統(tǒng)一的爬蟲任務(wù)的控制管理接口,同時(shí)支持爬蟲任務(wù)的即時(shí)調(diào)度功能,并且實(shí)時(shí)監(jiān)測(cè)任務(wù)運(yùn)行狀態(tài);在資源監(jiān)控模塊中,負(fù)責(zé)實(shí)時(shí)采集爬蟲集群資源狀態(tài)信息,再通過以爬蟲集群為單位的資源負(fù)載評(píng)估,對(duì)負(fù)載狀態(tài)異常的爬蟲集群進(jìn)行動(dòng)態(tài)調(diào)度管理,提高爬蟲任務(wù)運(yùn)行效率和資源使用率。本文根據(jù)云數(shù)據(jù)采集系統(tǒng)中爬蟲程序應(yīng)用場景,對(duì)云數(shù)據(jù)采集系統(tǒng)中爬蟲集群資源負(fù)載變化復(fù)雜等關(guān)鍵問題進(jìn)行具體分析,并提出解決方案.。首先建立基于熵權(quán)法的資源評(píng)估模型,對(duì)運(yùn)行爬蟲任務(wù)的爬蟲集群進(jìn)行整體的資源負(fù)載狀態(tài)分析。對(duì)于資源過供給問題,設(shè)計(jì)貪心選擇算法計(jì)算爬蟲集群中可刪除資源節(jié)點(diǎn);對(duì)于資源供給不足問題,提出改進(jìn)的遺傳算法實(shí)現(xiàn)空閑資源節(jié)點(diǎn)調(diào)度處理。最后通過具體的對(duì)比實(shí)驗(yàn),驗(yàn)證提出的算法方案在負(fù)載異常處理場景下的優(yōu)越性。在進(jìn)行了需求分析與關(guān)鍵問題的探討后,本文給出了管理子系統(tǒng)的詳細(xì)設(shè)計(jì)與實(shí)現(xiàn)。本文針對(duì)管理子系統(tǒng)中主要功能模塊設(shè)計(jì)了測(cè)試用例并進(jìn)行了測(cè)試,測(cè)試結(jié)果證明云數(shù)據(jù)采集系統(tǒng)中管理子系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)符合要求,最后進(jìn)行了全文總結(jié)。
【學(xué)位授予單位】：北京郵電大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2019
【分類號(hào)】：TP274.2;TP311.52
【圖文】：

模塊實(shí)現(xiàn)的。Ｎｇｉｎｘ模塊主要有ｃｏｒｅ邋（核心模塊）、ｈａｎｄｌｅｒｓ邋（處理模塊）、ｆｉｌｔｅｒｓ逡逑（過濾模塊）、ｌｏａｄ－ｂａｌａｎｃｅｒｓ邋（負(fù)載均衡模塊）［１４］。逡逑如圖２－２所示，Ｎｇｉｎｘ服務(wù)器通過自身的配置模塊和核心模塊讀取和處理前逡逑端瀏覽器的ＨＴＴＰ請(qǐng)求，選擇對(duì)應(yīng)的處理模塊調(diào)用相應(yīng)的Ｄｊａｎｇｏ應(yīng)用執(zhí)行文件逡逑提供服務(wù)并產(chǎn)生輸出，通過過濾模塊返回給瀏覽器。逡逑８逡逑

Ｔｅｍｐｌａｔｅ逡逑（＜ｆｉｌｅｎａｍｅ＞．邋ｈｔｍｌ）逡逑圖２－１邋Ｄｊａｎｇｏ應(yīng)用程序結(jié)構(gòu)逡逑２．１．２邋Ｎｇｉｎｘ逡逑Ｎｇｉｎｘ是一個(gè)網(wǎng)頁服務(wù)器，它能反向代理ＨＴＴＰ、ＨＴＴＰＳ、ＳＭＴＰ、ＰＯＰ３、逡逑和ＩＭＡＰ的協(xié)議鏈接，也可以用作反向代理，負(fù)載平衡器和ＨＴＴＰ緩存，采用模逡逑塊化設(shè)計(jì)，有豐富的模塊庫和第三方模塊庫，配置簡潔靈活［１３］。由Ｃ語言進(jìn)行逡逑編寫的Ｎｇｉｎｘ，系統(tǒng)資源開銷比其他服務(wù)器要小很多，并充分使用異步邏輯來減逡逑少上下文調(diào)度開銷，所以擁有極強(qiáng)的并發(fā)服務(wù)能力。逡逑管理子系統(tǒng)的任務(wù)管理和資源監(jiān)控模塊主要使用Ｎｇｉｎｘ作為Ｗｅｂ服務(wù)器。逡逑之前提到，Ｎｇｉｎｘ是采取模塊化方式開發(fā)，Ｎｇｉｎｘ的服務(wù)也是圍繞它的主要功能逡逑模塊實(shí)現(xiàn)的。Ｎｇｉｎｘ模塊主要有ｃｏｒｅ邋（核心模塊）、ｈａｎｄｌｅｒｓ邋（處理模塊）、ｆｉｌｔｅｒｓ逡逑（過濾模塊）、ｌｏａｄ－ｂａｌａｎｃｅｒｓ邋（負(fù)載均衡模塊）［１４］。逡逑如圖２－２所示，Ｎｇｉｎｘ服務(wù)器通過自身的配置模塊和核心模塊讀取和處理前逡逑端瀏覽器的ＨＴＴＰ請(qǐng)求

逑的處理有效地提取指定的數(shù)據(jù)，完成相應(yīng)的網(wǎng)絡(luò)數(shù)據(jù)采集任務(wù)。網(wǎng)絡(luò)爬蟲的基本逡逑工作流程如圖２－３所示：首先選取一部分精心挑選的種子ＵＲＬ，將這些ＵＲＬ放逡逑入待抓�。眨遥剃�(duì)列，從待抓取ＵＲＬ隊(duì)列中取出待抓�。眨遥蹋馕觯模危硬⑶业缅义系街鳈C(jī)的ＩＰ，并將ＵＲＬ對(duì)應(yīng)的網(wǎng)頁下載下來，存儲(chǔ)進(jìn)己下載網(wǎng)頁庫中，將這些逡逑ＵＲＬ放進(jìn)己抓�。眨遥剃�(duì)列，分析己抓取ＵＲＬ隊(duì)列中的ＵＲＬ，分析其中的其他逡逑ＵＲＬ，并且將ＵＲＬ放入待抓�。眨遥剃�(duì)列，從而進(jìn)入下一個(gè)循環(huán)Ｍｌ逡逑（邐刑臺(tái)邐）逡逑邐］邋［邐逡逑初始ＵＲＬ逡逑邐？逡逑邐＾邋［邐逡逑獲取網(wǎng)頁逡逑Ｎ邋邐１邐逡逑邐＾邋［邐逡逑提取新的ＵＲＬ逡逑放入ＵＲＬ隊(duì)列逡逑Ｙ逡逑邐Ｉ邐逡逑（邐結(jié)束邐）逡逑圖２－３網(wǎng)絡(luò)爬蟲工作流程逡逑２．３．２邋Ｄｏｃｋｅｒ邋容器逡逑Ｄｏｃｋｅｒ項(xiàng)目基于Ｇｏｌａｎｇ語言開發(fā)，代碼托管在ＧｉｔＨｕｂ上，現(xiàn)在己經(jīng)支持逡逑Ｗｉｎｄｏｗｓ、ＭａｃＯＳ和Ｌｉｎｕｘ等操作系統(tǒng)平臺(tái)［１９Ｊ。Ｄｏｃｋｅｉ？是一個(gè)開源的應(yīng)用容器逡逑引擎，讓開發(fā)者可以打包他們的應(yīng)用以及依賴包到一個(gè)輕量級(jí)的、可移植的容器逡逑中，并且容器是完全使用沙箱機(jī)制，是獨(dú)立運(yùn)行的，相互之間不會(huì)有任何接口［２Ｇ］。逡逑Ｄｏｃｋｅｒ作為一個(gè)獨(dú)立的服務(wù)單元

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 尹相濤;;數(shù)據(jù)采集系統(tǒng)的開發(fā)與應(yīng)用[J];南鋼科技;2001年04期

2 李嘯虎;;數(shù)據(jù)采集系統(tǒng)模擬量干擾信號(hào)的消除方法[J];新疆電力;2002年02期

3 白宇;;油田井下數(shù)據(jù)采集系統(tǒng)的相關(guān)研究[J];信息系統(tǒng)工程;2018年12期

4 楊萌;宿俊海;李海旺;;試驗(yàn)數(shù)據(jù)采集系統(tǒng)的信號(hào)實(shí)時(shí)性分析[J];儀器儀表用戶;2019年03期

5 丁朝;;嵌入式技術(shù)在數(shù)據(jù)采集系統(tǒng)中的應(yīng)用[J];中國新通信;2018年14期

6 莫章潔;;基于ZigBee與GPRS的農(nóng)業(yè)數(shù)據(jù)采集系統(tǒng)設(shè)計(jì)[J];貴州師范學(xué)院學(xué)報(bào);2016年09期

7 梁文翰;;基于單片機(jī)的電力機(jī)車數(shù)據(jù)采集系統(tǒng)的設(shè)計(jì)[J];現(xiàn)代工業(yè)經(jīng)濟(jì)和信息化;2016年24期

8 程佩;房海華;黃藍(lán);;基于FPGA+DSP的數(shù)據(jù)采集系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J];計(jì)算機(jī)測(cè)量與控制;2016年11期

9 張玉;姚凱學(xué);;基于ZigBee的人體健康數(shù)據(jù)采集系統(tǒng)的設(shè)計(jì)[J];物聯(lián)網(wǎng)技術(shù);2016年12期

10 魯楠;唐嵐;廖若冰;朱加豪;;用于鐵路基礎(chǔ)設(shè)施監(jiān)測(cè)的振動(dòng)傳感器數(shù)據(jù)采集系統(tǒng)設(shè)計(jì)[J];中國新技術(shù)新產(chǎn)品;2017年04期

相關(guān)會(huì)議論文 前10條

1 俞林斌;黃慕雄;桂將林;汪月林;楊永耀;;分布式前置數(shù)據(jù)采集系統(tǒng)在大型SCADA系統(tǒng)的應(yīng)用[A];第十一屆中國智能交通年會(huì)大會(huì)論文集[C];2016年

2 劉璐;肖靈;劉光輝;;基于水下滑翔機(jī)的數(shù)據(jù)采集系統(tǒng)設(shè)計(jì)[A];2016年全國聲學(xué)學(xué)術(shù)會(huì)議論文集[C];2016年

3 任婷婷;竺文彬;陳曦;;船舶制造企業(yè)分布式能源數(shù)據(jù)采集系統(tǒng)[A];2014年MIS/S&A學(xué)術(shù)交流會(huì)議論文集[C];2014年

4 閆浩;錢偉康;劉少鵬;應(yīng)懷樵;杜峰;;一種可調(diào)時(shí)鐘芯片在數(shù)據(jù)采集系統(tǒng)中的應(yīng)用[A];第九屆全國信號(hào)和智能信息處理與應(yīng)用學(xué)術(shù)會(huì)議專刊[C];2015年

5 劉力強(qiáng);馬瑾;雷興林;;多通道、高速聲發(fā)射數(shù)據(jù)采集系統(tǒng)[A];第四屆全國構(gòu)造物理、第二屆全國高溫高壓聯(lián)合學(xué)術(shù)討論會(huì)論文摘要[C];1989年

6 嚴(yán)宗睿;陸勤夫;陳勇;;基于智能設(shè)備的海軍演習(xí)數(shù)據(jù)采集系統(tǒng)[A];2008年中國高校通信類院系學(xué)術(shù)研討會(huì)論文集（下冊(cè)）[C];2009年

7 武東升;郭達(dá)永;;卷接包車間數(shù)據(jù)采集系統(tǒng)現(xiàn)狀發(fā)展方向和應(yīng)用的研究[A];河南省煙草學(xué)會(huì)2008年學(xué)術(shù)交流獲獎(jiǎng)?wù)撐募ㄉ希C];2008年

8 張文棟;董海峰;;微型爆破緩沖抗高過載數(shù)據(jù)采集系統(tǒng)設(shè)計(jì)[A];新世紀(jì) 新機(jī)遇 新挑戰(zhàn)——知識(shí)創(chuàng)新和高新技術(shù)產(chǎn)業(yè)發(fā)展（上冊(cè)）[C];2001年

9 周兆運(yùn);詹永衛(wèi);許建華;;高速采集和深度存儲(chǔ)的數(shù)據(jù)采集系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[A];2009全國虛擬儀器大會(huì)論文集（二）[C];2009年

10 袁晴晴;周皓峰;陳宇達(dá);施伯樂;;一個(gè)基于系統(tǒng)重建思想的數(shù)據(jù)采集系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[A];第十八屆全國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2001年

相關(guān)重要報(bào)紙文章 前10條

1 記者 張雪鋒;加快大數(shù)據(jù)采集系統(tǒng)和處理中心建設(shè) 把智慧城市建設(shè)作為精品城市重要內(nèi)容[N];三亞日?qǐng)?bào);2017年

2 劉臻;中鋁股份蘭州分公司自主開發(fā)炭素成型工藝數(shù)據(jù)采集系統(tǒng)[N];中國有色金屬報(bào);2017年

3 中國人民大學(xué) 陳文忻 復(fù)旦大學(xué) 申曦霖;智能指揮 決勝千里[N];中國青年報(bào);2017年

4 魯總;山東總隊(duì)啟用農(nóng)價(jià)手持?jǐn)?shù)據(jù)采集系統(tǒng)[N];中國信息報(bào);2012年

5 記者 陳青 何曉龍;西儀總廠井間地震裝備研制取得突破 井下多級(jí)數(shù)據(jù)采集系統(tǒng)使用效果顯著[N];中國石油報(bào);2002年

6 記者 鄭欣;福建移動(dòng) 水文數(shù)據(jù)采集系統(tǒng)服務(wù)防旱[N];人民郵電;2009年

7 北京 蔡德聰 孫宇瑞;國外流行的一種微功耗數(shù)據(jù)采集系統(tǒng)[N];電子報(bào);2001年

8 王志田邋通訊員 唐皖君;數(shù)據(jù)采集系統(tǒng)在大慶采八全面啟用[N];中國石油報(bào);2007年

9 北京 蔡德聰 孫宇瑞;BS2系列微功耗數(shù)據(jù)采集系統(tǒng)[N];電子報(bào);2001年

10 ;iPAQ條碼數(shù)據(jù)采集系統(tǒng)[N];計(jì)算機(jī)世界;2002年

相關(guān)博士學(xué)位論文 前10條

1 向冬;基于CC的工業(yè)數(shù)據(jù)采集系統(tǒng)開發(fā)方法研究[D];西北工業(yè)大學(xué);2006年

2 文斐;激光雷達(dá)數(shù)據(jù)采集系統(tǒng)框架研究[D];中國科學(xué)技術(shù)大學(xué);2013年

3 劉列峰;一種可擴(kuò)展的大規(guī)模地球物理勘探數(shù)據(jù)采集系統(tǒng)研究[D];中國科學(xué)技術(shù)大學(xué);2014年

4 田楷云;地球物理勘探設(shè)備中數(shù)據(jù)采集部分若干關(guān)鍵技術(shù)研究[D];中國科學(xué)技術(shù)大學(xué);2015年

5 田景文;地下油藏的仿真與預(yù)測(cè)[D];哈爾濱工程大學(xué);2001年

6 張?jiān)迄i;激光雷達(dá)控制與數(shù)據(jù)采集系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];武漢大學(xué);2014年

7 唐學(xué)峰;石英晶體諧振器的響應(yīng)分析及其在粘彈性薄膜中的應(yīng)用研究[D];中國科學(xué)技術(shù)大學(xué);2015年

8 王鳳琴;盒形件拉深智能化控制關(guān)鍵技術(shù)的研究[D];燕山大學(xué);2003年

9 胡坤;基于MCP的光子計(jì)數(shù)成像數(shù)據(jù)采集系統(tǒng)的研究[D];中國科學(xué)技術(shù)大學(xué);2015年

10 王永志;大型動(dòng)力離心機(jī)設(shè)計(jì)理論與關(guān)鍵技術(shù)研究[D];中國地震局工程力學(xué)研究所;2013年

相關(guān)碩士學(xué)位論文 前10條

1 彭帆;云數(shù)據(jù)采集系統(tǒng)中管理子系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];北京郵電大學(xué);2019年

2 徐智軒;一種16位200Msps的ADC數(shù)據(jù)采集系統(tǒng)設(shè)計(jì)[D];中國科學(xué)技術(shù)大學(xué);2019年

3 張磊;基于射頻組網(wǎng)的農(nóng)業(yè)數(shù)據(jù)采集系統(tǒng)[D];安徽大學(xué);2019年

4 李曉穎;基于優(yōu)化EtherCAT協(xié)議的多設(shè)備數(shù)據(jù)采集系統(tǒng)的FPGA設(shè)計(jì)與實(shí)現(xiàn)[D];天津工業(yè)大學(xué);2019年

5 李天琦;基于業(yè)務(wù)插件化的電商大數(shù)據(jù)采集系統(tǒng)[D];浙江工業(yè)大學(xué);2019年

6 馬玲;基于FPGA的油庫發(fā)油臺(tái)數(shù)據(jù)采集系統(tǒng)設(shè)計(jì)[D];西北師范大學(xué);2018年

7 陳浪;基于LoRa的供電樁數(shù)據(jù)采集系統(tǒng)的設(shè)計(jì)[D];浙江工業(yè)大學(xué);2017年

8 姜健;基于嵌入式平臺(tái)的數(shù)據(jù)采集系統(tǒng)動(dòng)態(tài)電源管理研究[D];哈爾濱工業(yè)大學(xué);2018年

9 梁成成;基于嵌入式雙ARM架構(gòu)的便攜式數(shù)據(jù)采集系統(tǒng)設(shè)計(jì)[D];東北大學(xué);2015年

10 劉丁;輕型車燃油經(jīng)濟(jì)性數(shù)據(jù)采集系統(tǒng)研究[D];河北工業(yè)大學(xué);2017年

本文編號(hào)：2801132