本文關(guān)鍵詞：中心化分布式網(wǎng)絡(luò)爬蟲(chóng)研究

  更多相關(guān)文章： 網(wǎng)絡(luò)爬蟲(chóng) 數(shù)據(jù)抽取 分布式 數(shù)據(jù)挖掘

【摘要】：因特網(wǎng)的迅速發(fā)展使得網(wǎng)絡(luò)上的信息越來(lái)越豐富,對(duì)于網(wǎng)絡(luò)上信息的利用與分析已經(jīng)成為新的研究重點(diǎn)。從搜索引擎到數(shù)據(jù)挖掘,對(duì)互聯(lián)網(wǎng)信息的利用越來(lái)越深入,而伴隨著這些技術(shù)的要求以及信息量的增加,網(wǎng)絡(luò)爬蟲(chóng)作為信息提供的主要來(lái)源,已成為有關(guān)互聯(lián)網(wǎng)研究的熱點(diǎn)之一。本文將對(duì)于這一熱點(diǎn)研究進(jìn)行綜述,并對(duì)一種改進(jìn)的中心化分布式網(wǎng)絡(luò)爬蟲(chóng)進(jìn)行詳細(xì)描述、說(shuō)明。
【作者單位】： 首都經(jīng)濟(jì)貿(mào)易大學(xué);
【關(guān)鍵詞】： 網(wǎng)絡(luò)爬蟲(chóng) 數(shù)據(jù)抽取 分布式 數(shù)據(jù)挖掘
【分類(lèi)號(hào)】：TP391.3
【正文快照】： 一、引言作為搜索引擎和數(shù)據(jù)挖掘的基礎(chǔ)組成部分,網(wǎng)絡(luò)爬蟲(chóng)起著提供基礎(chǔ)數(shù)據(jù)、對(duì)數(shù)據(jù)進(jìn)行初步清洗的作用,是其不可或缺的部分。隨著網(wǎng)絡(luò)規(guī)模以及組成的復(fù)雜程度爆炸性的增長(zhǎng),依賴(lài)計(jì)算機(jī)單機(jī)處理能力的集中式爬蟲(chóng)已經(jīng)無(wú)法滿(mǎn)足快速獲取數(shù)據(jù)的需要。分布式網(wǎng)絡(luò)爬蟲(chóng)應(yīng)運(yùn)而生,它由多

【參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前2條

1 吳黎兵;柯亞林;何炎祥;劉楠;;分布式網(wǎng)絡(luò)爬蟲(chóng)的設(shè)計(jì)與實(shí)現(xiàn)[J];計(jì)算機(jī)應(yīng)用與軟件;2011年11期

2 周立柱,林玲;聚焦爬蟲(chóng)技術(shù)研究綜述[J];計(jì)算機(jī)應(yīng)用;2005年09期

【共引文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 趙杰;;中心化分布式網(wǎng)絡(luò)爬蟲(chóng)研究[J];時(shí)代金融;2016年33期

2 劉強(qiáng)強(qiáng);余黎青;趙鵬;劉慧婷;;基于移動(dòng)平臺(tái)的圖像檢索系統(tǒng)[J];計(jì)算機(jī)技術(shù)與發(fā)展;2016年11期

3 陳琳;任芳;;基于Python的新浪微博數(shù)據(jù)爬蟲(chóng)程序設(shè)計(jì)[J];信息系統(tǒng)工程;2016年09期

4 時(shí)永坤;;基于WebDriver的定向網(wǎng)絡(luò)爬蟲(chóng)設(shè)計(jì)與實(shí)現(xiàn)[J];軟件;2016年09期

5 于淑云;;基于校園BBS的輿情系統(tǒng)爬蟲(chóng)應(yīng)用研究[J];長(zhǎng)春工程學(xué)院學(xué)報(bào)(自然科學(xué)版);2016年02期

6 杜洪濤;孟慶國(guó);王君澤;;互聯(lián)網(wǎng)數(shù)據(jù)在輿情研判中的效用研究[J];中國(guó)軟科學(xué);2016年04期

7 盧楊;李華康;孫國(guó)梓;;一種基于P2P技術(shù)的分布式微博爬蟲(chóng)系統(tǒng)[J];江蘇大學(xué)學(xué)報(bào)(自然科學(xué)版);2016年03期

8 王麗娜;李懷;趙磊;;基于模擬用戶(hù)的Ajax Web自動(dòng)化測(cè)試模型[J];華中科技大學(xué)學(xué)報(bào)(自然科學(xué)版);2016年03期

9 李營(yíng)那;張瑜;;一種可自由配置的網(wǎng)頁(yè)采集系統(tǒng)原理及其實(shí)現(xiàn)[J];電腦知識(shí)與技術(shù);2015年35期

10 黎浩宏;;基于圖片內(nèi)容的商品信息檢索系統(tǒng)[J];浙江工貿(mào)職業(yè)技術(shù)學(xué)院學(xué)報(bào);2015年04期

【二級(jí)參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前1條

1 葉允明,于水,馬范援,宋暉,張嶺;分布式Web Crawler的研究:結(jié)構(gòu)、算法和策略[J];電子學(xué)報(bào);2002年S1期

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 周建華;史偉奇;徐聯(lián)華;;基于代理的分布式網(wǎng)絡(luò)實(shí)時(shí)取證模型及關(guān)鍵技術(shù)研究[J];計(jì)算機(jī)安全;2007年05期

2 林立鑫;;分布式網(wǎng)絡(luò)管理及參考模型的研究與設(shè)計(jì)[J];電腦知識(shí)與技術(shù);2009年21期

3 劉芳;趙磊;;分布式網(wǎng)絡(luò)管理技術(shù)的研究[J];科技創(chuàng)新導(dǎo)報(bào);2010年05期

4 夏敏捷;夏冰;徐飛;;基于“行政村”的分布式網(wǎng)絡(luò)安全評(píng)估系統(tǒng)的研究[J];中原工學(xué)院學(xué)報(bào);2010年01期

5 李曉琳;;淺談分布式網(wǎng)絡(luò)在信息管理系統(tǒng)中的應(yīng)用[J];企業(yè)導(dǎo)報(bào);2012年02期

6 陳曉川,劉曉冰,馮辛安;分布式網(wǎng)絡(luò)化研究中心及其體系結(jié)構(gòu)[J];計(jì)算機(jī)輔助設(shè)計(jì)與制造;1998年12期

7 李戰(zhàn)國(guó),唐亞哲,李增智;分布式網(wǎng)絡(luò)管理技術(shù)及實(shí)現(xiàn)[J];數(shù)據(jù)通信;2000年03期

8 翟潔,邵俊華,陳越;一個(gè)分布式網(wǎng)絡(luò)考試系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];微機(jī)發(fā)展;2001年01期

9 帥春燕,程文英,呂楊;JINI租借的思想及實(shí)現(xiàn)技術(shù)研究[J];昆明理工大學(xué)學(xué)報(bào)(理工版);2003年06期

10 何曉智;一個(gè)基于移動(dòng)Agent的分布式網(wǎng)絡(luò)管理模型[J];煤炭技術(shù);2003年03期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前10條

1 楊璐皓;范文慶;黃瑋;;基于分布式網(wǎng)絡(luò)的負(fù)載均衡與路徑選擇算法[A];虛擬運(yùn)營(yíng)與云計(jì)算——第十八屆全國(guó)青年通信學(xué)術(shù)年會(huì)論文集（下冊(cè)）[C];2013年

2 習(xí)友寶;古軍;;分布式網(wǎng)絡(luò)化測(cè)試技術(shù)綜述[A];第三次全國(guó)會(huì)員代表大會(huì)暨學(xué)術(shù)會(huì)議論文集[C];2002年

3 朱暢華;裴昌幸;李建東;彭愛(ài)華;肖海云;;分布式網(wǎng)絡(luò)測(cè)量和分析基礎(chǔ)架構(gòu)研究與實(shí)現(xiàn)[A];2003年中國(guó)通信學(xué)會(huì)信息通信網(wǎng)絡(luò)技術(shù)年會(huì)論文集[C];2003年

4 劉嶠;何興高;秦志光;;基于Mobile Agent的大規(guī)模分布式網(wǎng)絡(luò)安全檢測(cè)體系研究[A];全國(guó)網(wǎng)絡(luò)與信息安全技術(shù)研討會(huì)’2004論文集[C];2004年

5 王旭仁;劉寶旭;李雪瀅;曹愛(ài)娟;許榕生;于通河;;分布式網(wǎng)絡(luò)安全監(jiān)控系統(tǒng)的研究和實(shí)現(xiàn)[A];第十九次全國(guó)計(jì)算機(jī)安全學(xué)術(shù)交流會(huì)論文集[C];2004年

6 陳寧軍;倪桂強(qiáng);潘志松;姜?jiǎng)潘?;基于中間件的分布式網(wǎng)絡(luò)異常檢測(cè)系統(tǒng)[A];2006年全國(guó)開(kāi)放式分布與并行計(jì)算機(jī)學(xué)術(shù)會(huì)議論文集（三）[C];2006年

7 朱暢華;裴昌幸;李建東;彭愛(ài)華;肖海云;;分布式網(wǎng)絡(luò)測(cè)量和分析基礎(chǔ)架構(gòu)(DNMAI)研究與實(shí)現(xiàn)[A];中國(guó)通信學(xué)會(huì)信息通信網(wǎng)絡(luò)技術(shù)委員會(huì)2003年年會(huì)論文集[C];2003年

8 陳海濤;李旭峰;黃遵國(guó);龔正虎;;基于朋友關(guān)系的分布式文件搜索[A];第二十二屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2005年

9 趙懷勛;楊華春;;基于Web的分布式網(wǎng)絡(luò)故障監(jiān)控系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[A];第一屆全國(guó)Web信息系統(tǒng)及其應(yīng)用會(huì)議（WISA2004）論文集[C];2004年

10 許德剛;易虹;;CORBA和Mobile Agent在分布式網(wǎng)絡(luò)管理中的應(yīng)用[A];第一屆全國(guó)Web信息系統(tǒng)及其應(yīng)用會(huì)議（WISA2004）論文集[C];2004年

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫(kù) 前3條

1 ;前景廣闊的分布式網(wǎng)絡(luò)架構(gòu)[N];中國(guó)計(jì)算機(jī)報(bào);2002年

2 ;在單一平臺(tái)上可視化管理分布式網(wǎng)絡(luò)[N];網(wǎng)絡(luò)世界;2002年

3 山楓;1萬(wàn)美元可買(mǎi)千兆墻[N];中國(guó)計(jì)算機(jī)報(bào);2004年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前6條

1 吳迪;分布式網(wǎng)絡(luò)中的通信信號(hào)檢測(cè)與接收技術(shù)研究[D];解放軍信息工程大學(xué);2014年

2 楊靜;高頻分布式網(wǎng)絡(luò)雷達(dá)系統(tǒng)的研究與實(shí)現(xiàn)[D];武漢大學(xué);2010年

3 郭楠;分布式網(wǎng)絡(luò)自管理模型及相關(guān)問(wèn)題研究[D];東北大學(xué);2005年

4 何明星;面向群的分布式網(wǎng)絡(luò)密鑰管理[D];西南交通大學(xué);2003年

5 馬永剛;圖劃分方法及其在分布式網(wǎng)絡(luò)環(huán)境下的應(yīng)用[D];大連理工大學(xué);2012年

6 白媛;分布式網(wǎng)絡(luò)入侵檢測(cè)防御關(guān)鍵技術(shù)的研究[D];北京郵電大學(xué);2010年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 李濤;分布式網(wǎng)絡(luò)在鉆機(jī)監(jiān)控系統(tǒng)中的應(yīng)用研究[D];西安石油大學(xué);2015年

2 王超;分布式網(wǎng)絡(luò)安全預(yù)警系統(tǒng)研究與實(shí)現(xiàn)[D];電子科技大學(xué);2015年

3 張艷敏;基于無(wú)線(xiàn)Mesh網(wǎng)絡(luò)的分布式網(wǎng)絡(luò)管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];西安電子科技大學(xué);2014年

4 林贊;分布式網(wǎng)絡(luò)視頻顯示同步時(shí)鐘的設(shè)計(jì)與實(shí)現(xiàn)[D];華南理工大學(xué);2015年

5 付志鴻;基于Storm云平臺(tái)的分布式網(wǎng)絡(luò)爬蟲(chóng)技術(shù)研究與實(shí)現(xiàn)[D];電子科技大學(xué);2015年

6 趙帥帥;分布式網(wǎng)絡(luò)環(huán)境下的流量調(diào)度與控制技術(shù)研究[D];南京郵電大學(xué);2015年

7 劉昊;面向分布式網(wǎng)絡(luò)環(huán)境的服務(wù)器監(jiān)測(cè)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];吉林大學(xué);2015年

8 王尋;分布式網(wǎng)絡(luò)中壓縮感知的應(yīng)用研究[D];北京郵電大學(xué);2011年

9 鄭漢彬;分布式網(wǎng)絡(luò)實(shí)驗(yàn)平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[D];北京郵電大學(xué);2013年

10 鞏冰;無(wú)線(xiàn)分布式網(wǎng)絡(luò)中的資源優(yōu)化問(wèn)題研究[D];北京郵電大學(xué);2015年

，

本文編號(hào)：723235