【摘要】：為提高抓取海量DHT節(jié)點(diǎn)上的網(wǎng)絡(luò)資源效率,提出一種基于路由注入的DHT網(wǎng)絡(luò)爬蟲方法。結(jié)合Kademlia算法的特點(diǎn),針對(duì)路由表各區(qū)間計(jì)算查詢目標(biāo)ID,獲取已知節(jié)點(diǎn)保存的所有節(jié)點(diǎn)信息,提高遍歷節(jié)點(diǎn)的速度;在與網(wǎng)絡(luò)節(jié)點(diǎn)交互的過程中,生成適應(yīng)已知節(jié)點(diǎn)路由表的爬蟲節(jié)點(diǎn)ID,達(dá)到注入對(duì)方路由表的目的;實(shí)現(xiàn)持續(xù)地抓取對(duì)方節(jié)點(diǎn)的資源。實(shí)驗(yàn)結(jié)果表明,該方法既找到了路由表的最佳注入?yún)^(qū)間,提高了注入成功率,使得獲取DHT網(wǎng)絡(luò)資源的效率提高,并在Btbook網(wǎng)站中得到成功應(yīng)用。
[Abstract]:In order to improve the efficiency of crawling network resources on massive DHT nodes, a DHT crawler method based on route injection is proposed. According to the characteristics of Kademlia algorithm, the information of all nodes stored in the known nodes is obtained by calculating the query target ID, in each section of the routing table, and the speed of traversing the nodes is improved. In the process of interacting with the network node, the crawler node ID, which adapts to the routing table of the known node, is generated to be injected into the routing table of the other node, and the resource of the other node is continuously captured. The experimental results show that this method not only finds the best injection interval of routing table, improves the injection success rate, but also improves the efficiency of obtaining DHT network resources. It has been successfully applied in Btbook website.
【作者單位】： 南京信息工程大學(xué)計(jì)算機(jī)與軟件學(xué)院;南京信息工程大學(xué)江蘇省網(wǎng)絡(luò)監(jiān)控中心;
【基金】：國(guó)家自然科學(xué)基金項(xiàng)目(41430427) 江蘇省青藍(lán)工程基金項(xiàng)目(2012)
【分類號(hào)】：TP393.02

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 劉紫千;陳常嘉;;基于流量矩陣估計(jì)的路由推斷算法[J];鐵道學(xué)報(bào);2005年06期

2 唐敏;施新剛;喻星;尹霞;;路由監(jiān)控分析系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)[J];計(jì)算機(jī)科學(xué);2008年01期

3 程寧;;基于路由重分發(fā)技術(shù)及其虛擬網(wǎng)絡(luò)實(shí)驗(yàn)研究[J];軟件;2013年11期

4 喬俊;張先華;;IGP路由監(jiān)測(cè)方法研究[J];電腦知識(shí)與技術(shù)(學(xué)術(shù)交流);2007年15期

5 徐小虎;郭大勇;高雪松;曹瑋;李賀軍;;一種解決路由可擴(kuò)展問題的網(wǎng)絡(luò)新架構(gòu):虛擬聚合(VA)[J];電信網(wǎng)技術(shù);2009年04期

6 鄭輝;;有類路由匯總的學(xué)習(xí)和探討[J];電腦知識(shí)與技術(shù);2011年06期

7 石晶,郭志剛,曾志民,丁煒;互聯(lián)網(wǎng)的業(yè)務(wù)量工程[J];通訊世界;2000年11期

8 張怡婷;李鯨;陶軍;;基于ANTS的主動(dòng)路由支撐框架的設(shè)計(jì)與實(shí)現(xiàn)[J];計(jì)算機(jī)工程;2006年04期

9 黃世權(quán);;基于QoS路由的MPLS VPN實(shí)現(xiàn)研究[J];信息技術(shù)與信息化;2006年01期

10 馬鳳娟;宋大偉;;如何在網(wǎng)絡(luò)中實(shí)現(xiàn)VLSM和路由匯總[J];濰坊教育學(xué)院學(xué)報(bào);2006年03期

相關(guān)會(huì)議論文 前6條

1 楊豹;龔正虎;劉亞萍;;BGP路由服務(wù)平臺(tái)(RSP)的設(shè)計(jì)[A];2006年全國(guó)開放式分布與并行計(jì)算機(jī)學(xué)術(shù)會(huì)議論文集（三）[C];2006年

2 汪笑;;路由Route命令解決視頻會(huì)商專線和互聯(lián)網(wǎng)專線傳輸問題[A];中國(guó)氣象學(xué)會(huì)2005年年會(huì)論文集[C];2005年

3 蹇戈;張曉哲;劉亞萍;;BGP協(xié)議鄰居會(huì)話規(guī)模的可擴(kuò)展性分析[A];2008年中國(guó)高校通信類院系學(xué)術(shù)研討會(huì)論文集（上冊(cè)）[C];2009年

4 李文;龔羨萍;;基于IPv6的路由信息協(xié)議RIPng的基本原理及應(yīng)用[A];全國(guó)第十二次光纖通信暨第十三屆集成光學(xué)學(xué)術(shù)會(huì)議論文集[C];2005年

5 程鵬;龔輝;胡波;;基于DSR協(xié)議的Ad hoc網(wǎng)絡(luò)入侵檢測(cè)分析[A];2006北京地區(qū)高校研究生學(xué)術(shù)交流會(huì)——通信與信息技術(shù)會(huì)議論文集（上）[C];2006年

6 張晗;王寒凝;;戰(zhàn)術(shù)互聯(lián)網(wǎng)安全性研究[A];計(jì)算機(jī)技術(shù)與應(yīng)用進(jìn)展·2007——全國(guó)第18屆計(jì)算機(jī)技術(shù)與應(yīng)用（CACIS）學(xué)術(shù)會(huì)議論文集[C];2007年

相關(guān)重要報(bào)紙文章 前10條

1 鄒琦;Windows 2000 Advanced Server中軟路由的實(shí)現(xiàn)[N];計(jì)算機(jī)世界;2001年

2 《網(wǎng)絡(luò)世界》評(píng)測(cè)實(shí)驗(yàn)室 榮鈺 潘永花;路由競(jìng)技[N];網(wǎng)絡(luò)世界;2003年

3 曾迎之;路由要有新規(guī)則[N];中國(guó)計(jì)算機(jī)報(bào);2001年

4 西安市公眾信息產(chǎn)業(yè)有限公司 彭曄;內(nèi)部路由規(guī)劃[N];中國(guó)計(jì)算機(jī)報(bào);2002年

5 評(píng)測(cè)工程師 朱曄 李韜 宋博強(qiáng) 陳琪;個(gè)個(gè)都是好樣的[N];計(jì)算機(jī)世界;2004年

6 張志剛;虛擬路由引領(lǐng)IP新服務(wù)[N];中國(guó)計(jì)算機(jī)報(bào);2001年

7 宋獻(xiàn)濤;IP路由走向智能化[N];計(jì)算機(jī)世界;2002年

8 權(quán)心權(quán)意;誤設(shè)IP引發(fā)路由異常[N];電腦報(bào);2005年

9 董濤;多協(xié)議標(biāo)志交換(MPLS)原理[N];通信產(chǎn)業(yè)報(bào);2003年

10 中國(guó)石油廣域網(wǎng)項(xiàng)目組 戴震坤 葉銘;看看中石油怎樣選VPN網(wǎng)絡(luò)[N];計(jì)算機(jī)世界;2008年

相關(guān)博士學(xué)位論文 前4條

1 李清;基于弱轉(zhuǎn)發(fā)的互聯(lián)網(wǎng)路由可用性和擴(kuò)展性研究[D];清華大學(xué);2013年

2 董平;基于身份與位置分離映射的可擴(kuò)展路由體系研究[D];北京交通大學(xué);2008年

3 蘇偉;移動(dòng)互聯(lián)網(wǎng)路由理論與關(guān)鍵技術(shù)的研究[D];北京交通大學(xué);2008年

4 楊云;基于TCP/IP的QoS路由算法的研究[D];南京理工大學(xué);2003年

，

本文編號(hào)：2446626