【摘要】：為提高抓取海量DHT節(jié)點上的網(wǎng)絡資源效率,提出一種基于路由注入的DHT網(wǎng)絡爬蟲方法。結合Kademlia算法的特點,針對路由表各區(qū)間計算查詢目標ID,獲取已知節(jié)點保存的所有節(jié)點信息,提高遍歷節(jié)點的速度;在與網(wǎng)絡節(jié)點交互的過程中,生成適應已知節(jié)點路由表的爬蟲節(jié)點ID,達到注入對方路由表的目的;實現(xiàn)持續(xù)地抓取對方節(jié)點的資源。實驗結果表明,該方法既找到了路由表的最佳注入?yún)^(qū)間,提高了注入成功率,使得獲取DHT網(wǎng)絡資源的效率提高,并在Btbook網(wǎng)站中得到成功應用。
[Abstract]:In order to improve the efficiency of crawling network resources on massive DHT nodes, a DHT crawler method based on route injection is proposed. According to the characteristics of Kademlia algorithm, the information of all nodes stored in the known nodes is obtained by calculating the query target ID, in each section of the routing table, and the speed of traversing the nodes is improved. In the process of interacting with the network node, the crawler node ID, which adapts to the routing table of the known node, is generated to be injected into the routing table of the other node, and the resource of the other node is continuously captured. The experimental results show that this method not only finds the best injection interval of routing table, improves the injection success rate, but also improves the efficiency of obtaining DHT network resources. It has been successfully applied in Btbook website.
【作者單位】： 南京信息工程大學計算機與軟件學院;南京信息工程大學江蘇省網(wǎng)絡監(jiān)控中心;
【基金】：國家自然科學基金項目(41430427) 江蘇省青藍工程基金項目(2012)
【分類號】：TP393.02

【相似文獻】

相關期刊論文 前10條

1 劉紫千;陳常嘉;;基于流量矩陣估計的路由推斷算法[J];鐵道學報;2005年06期

2 唐敏;施新剛;喻星;尹霞;;路由監(jiān)控分析系統(tǒng)的設計和實現(xiàn)[J];計算機科學;2008年01期

3 程寧;;基于路由重分發(fā)技術及其虛擬網(wǎng)絡實驗研究[J];軟件;2013年11期

4 喬俊;張先華;;IGP路由監(jiān)測方法研究[J];電腦知識與技術(學術交流);2007年15期

5 徐小虎;郭大勇;高雪松;曹瑋;李賀軍;;一種解決路由可擴展問題的網(wǎng)絡新架構:虛擬聚合(VA)[J];電信網(wǎng)技術;2009年04期

6 鄭輝;;有類路由匯總的學習和探討[J];電腦知識與技術;2011年06期

7 石晶,郭志剛,曾志民,丁煒;互聯(lián)網(wǎng)的業(yè)務量工程[J];通訊世界;2000年11期

8 張怡婷;李鯨;陶軍;;基于ANTS的主動路由支撐框架的設計與實現(xiàn)[J];計算機工程;2006年04期

9 黃世權;;基于QoS路由的MPLS VPN實現(xiàn)研究[J];信息技術與信息化;2006年01期

10 馬鳳娟;宋大偉;;如何在網(wǎng)絡中實現(xiàn)VLSM和路由匯總[J];濰坊教育學院學報;2006年03期

相關會議論文 前6條

1 楊豹;龔正虎;劉亞萍;;BGP路由服務平臺(RSP)的設計[A];2006年全國開放式分布與并行計算機學術會議論文集（三）[C];2006年

2 汪笑;;路由Route命令解決視頻會商專線和互聯(lián)網(wǎng)專線傳輸問題[A];中國氣象學會2005年年會論文集[C];2005年

3 蹇戈;張曉哲;劉亞萍;;BGP協(xié)議鄰居會話規(guī)模的可擴展性分析[A];2008年中國高校通信類院系學術研討會論文集（上冊）[C];2009年

4 李文;龔羨萍;;基于IPv6的路由信息協(xié)議RIPng的基本原理及應用[A];全國第十二次光纖通信暨第十三屆集成光學學術會議論文集[C];2005年

5 程鵬;龔輝;胡波;;基于DSR協(xié)議的Ad hoc網(wǎng)絡入侵檢測分析[A];2006北京地區(qū)高校研究生學術交流會——通信與信息技術會議論文集（上）[C];2006年

6 張晗;王寒凝;;戰(zhàn)術互聯(lián)網(wǎng)安全性研究[A];計算機技術與應用進展·2007——全國第18屆計算機技術與應用（CACIS）學術會議論文集[C];2007年

相關重要報紙文章 前10條

1 鄒琦;Windows 2000 Advanced Server中軟路由的實現(xiàn)[N];計算機世界;2001年

2 《網(wǎng)絡世界》評測實驗室 榮鈺 潘永花;路由競技[N];網(wǎng)絡世界;2003年

3 曾迎之;路由要有新規(guī)則[N];中國計算機報;2001年

4 西安市公眾信息產(chǎn)業(yè)有限公司 彭曄;內(nèi)部路由規(guī)劃[N];中國計算機報;2002年

5 評測工程師 朱曄 李韜 宋博強 陳琪;個個都是好樣的[N];計算機世界;2004年

6 張志剛;虛擬路由引領IP新服務[N];中國計算機報;2001年

7 宋獻濤;IP路由走向智能化[N];計算機世界;2002年

8 權心權意;誤設IP引發(fā)路由異常[N];電腦報;2005年

9 董濤;多協(xié)議標志交換(MPLS)原理[N];通信產(chǎn)業(yè)報;2003年

10 中國石油廣域網(wǎng)項目組 戴震坤 葉銘;看看中石油怎樣選VPN網(wǎng)絡[N];計算機世界;2008年

相關博士學位論文 前4條

1 李清;基于弱轉發(fā)的互聯(lián)網(wǎng)路由可用性和擴展性研究[D];清華大學;2013年

2 董平;基于身份與位置分離映射的可擴展路由體系研究[D];北京交通大學;2008年

3 蘇偉;移動互聯(lián)網(wǎng)路由理論與關鍵技術的研究[D];北京交通大學;2008年

4 楊云;基于TCP/IP的QoS路由算法的研究[D];南京理工大學;2003年

，

本文編號：2446626