本文關(guān)鍵詞：基于MD5去重樹的網(wǎng)絡(luò)爬蟲的設(shè)計與優(yōu)化　出處：《計算機應(yīng)用與軟件》2015年02期 　論文類型：期刊論文

  更多相關(guān)文章： 搜索引擎 網(wǎng)絡(luò)爬蟲 哈希鏈表 去重樹

【摘要】：隨著信息化社會的不斷發(fā)展,互聯(lián)網(wǎng)上的數(shù)據(jù)越來越多,隨之也產(chǎn)生了各種各樣的搜索引擎,網(wǎng)絡(luò)爬蟲正是為搜索引擎提供數(shù)據(jù)基礎(chǔ)的。由于大多數(shù)普通的網(wǎng)絡(luò)爬蟲在數(shù)據(jù)量巨大時都會因為DNS解析以及url去重而消耗大量的時間,為了更好地改進爬蟲的效率,讓爬蟲在大數(shù)據(jù)處理時依然擁有良好的性能,使用哈希鏈表緩存DNS并將DNS解析的效率相對于普通不做DNS優(yōu)化的爬蟲提高了2.5~3倍。再將MD5加密算法以及樹相結(jié)合設(shè)計出一種基于MD5的url去重樹,理論上使得url去重的空間復雜度相對于普通哈希表縮小60倍,而讓其查重的時間復雜度接近于O(1)。最終通過實驗證明了該設(shè)計的數(shù)據(jù)結(jié)構(gòu)較為良好。
【作者單位】： 徐州工程學院信電工程學院;徐州海外科技人才創(chuàng)業(yè)基地;
【基金】：徐州市科技計劃項目(XF12C048)
【分類號】：TP391.3;TP393.092
【正文快照】： 0引言如今信息化時代,互聯(lián)網(wǎng)發(fā)展的速度越來越快�；ヂ�(lián)網(wǎng)上的網(wǎng)頁數(shù)量數(shù)以萬億計[1],如何有效且快速地檢索這些網(wǎng)站上的信息,成為了一大難題,因此搜索引擎隨之誕生了。而網(wǎng)絡(luò)爬蟲,也稱蜘蛛程序,網(wǎng)絡(luò)機器人是搜索引擎的心臟,它常年爬行在各大網(wǎng)站上采集數(shù)據(jù),為搜索引擎提供了數(shù)

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前5條

1 駱斌,費翔林;多線程技術(shù)的研究與應(yīng)用[J];計算機研究與發(fā)展;2000年04期

2 尹江;尹治本;黃洪;;網(wǎng)絡(luò)爬蟲效率瓶頸的分析與解決方案[J];計算機應(yīng)用;2008年05期

3 梁正友;張林才;;基于Rabin指紋方法的URL去重算法[J];計算機應(yīng)用;2008年S2期

4 廖海生;趙躍龍;;基于MD5算法的重復數(shù)據(jù)刪除技術(shù)的研究與改進[J];計算機測量與控制;2010年03期

5 高克寧;柴橋子;張斌;馬安香;;支持Web信息分類的高性能蜘蛛程序[J];小型微型計算機系統(tǒng);2006年07期

【共引文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 雷超陽,劉軍華,徐正權(quán);基于COM+組件運行時線程模式探討及應(yīng)用[J];湖南文理學院學報(自然科學版);2004年04期

2 胡新海;;云存儲數(shù)據(jù)縮減技術(shù)研究[J];長春工程學院學報(自然科學版);2012年02期

3 劉婷婷;趙志偉;李戰(zhàn)偉;閆啟亮;;全自動晶圓劃片機軟件系統(tǒng)的設(shè)計與實現(xiàn)[J];電子工業(yè)專用設(shè)備;2012年06期

4 陸培軍;Delphi中多線程技術(shù)的應(yīng)用[J];電腦學習;2003年03期

5 李曄;姚全珠;王戰(zhàn)敏;;基于LabWindows/CVI的多線程實時監(jiān)控系統(tǒng)的研究與開發(fā)[J];電腦與信息技術(shù);2008年06期

6 周民;邱雅;王華彬;;網(wǎng)絡(luò)輿情分析中智能爬蟲的設(shè)計[J];電腦知識與技術(shù);2011年33期

7 關(guān)守平 ,鮑芳;IC/晶圓劃片機軟件系統(tǒng)的開發(fā)[J];電子與電腦;2005年10期

8 任曉軍;周煜;奚文駿;;基于LabWindows/CVI的多線程測控軟件設(shè)計技術(shù)[J];電子工程師;2006年01期

9 劉曉光,曲金鵬,凌志浩;基于LabWindows/CVI的多線程通信技術(shù)[J];儀器儀表用戶;2004年03期

10 吳丹;傅秀芬;蘇磊;林喬捷;;多線程編程模型的研究與應(yīng)用[J];廣東工業(yè)大學學報;2008年01期

中國重要會議論文全文數(shù)據(jù)庫 前6條

1 何玉琳;駱斌;陳世福;;面向?qū)ο蟮穆?lián)機分析處理技術(shù)O3LAP及其應(yīng)用[A];第十八屆全國數(shù)據(jù)庫學術(shù)會議論文集（研究報告篇）[C];2001年

2 張延成;駱斌;陳世福;;基于數(shù)據(jù)倉庫的司法決策支持系統(tǒng)的設(shè)計與實現(xiàn)[A];第十八屆全國數(shù)據(jù)庫學術(shù)會議論文集（技術(shù)報告篇）[C];2001年

3 肖靜靜;李雙峰;彭智勇;;用多線程方式優(yōu)化PostgreSQL的查詢處理[A];第二十屆全國數(shù)據(jù)庫學術(shù)會議論文集（技術(shù)報告篇）[C];2003年

4 陳誠;李光亞;童慶;;增量爬取技術(shù)的策略框架設(shè)計[A];第29屆中國數(shù)據(jù)庫學術(shù)會議論文集（B輯）（NDBC2012）[C];2012年

5 吳朋朋;黃瑋;楊璐皓;;移動終端通訊錄數(shù)據(jù)同步去重算法[A];2013年中國信息通信研究新進展論文集[C];2014年

6 胡寧玉;杜秀麗;劉焱;盧剛;王運明;;基于快速消冗方法的增量備份策略研究[A];2014第二屆中國指揮控制大會論文集（上）[C];2014年

中國博士學位論文全文數(shù)據(jù)庫 前9條

1 王肅;基于多Agent的突發(fā)事件信息智能監(jiān)測系統(tǒng)研究[D];北京郵電大學;2011年

2 孟玲;鋁電解槽熱場仿真與槽殼溫度在線檢測系統(tǒng)研究[D];山東大學;2011年

3 潘鐵軍;虛擬企業(yè)過程集成中幾個關(guān)鍵問題的研究[D];浙江大學;2001年

4 王田;移動智能網(wǎng)的過負荷控制機制研究[D];重慶大學;2002年

5 龐文堯;基于C/S模式的遠程控制系統(tǒng)研究開發(fā)[D];浙江大學;2003年

6 隋振;多點成形中的快速調(diào)形與成形過程自動化研究[D];吉林大學;2004年

7 孫紅梅;分布式虛擬場景實時繪制技術(shù)的研究與實現(xiàn)[D];中國科學院研究生院（計算技術(shù)研究所）;2001年

8 李偉;結(jié)構(gòu)化P2P網(wǎng)絡(luò)Churn問題研究[D];武漢大學;2012年

9 宋筱軒;動態(tài)數(shù)據(jù)驅(qū)動的河流突發(fā)性水污染事故預警系統(tǒng)關(guān)鍵技術(shù)研究[D];浙江大學;2014年

中國碩士學位論文全文數(shù)據(jù)庫 前10條

1 李秀芳;基于多核的多線程算法并行優(yōu)化[D];鄭州大學;2010年

2 高波;基于PC的音樂噴泉控制系統(tǒng)的設(shè)計[D];大連理工大學;2010年

3 丁寶瓊;網(wǎng)絡(luò)文本信息采集分析關(guān)鍵技術(shù)研究與實現(xiàn)[D];解放軍信息工程大學;2009年

4 劉娟容;實時PCR儀熒光信號監(jiān)測系統(tǒng)的研究[D];浙江大學;2011年

5 王興啟;多核處理器的有鎖編程與非阻塞算法研究[D];中原工學院;2011年

6 郭海燕;搜索引擎中網(wǎng)絡(luò)爬蟲技術(shù)研究[D];西安電子科技大學;2009年

7 陳穎;新一代移動產(chǎn)品體系規(guī)劃和融合計費的實現(xiàn)[D];西安電子科技大學;2008年

8 劉軍;基于云計算的網(wǎng)絡(luò)數(shù)據(jù)容災關(guān)鍵技術(shù)的研究[D];華中師范大學;2011年

9 于鵬;CDMA2000核心網(wǎng)性能測試工具的設(shè)計與實現(xiàn)[D];南京理工大學;2011年

10 張巧;基于1553B的載機火控模擬系統(tǒng)的設(shè)計與實現(xiàn)[D];南京理工大學;2011年

【二級參考文獻】

中國期刊全文數(shù)據(jù)庫 前8條

1 葉允明,于水,馬范援,宋暉,張嶺;分布式Web Crawler的研究:結(jié)構(gòu)、算法和策略[J];電子學報;2002年S1期

2 劉俊輝;;MD5消息摘要算法實現(xiàn)及改進[J];福建電腦;2007年04期

3 楊天奇;周曄;;一種增量式并行Web信息采集方法[J];計算機工程;2006年20期

4 劉金紅;陸余良;;主題網(wǎng)絡(luò)爬蟲研究綜述[J];計算機應(yīng)用研究;2007年10期

5 黃豪佑;董輝;盧建剛;;歷史數(shù)據(jù)壓縮算法在DSP上的實現(xiàn)[J];計算機測量與控制;2006年12期

6 苗長芬,馮偉華;面向主題Crawler的設(shè)計與實現(xiàn)[J];平原大學學報;2005年03期

7 李曉明,鳳旺森;兩種對URL的散列效果很好的函數(shù)[J];軟件學報;2004年02期

8 蔣宗禮;趙欽;肖華;王蕊;;高性能并行爬行器[J];計算機工程與設(shè)計;2006年24期

中國碩士學位論文全文數(shù)據(jù)庫 前3條

1 陳杰;主題搜索引擎中網(wǎng)絡(luò)蜘蛛搜索策略研究[D];浙江大學;2006年

2 何世林;基于Java技術(shù)的搜索引擎研究與實現(xiàn)[D];西南交通大學;2006年

3 朱玉麗;基于網(wǎng)格技術(shù)的主題爬蟲算法優(yōu)化的研究與實現(xiàn)[D];沈陽工業(yè)大學;2007年

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 戚欣;;基于本體的主題網(wǎng)絡(luò)爬蟲設(shè)計[J];武漢理工大學學報;2009年03期

2 彭軻;廖聞劍;;基于瀏覽器服務(wù)的網(wǎng)絡(luò)爬蟲[J];硅谷;2009年04期

3 王江紅;朱麗君;李彩虹;;一種新型網(wǎng)絡(luò)爬蟲的設(shè)計與實現(xiàn)[J];微計算機信息;2010年03期

4 于成龍;于洪波;;網(wǎng)絡(luò)爬蟲技術(shù)研究[J];東莞理工學院學報;2011年03期

5 焦賽美;;網(wǎng)絡(luò)爬蟲技術(shù)的研究[J];瓊州學院學報;2011年05期

6 宋海洋;劉曉然;錢�？�;;一種新的主題網(wǎng)絡(luò)爬蟲爬行策略[J];計算機應(yīng)用與軟件;2011年11期

7 劉金紅;陸余良;;主題網(wǎng)絡(luò)爬蟲研究綜述[J];計算機應(yīng)用研究;2007年10期

8 鄒海亮;孫莉;;可定制的聚焦網(wǎng)絡(luò)爬蟲[J];電子科技;2009年01期

9 楊松梅;;網(wǎng)絡(luò)爬蟲[J];硅谷;2009年15期

10 張紅云;劉煒;熊前興;;一種基于語義本體的網(wǎng)絡(luò)爬蟲模型[J];計算機應(yīng)用與軟件;2009年11期

中國重要會議論文全文數(shù)據(jù)庫 前4條

1 夏詔杰;郭力;李曉霞;;化學主題網(wǎng)絡(luò)爬蟲的研究[A];第十屆全國計算(機)化學學術(shù)會議論文摘要集[C];2009年

2 李楠;谷利澤;鈕心忻;;用于XSS掃描的網(wǎng)絡(luò)爬蟲的設(shè)計與實現(xiàn)[A];2010年全國通信安全學術(shù)會議論文集[C];2010年

3 張軍;于浩;內(nèi)野寬治;;UGC中產(chǎn)品評論信息的挖掘[A];內(nèi)容計算的研究與應(yīng)用前沿——第九屆全國計算語言學學術(shù)會議論文集[C];2007年

4 徐劍;柯貴明;;網(wǎng)絡(luò)爬蟲技術(shù)在搜索引擎中的應(yīng)用[A];全國第21屆計算機技術(shù)與應(yīng)用學術(shù)會議（CACIS·2010）暨全國第2屆安全關(guān)鍵技術(shù)與應(yīng)用學術(shù)會議論文集[C];2010年

中國碩士學位論文全文數(shù)據(jù)庫 前10條

1 金梅;網(wǎng)絡(luò)爬蟲性能提升與功能拓展的研究與實現(xiàn)[D];吉林大學;2012年

2 芮虎;比價購物平臺中網(wǎng)絡(luò)爬蟲的設(shè)計與實現(xiàn)[D];華東理工大學;2013年

3 龔秋艷;并行網(wǎng)絡(luò)爬蟲設(shè)計與實現(xiàn)[D];華東師范大學;2010年

4 么士宇;基于分布式計算的網(wǎng)絡(luò)爬蟲技術(shù)研究[D];大連海事大學;2011年

5 陳奮;過濾型網(wǎng)絡(luò)爬蟲的研究與設(shè)計[D];廈門大學;2007年

6 趙茉莉;網(wǎng)絡(luò)爬蟲系統(tǒng)的研究與實現(xiàn)[D];電子科技大學;2013年

7 譚龍遠;基于領(lǐng)域的網(wǎng)絡(luò)爬蟲技術(shù)的研究與實現(xiàn)[D];武漢理工大學;2009年

8 張紅云;基于頁面分析的主題網(wǎng)絡(luò)爬蟲的研究[D];武漢理工大學;2010年

9 趙鵬程;分布式書籍網(wǎng)絡(luò)爬蟲系統(tǒng)的設(shè)計與實現(xiàn)[D];西南交通大學;2014年

10 杜一平;主題搜索網(wǎng)絡(luò)爬蟲的設(shè)計與研究[D];中國科學技術(shù)大學;2009年

，

本文編號：1313186