本文選題：搜索引擎 + 網(wǎng)絡(luò)爬蟲�。� 參考：《網(wǎng)絡(luò)與信息安全學(xué)報》2016年08期

【摘要】：網(wǎng)絡(luò)爬蟲是搜索引擎的重要組成部分,其性能直接影響搜索引擎的準(zhǔn)確性和及時性。Larbin是一個高效、簡單、功能比較完善的開源爬蟲框架,基于此,介紹了幾種典型的開源爬蟲框架,并對其進(jìn)行多維度比較;對Larbin體系結(jié)構(gòu)進(jìn)行詳細(xì)的介紹;然后指出Larbin在程序結(jié)構(gòu)和流程方面存在的不足,提出對應(yīng)的優(yōu)化方案;測試結(jié)果表明,改進(jìn)后的方案在速度和性能方面都有所提高。
[Abstract]:The web crawler is an important part of the search engine. Its performance directly affects the accuracy and timeliness of the search engine..Larbin is an efficient, simple and functional open source crawler framework. Based on this, several typical open source crawler frameworks are introduced, and their multi-dimensional comparison is carried out. The Larbin architecture is described in detail. Then it points out the shortcomings of Larbin in the structure and process of the program, and puts forward the corresponding optimization scheme; the test results show that the improved scheme is improved in speed and performance.
【作者單位】： 北京電子科技學(xué)院信息安全系;西安電子科技大學(xué)計算機(jī)學(xué)院;
【基金】：國家重點研發(fā)計劃基金資助項目(No.2016YFB0800304) 北京市自然科學(xué)基金資助項目(No.4152048) 江蘇省自然科學(xué)基金資助項目(No.BK20150787) 北京電子科技學(xué)院2016年春蕾計劃基金資助項目(No.2016CL04)~~
【分類號】：TP393.092;TP391.3

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 彭軻;廖聞劍;;基于瀏覽器服務(wù)的網(wǎng)絡(luò)爬蟲[J];硅谷;2009年04期

2 王江紅;朱麗君;李彩虹;;一種新型網(wǎng)絡(luò)爬蟲的設(shè)計與實現(xiàn)[J];微計算機(jī)信息;2010年03期

3 于成龍;于洪波;;網(wǎng)絡(luò)爬蟲技術(shù)研究[J];東莞理工學(xué)院學(xué)報;2011年03期

4 李志義;;網(wǎng)絡(luò)爬蟲的優(yōu)化策略探略[J];現(xiàn)代情報;2011年10期

5 焦賽美;;網(wǎng)絡(luò)爬蟲技術(shù)的研究[J];瓊州學(xué)院學(xué)報;2011年05期

6 宋海洋;劉曉然;錢�？�;;一種新的主題網(wǎng)絡(luò)爬蟲爬行策略[J];計算機(jī)應(yīng)用與軟件;2011年11期

7 王娟;吳金鵬;;網(wǎng)絡(luò)爬蟲的設(shè)計與實現(xiàn)[J];軟件導(dǎo)刊;2012年04期

8 金魯峰;邰劍秋;張旭;;基于關(guān)鍵詞過濾與結(jié)構(gòu)化輸出的網(wǎng)絡(luò)爬蟲系統(tǒng)設(shè)[J];中國傳媒科技;2012年07期

9 郭濤;黃銘鈞;;社區(qū)網(wǎng)絡(luò)爬蟲的設(shè)計與實現(xiàn)[J];智能計算機(jī)與應(yīng)用;2012年04期

10 吳菊英;賈炅昊;馮秀芳;;基于農(nóng)業(yè)領(lǐng)域的網(wǎng)絡(luò)爬蟲[J];電腦開發(fā)與應(yīng)用;2012年08期

相關(guān)會議論文 前4條

1 夏詔杰;郭力;李曉霞;;化學(xué)主題網(wǎng)絡(luò)爬蟲的研究[A];第十屆全國計算(機(jī))化學(xué)學(xué)術(shù)會議論文摘要集[C];2009年

2 李楠;谷利澤;鈕心忻;;用于XSS掃描的網(wǎng)絡(luò)爬蟲的設(shè)計與實現(xiàn)[A];2010年全國通信安全學(xué)術(shù)會議論文集[C];2010年

3 張軍;于浩;內(nèi)野寬治;;UGC中產(chǎn)品評論信息的挖掘[A];內(nèi)容計算的研究與應(yīng)用前沿——第九屆全國計算語言學(xué)學(xué)術(shù)會議論文集[C];2007年

4 徐劍;柯貴明;;網(wǎng)絡(luò)爬蟲技術(shù)在搜索引擎中的應(yīng)用[A];全國第21屆計算機(jī)技術(shù)與應(yīng)用學(xué)術(shù)會議（CACIS·2010）暨全國第2屆安全關(guān)鍵技術(shù)與應(yīng)用學(xué)術(shù)會議論文集[C];2010年

相關(guān)碩士學(xué)位論文 前10條

1 陶俊文;基于Heritrix框架的專業(yè)鎮(zhèn)信息網(wǎng)絡(luò)爬蟲系統(tǒng)[D];華南理工大學(xué);2015年

2 馬漢超;基于主題網(wǎng)絡(luò)爬蟲的汽車行業(yè)多元信息web系統(tǒng)設(shè)計與實現(xiàn)[D];西南交通大學(xué);2015年

3 黃永軍;面向垂直搜索的網(wǎng)絡(luò)爬蟲設(shè)計與實現(xiàn)[D];北京郵電大學(xué);2013年

4 羅路天;垂直搜索引擎中主題網(wǎng)絡(luò)爬蟲算法的設(shè)計與研究[D];廣東工業(yè)大學(xué);2016年

5 胡博;基于網(wǎng)絡(luò)爬蟲的內(nèi)容資源評價研究[D];北京理工大學(xué);2015年

6 金梅;網(wǎng)絡(luò)爬蟲性能提升與功能拓展的研究與實現(xiàn)[D];吉林大學(xué);2012年

7 芮虎;比價購物平臺中網(wǎng)絡(luò)爬蟲的設(shè)計與實現(xiàn)[D];華東理工大學(xué);2013年

8 楊東權(quán);面向人臉檢測的主題網(wǎng)絡(luò)爬蟲系統(tǒng)[D];重慶大學(xué);2015年

9 龔秋艷;并行網(wǎng)絡(luò)爬蟲設(shè)計與實現(xiàn)[D];華東師范大學(xué);2010年

10 么士宇;基于分布式計算的網(wǎng)絡(luò)爬蟲技術(shù)研究[D];大連海事大學(xué);2011年

，

本文編號：2015597