發(fā)布時(shí)間：2018-05-23 07:41

  本文選題：中央控制節(jié)點(diǎn) + 寬度優(yōu)先搜索　； 參考：《計(jì)算機(jī)工程與應(yīng)用》2011年16期

【摘要】：針對(duì)日益突出的網(wǎng)頁(yè)訪問(wèn)問(wèn)題,設(shè)計(jì)了一種新型分布式WebSpider。該分布式WebSpider采用中央控制節(jié)點(diǎn)來(lái)協(xié)調(diào)各個(gè)webspider的行為,利用寬度優(yōu)先搜索來(lái)獲得高質(zhì)量的網(wǎng)頁(yè),通過(guò)對(duì)DNS緩存來(lái)提高訪問(wèn)webserver的速度,以增加并行線程數(shù)量的方式來(lái)增加網(wǎng)頁(yè)下載速度,并能動(dòng)態(tài)地加入webspider節(jié)點(diǎn)和子中央控制節(jié)點(diǎn),具有很強(qiáng)的靈活性和擴(kuò)張能力。實(shí)驗(yàn)結(jié)果表明該分布式WebSpider作為搜索引擎的前端能夠快速有效地下載網(wǎng)頁(yè),具有較好的性能。
[Abstract]:In view of the increasingly prominent web page access problem, a new distributed WebSpider. is designed, which uses central control nodes to coordinate the behavior of each webspider, and uses breadth first search to obtain high quality web pages. By caching DNS, the speed of accessing webserver is improved to increase the number of parallel threads. In order to increase the speed of web page downloading and dynamically add webspider and sub central control nodes, it has a strong flexibility and expansion ability. The experimental results show that the distributed WebSpider is the front end of the search engine to download web pages quickly and effectively, and has good sexual ability.
【作者單位】： 四川理工學(xué)院計(jì)算機(jī)學(xué)院;
【基金】：四川省科技廳重點(diǎn)項(xiàng)目(No.2009JY0136) 四川省教育廳科研基金項(xiàng)目(No.09ZC114);四川省教育廳青年基金項(xiàng)目(No.07ZB049)
【分類號(hào)】：TP393.092

【二級(jí)參考文獻(xiàn)】

相關(guān)期刊論文 前1條

1 姜譽(yù),方濱興,胡銘曾,何仁清;大型ISP網(wǎng)絡(luò)拓?fù)涠帱c(diǎn)測(cè)量及其特征分析實(shí)例[J];軟件學(xué)報(bào);2005年05期

【相似文獻(xiàn)】

相關(guān)會(huì)議論文 前1條

1 丁國(guó)棟;王斌;;基于網(wǎng)站鏈接關(guān)系的中國(guó)境內(nèi)WEB圖結(jié)構(gòu)研究[A];全國(guó)網(wǎng)絡(luò)與信息安全技術(shù)研討會(huì)’2004論文集[C];2004年

相關(guān)碩士學(xué)位論文 前2條

1 顧廣聚;網(wǎng)絡(luò)入侵源主動(dòng)追蹤機(jī)制研究[D];吉林大學(xué);2007年

2 任彬;一種特定領(lǐng)域的語(yǔ)義網(wǎng)模型[D];吉林大學(xué);2004年

，

本文編號(hào)：1923858