本文選題：垂直搜索引擎 + 任務(wù)分配　； 參考：《計(jì)算機(jī)工程》2010年08期

【摘要】：分析傳統(tǒng)搜索引擎分配任務(wù)的方式及存在的問題,根據(jù)垂直搜索引擎的特點(diǎn),提出一種比傳統(tǒng)方法粒度更細(xì)的任務(wù)分配方式——網(wǎng)站劃分。該分配方式將較大規(guī)模的網(wǎng)站切分為若干較小規(guī)模的子集,并將子集交給若干爬蟲節(jié)點(diǎn)并行抓取,以加快爬蟲系統(tǒng)的整體獲取速率,作為對(duì)傳統(tǒng)方法的有效優(yōu)化。將網(wǎng)站劃分算法應(yīng)用于樣本數(shù)據(jù)集,驗(yàn)證其有效性。
[Abstract]:According to the characteristics of vertical search engine, this paper presents a task allocation method, which is more finer than the traditional method, that is, web site partition. In this way, the larger web sites are divided into smaller subsets, and the subsets are handed over to a number of crawler nodes to grab them in parallel, so as to speed up the overall acquisition rate of the crawler system, and as an effective optimization to the traditional methods. The website partition algorithm is applied to the sample data set to verify its validity.
【作者單位】： 哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院;
【基金】：國(guó)家自然科學(xué)基金資助項(xiàng)目(60703014) 國(guó)家“973”計(jì)劃基金資助項(xiàng)目(G2005CB321806) 高等學(xué)校博士學(xué)科點(diǎn)專項(xiàng)科研基金資助項(xiàng)目(20070213044) 哈爾濱工業(yè)大學(xué)優(yōu)秀青年教師培養(yǎng)計(jì)劃基金資助項(xiàng)目(HITQNJS2007034)
【分類號(hào)】：TP391.3

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 盧敏;;垂直搜索——我專故我在[J];軟件世界;2006年23期

2 顧鵬堯;“大話搜索引擎”[J];信息技術(shù)教育;2003年04期

3 王左利;;搜索的花樣年華[J];中國(guó)教育網(wǎng)絡(luò);2007年06期

4 楊堅(jiān)爭(zhēng);李朝平;;垂直搜索引擎及其應(yīng)用[J];電子商務(wù);2006年10期

5 肖冬梅;垂直搜索引擎研究[J];圖書館學(xué)研究;2003年02期

6 ;垂直搜索互聯(lián)網(wǎng)搜索業(yè)的新軍[J];數(shù)字通信世界;2006年12期

7 胡文勝;;垂直搜索助號(hào)碼百事通與商務(wù)領(lǐng)航[J];每周電腦報(bào);2006年32期

8 顧鵬堯;;讓搜索引擎更好地服務(wù)于教育教學(xué)[J];科學(xué)24小時(shí);2003年Z1期

9 陳新顏;垂直搜索引擎辨析[J];現(xiàn)代情報(bào);2004年09期

10 田野;垂直搜索火熱為哪般[J];中國(guó)計(jì)算機(jī)用戶;2005年37期

相關(guān)會(huì)議論文 前10條

1 王玨;盧艷平;張澤宏;鄒永寧;;一種有記憶的變窗“爬蟲”圖像邊界跟蹤方法[A];中國(guó)儀器儀表學(xué)會(huì)第六屆青年學(xué)術(shù)會(huì)議論文集[C];2004年

2 李楠;劉國(guó)棟;;基于局部視角的全局進(jìn)化策略[A];2005中國(guó)機(jī)器人大賽論文集[C];2005年

3 劉磊;賈紅雨;曲翠玉;;基于Multi-Agent技術(shù)的車輛調(diào)度任務(wù)分解機(jī)制的研究[A];第六屆交通運(yùn)輸領(lǐng)域國(guó)際學(xué)術(shù)會(huì)議論文集（下卷）[C];2006年

4 李曉磊;張承進(jìn);田國(guó)會(huì);張攀;;基于智能主體系統(tǒng)的物資儲(chǔ)配系統(tǒng)建模[A];2005中國(guó)控制與決策學(xué)術(shù)年會(huì)論文集（下）[C];2005年

5 孟鵬;王林平;王R，

本文編號(hào)：2108980