本文關(guān)鍵詞：搜索引擎中信息動(dòng)態(tài)采集策略的研究，由筆耕文化傳播整理發(fā)布。

第１０期電子

學(xué)

報(bào)

Ⅷ．３５

Ｎ０１０

２００７年１０月

ＡＣＴＡⅡＥ（邢ＯＮＩＣＡ

ＳＩＮＩＣＡ

Ｏｃｔ

２Ｄａ７

搜索引擎中信息動(dòng)態(tài)采集策略的研究

高凱

（河北科技大學(xué)信息科學(xué)與工程學(xué)院計(jì)算機(jī)科學(xué)與技術(shù)系．河北石家序０３００５４）

摘要：

為了能及時(shí)采集到有關(guān)嘲頁(yè)信息，搜索引葷應(yīng)根據(jù)相應(yīng)網(wǎng)站及其更新速度，動(dòng)態(tài)調(diào)整其信息采集的頻

度．本文就模型化網(wǎng)頁(yè)更新過(guò)程以及根據(jù)相關(guān)性動(dòng)態(tài)調(diào)梧搜索引擎的信息采集頻度進(jìn)行了探討．一方面使用泊松過(guò)程來(lái)描述嘲頁(yè)更新并分析了搜索引擎如何有效完成信息采集；另一方面采用基于網(wǎng)頁(yè)從屬關(guān)系和內(nèi)容分析的相關(guān)性來(lái)調(diào)節(jié)該過(guò)程，使得在進(jìn)行信息采集與數(shù)據(jù)更新時(shí)的針對(duì)性更強(qiáng)，實(shí)驗(yàn)表明了該方法的有效性．

關(guān)鍵詞：

搜索引擎；數(shù)據(jù)下載器；網(wǎng)頁(yè)更新；泊松過(guò)程；相關(guān)性

中圖分類號(hào)：ＴＰ３９３文獻(xiàn)標(biāo)識(shí)碼：

Ａ

文章編號(hào)：０３７２－２１１２（２００７）１０－１９８４－０５

ＤｙｎａｍｉｃＲｅｆｒｅｓｈＳｔｒａｔｅｇｙｆｏｒＣｒａｗｌｅｒｉｎＳｅａｒｃｈＥｎｇｉｎｅ

ＣＡｏＫａｌ

（口；ｍ１日，｝ｏｆＧ州ｍ

ｂ－ｒ＆婦ａｎｄＴ＊ｘ如Ｍｏｇｙ，＆ｈｏｄｏｆ卻獅刪啪蹦唧ｅａｎｄ吁ｇ砷料’昭

Ｈｅｋ４

Ｕｎｋｘ．ｒｓ蚵礦＆諸ｎ鐘ａｎｄ如如Ⅱ’蚴，軸咖吐刪皤．Ｈｅｂｅｉ０５００＿５４，ＣｔⅢ＇ｍ）

Ａｂｓｌ喇：

Ａｓｆｏｒ

ａ

ｓｅａｒｃｈ烈粵如ｅ。ｐｉｎｇｌ妒ｗｉｔｈｔｈｅｅｖ０１ｖｌｎｇ

Ｗｅｂ

ｂ

ｎｅｃ．ｅｓｓａｆｙ．Ｗｅ

ｃｏｎｃｅｆｎ

ａｉｘｍｔⅡｌ。ｄｅＩｉ培Ｏｆ２

ａｔ｝ｅｆｆｅｃ—

ｒｉｖｅＷｅｂ

ｐａｇｅｃｏｌｌｅｃｔｉｎｇｐｏｌｉｃｙａｎｄ

ａｄａＩＭｉｖｅｒｅｆｒｅｓｈｓｔｒａｔｅｇｙｂａｓｅｄ

ｏｌｌ

ｔｈｅｒｅｌｅｖａｎｃｅ，ｗｈｉｃｈｉｓｕｓ。ｄａ畦ｉｕｓｔ

ｔｈｅ

ｐｒⅫ．ｓｓ

Ｏｎ

ｏｎｅ

ｈａｎｄ．ｗｅｔｈｉｎｋｔｈｅ

Ｉｃ蛐ｂｅｈａｖｉｏｒ

ｐｒｏｐｏｓｅ

ａＩｌ

ｔｏ

ｆｏｌｌｏｗｓｔｈｅｐｒｏｐｅｒｔｉｅｓｏｆｔｈｅＰｏｉｓｓｏｎｐｌｘｒ．．ｅｓｓａｎｄａｎａｌｙｚｅｔｈｅｓｔｒａｔｅｇｙ

ｏｌｌ

ｈｏｗｔｏ

ｃｒａｗｌ

ｔｈｅＷｅｂｅｆｆｅｃｔｉｖｅｌｙ

Ｆｕｒｔｈｅｒ，ｔｈｅｒｅｌｅｖａｎｃｅｉｓｏｌｌｔｈｅｂａｓｉｓｏｆｔｈｅ

ａｆｆｉｌｉａｔｉｏｎｄｅｉＫｄｎｇａｎｄｔｈｅ

ｃｏｎｔｅｎｔｓ

ａｎａｌｙｓｉｓ．Ｉｔｉｓｕｓｅｄｔｏ．ｄｊＯＳｔｔｈｅ

ｐｒｏｃｅｓｓＴｈｉｓｍａｋｅｓｔｈｅ

ｐｒｅｓｓ

ｍｏｒｅｔａｒｇｅ．ｔｃｄＴｈｅ

ｅｘｐｅｒｍｍｔａｌｒｅｓｕｌｔｓｖａｌｉｄａｔｅｔｉｍｆｅａｓｉｂｉｌｉｔｙｏｆ吐ｌｃａｐｐｒｏａｃｈ．

Ｋｅｙ∞ｒｄｓ：，ｓｅａｒｃｈ∞ｇｌ”；ｃｒａｗｌｅｒ；ｒｅｆｒｅｓｈ；Ｐｏｉｓｓｔｍ

ｐｒｏｃｅｓｓ；ｒｅｌｅｖａｎｃｅ

ｌ引言

信息時(shí)遇到的最大問(wèn)題”時(shí)選擇“信息更新慢”選項(xiàng)的占２７．５％，排名第２位．因此本文擬針對(duì)信息采集中的數(shù)隨著汁算機(jī)網(wǎng)絡(luò)的迅速普及和應(yīng)用，Ｉｎ．ｍｅｔ已成據(jù)更新問(wèn)題進(jìn)行研究．本文認(rèn)為追求絕對(duì)的快不如有的為人類的信息寶庫(kù)，如何有效利用這個(gè)信息寶庫(kù)芷日益放矢地進(jìn)行更新，這樣既能有效節(jié)省網(wǎng)絡(luò)資源叉可保持受到人們的重視在此應(yīng)用背景下搜索引擎應(yīng)運(yùn)而生．對(duì)相對(duì)重要及相關(guān)內(nèi)容的及時(shí)下載與更新．

據(jù)中國(guó)互聯(lián)網(wǎng)絡(luò)信息中心２００３年７月至２００６年７月發(fā)目前９。！｜貞數(shù)量增長(zhǎng)十分迅速而且內(nèi)容更新頻繁．雖布的七次統(tǒng)計(jì)報(bào)告顯示口Ｊ，在用戶經(jīng)常使用的網(wǎng)絡(luò)功能然人們并不奢望一小時(shí)前發(fā)生的新聞事件能夠馬上出中選擇搜索引擎的比例分別是７０％、６１．６％、６４．４％、現(xiàn)在報(bào)紙上，但卻希望通過(guò)搜索引擎在Ｉｎｔｅｍｅｔ上找到６５％、６４．５％、６５．７％、６６．３％；在用戶得知新網(wǎng)站的主要相關(guān)新聞．另一方面，由于網(wǎng)絡(luò)資源的動(dòng)態(tài)變化，搜索引途徑中選擇搜索引擎的比例分別是８５％、８３．４％、擎鏈接到的頁(yè)面有時(shí)會(huì)變得不可訪『廿Ｊ．據(jù)統(tǒng)計(jì)日前搜索８６．９％、８６．６％、８４．５％（注：２００６年后的調(diào)查報(bào)告中無(wú)引擎鏈接的失效頁(yè)面數(shù)量大約占全部鏈接頁(yè)面數(shù)量的此項(xiàng)統(tǒng)計(jì)數(shù)據(jù)），可見(jiàn)搜索引擎正在日益發(fā)揮著重要的２％～９％…，可見(jiàn)如不及時(shí)有效地進(jìn)行信息更新勢(shì)必會(huì)作用．但同時(shí)用戶對(duì)搜索引擎性能感到非常滿意的卻只影響到搜索引擎的整體性能．但由于不同網(wǎng)站問(wèn)的更新有２３．４％、２７．４％、２６．９％、２８．４％（注：２００５年７月后的頻度差異很大口Ｊ．月更新大多存在著隨機(jī)性，隨時(shí)跟蹤調(diào)查報(bào)告中無(wú)此項(xiàng)統(tǒng)計(jì)數(shù)據(jù)）．英國(guó)ＭＯＲＩ調(diào)杏公司的并完全做到對(duì)網(wǎng)頁(yè)的實(shí)時(shí)更新幾乎也是不現(xiàn)實(shí)的．因此調(diào)查統(tǒng)計(jì)結(jié)果也表明只有１８％的用戶對(duì)搜索引擎的返一些搜索引擎系統(tǒng)往往根據(jù)實(shí)際情況采取不同的定時(shí)回結(jié)果表示滿意，，而高達(dá)６８％的用戶表示很失望，可見(jiàn)或不定時(shí)更新策略．

搜索引擎仍有許多需改進(jìn)之處，據(jù)中國(guó)互聯(lián)網(wǎng)絡(luò)信息中在相關(guān)研究中，文獻(xiàn)［６，１０，１２～１４］介紹了多種不心２００５年７月發(fā)布的統(tǒng)計(jì)報(bào)告顯示，用戶在回答“檢索同的更新方法，而網(wǎng)頁(yè)相關(guān)性問(wèn)題也在文獻(xiàn)【３—５］中被

收稿日期：２００５塒４）４；修回日期：２００７—０７一１０

  本文關(guān)鍵詞：搜索引擎中信息動(dòng)態(tài)采集策略的研究，由筆耕文化傳播整理發(fā)布。