本文關(guān)鍵詞：主題搜索引擎中網(wǎng)絡(luò)爬蟲的搜索策略研究，由筆耕文化傳播整理發(fā)布。

當(dāng)前位置：首頁 >> IT/計(jì)算機(jī) >> 主題搜索引擎網(wǎng)絡(luò)爬蟲搜索策略的研究與實(shí)現(xiàn)(1)

２０１

０年第１ ９卷第３期

計(jì)算機(jī)系統(tǒng)應(yīng)用

主題搜索引擎網(wǎng)絡(luò)爬蟲搜索策略的研究與實(shí)現(xiàn)①
劉淑梅 摘要： 夏 亮 許南山（北京化工大學(xué)信息研究院北京１ ０００２９）
根據(jù)網(wǎng)絡(luò)頁面結(jié)構(gòu)的特點(diǎn)，提出通過頁面之間的主題傳遞來預(yù)測(cè)頁面主題相關(guān)性的方法，解決了主題 爬蟲通道堵塞。抓取遺漏的問題。首先根據(jù)錨

文本傳遞一個(gè)相關(guān)性信息值，如果錨文本給出的信息是 相關(guān)，相關(guān)閡值就直接傳遞；如果是不相關(guān)，就乘以遺傳基因比例之后傳遞。傳遞的過程中如果遇到 相關(guān)的網(wǎng)頁就恢復(fù)鏈接的相關(guān)性信息值到初始值。最后根據(jù)實(shí)驗(yàn)結(jié)果驗(yàn)證了算法的查全率與查準(zhǔn)率， 查全率有顯著的提高。

關(guān)鍵詞：

網(wǎng)絡(luò)爬蟲；搜索引擎；主題相關(guān)；遺傳；抓取

Ｓｅａｒｃｈ Ｓｔｒａｔｅｇｙ ａｎｄ Ａｃｈｉｅｖｅ ｏｆ ｔｈｅ Ｔｏｐｉｃ Ｓｅａｒｃｈ Ｅｎｇｉｎｅ Ｓｐｉｄｅｒ
ＬＩＵ Ｓｈｕ—Ｍｅｉ，ＸＩＡ Ｌｉａｎｇ，ＸＵ Ｎａｎ—Ｓｈａｈ

（Ａｃａｄｅｍｅ ｏｆ Ｉｎｆｏｒｍａｔｉｏｎ，Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｃｈｅｍｉｃａｌ Ｔｅｃｈｎｏｌｏｇｙ，Ｂｅｉｊｉｎｇ １ ００２９，Ｃｈｉｎａ）
Ａｂｓｔｒａｃｔ：Ａｃｃｏｒｄｉｎｇ ｔｏ ｔｈｅ ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ ｏｆ ｔｈｅ ｃｙｂｅｒ ｐａｇｅ ｓｔｒｕｃｔｕｒｅ，ｔｈｉｓ ｐａｐｅｒ ｐｒｏｐｏｓｅｓ ｔｈｅ ｔｈｅｍｅ ｗｈｉｃｈ ｐｒｅｄｉｃｔｓ ｔｈｅ ｃｏｒｒｅｌａｔｉｖｉｔｙ ｂｙ ｄｅｌｉｖｅｒｉｎｇ ｔｈｅ ｔｈｅｍｅ ａｍｏｎｇ ｔｈｅ ｐａｇｅｓ，ａｎｄ ｓｏｌｖｅｓ ｔｈｅ ｐｒｏｂｌｅｍｓ ｏｆ ｃｈａｎｎｅｌ

ｊａｍｍｉｎｇ

ａｎｄ

ｃａｐｔｕｒｅ ｏｍｉｓｓｉｏｎ．Ｆｉｒｓｔｌｙ，ａ ｃｏｒｒｅｌａｔｉｖｅ ｉｎｆｏｒｍａｔｉｏｎ ｖａｌｕｅ ｉｓ ｄｅｌｉｖｅｒｅｄ ａｃｃｏｒｄｉｎｇ ｔｏ ｔｈｅ ａｎｃｈｏｒ ｔｅｘｔ．Ｉｆ ｔｈｅ

ｉｎｆｏｒｍａｔｉｏｎ

ｇｉｖｅｎ ｂｙ ｔｈｅ

ａｎｃｈｏｒ ｔｅｘｔ ｉｓ

ｃｏｒｒｅｌａｔｅｄ，ｔｈｅ ｃｏｒｒｅｌａｔｉｖｅ ｔｈｒｅｓｈｏｌｄ ｗｉｌｌ ｂｅ ｄｅｌｉｖｅｒｅｄ ｄｉｒｅｃｆｌｙ． ｂｅｆｏｒｅ ｄｅｌｉｖｅｒｙ．Ｉｎ ｔｈｅ ｐｒｏｃｅｓｓ ｏｆ ｔｈｅ ｄｅｌｉｖｅｒｙ，

Ｏｔｈｅｒｗｉｓｅ，ｉｔ ｗｉｌｌ

ｂｅ ｍｕｌｔｉｐｌｉｅｄ ｂｙ

ｔｈｅ ｇｅｎｅｔｉｃ ｒａｔｉｏ

ｃｏｒｒｅｌａｔｉｖｅ ｉｎｆｏｒｍａｔｉｏｎ ｖａｌｕｅ ｍａｙ ｂｅ ｒｅｓｅｔ ｔｏ ｔｈｅ ｉｎｉｔｉａｌ ｖａｌｕｅ ｉｆ ｉｔ ｅｎｃｏｕｎｔｅｒｓ ｔｈｅ ｃｏｒｒｅｌａｔｉｖｅ ｌａｓｔ，ｔｈｅ ｒｅｃａｌｌ ｒａｔｉｏ ｉｓ ｐｒｏｖｅｎ ｔｏ ｂｅ ｇｒｅａｔｌｙ ｉｍｐｒｏｖｅｄ ｂａｓｅｄ
ｏｎ

Ｗｅｂ

ｐａｇｅ．Ａｔ

ｔｈｅ

ｅｘｐｅｒｉｍｅｎｔａｌ

ｒｅｓｕｌｔ．

Ｋｅｙｗｏｒｄｓ：ｃｙｂｅｒ ｗｏｒｍ；ｓｅａｒｃｈ

ｅｎｇｉｎｅ；ｔｈｅｍｅ ｃｏｒｒｅｌａｔｉｖｉｔｙ；ｇｅｎｅｔｉｃ ａｌｇｏｒｉｔｈｍ；ｃｒａｗｌ

１

引言
隨著互聯(lián)網(wǎng)的飛速發(fā)展，網(wǎng)上信息量大量增加，傳

程由控制器，解析器，資源庫三部分組成。過濾處理 部分由頁面處理，主題判斷兩部分組成。控制器主要 的工作是給多線程中的各個(gè)線程分配工作任務(wù)。解析 器主要的工作是下載網(wǎng)頁，頁面處理，主題計(jì)算等工 作，爬蟲的基本操作由解析器完成。資源庫用來存放 下載到的網(wǎng)頁資源，并對(duì)其建立索引。主題網(wǎng)絡(luò)爬蟲 與通用的網(wǎng)絡(luò)爬蟲…相比，多了一個(gè)主題判斷篩選的 過程，引導(dǎo)爬蟲的抓取方向，縮減爬蟲的工作量。初 始ｕｒｌ地址通過控制器分配給解析器，解析器根據(jù)ｕｒｌ 地址從ｗｅｂ互聯(lián)網(wǎng)上抓取網(wǎng)頁，將其放進(jìn)資源庫，隨 后將ｕ ｒｌ地址放進(jìn)等待隊(duì)列。，抓取時(shí)分析頁面，提取

統(tǒng)的搜索引擎已經(jīng)不能滿足人們的搜索信息需求，這就 促進(jìn)了主題搜索引擎的發(fā)展。主題搜索引擎的信息量是 針對(duì)某一個(gè)特定領(lǐng)域，主題搜索引擎網(wǎng)絡(luò)爬蟲抓取網(wǎng)頁 的時(shí)候只抓取主題相關(guān)的網(wǎng)頁，過濾不相關(guān)網(wǎng)頁的抓取 工作。為了提高主題爬蟲的工作效率，過濾工作就相當(dāng) 重要。目前的主題爬蟲在抓取網(wǎng)頁時(shí)，往往會(huì)遺漏大量 的相關(guān)網(wǎng)頁，因此本文提出一種在權(quán)值傳遞過程中權(quán)值 恢復(fù)的策略彌補(bǔ)主題爬蟲的這種不足。

２主題爬蟲的模型框架
如模型框架圖所示（見圖１），在系統(tǒng)框架中，主過

ｕｒｌ，根據(jù)ｕｒＩ的鏈接文本判斷主題，將相關(guān)ｕｒｌ放進(jìn) 等待隊(duì)列。

①收稿時(shí)間：２００９—０６—０６ Ｄｅｖｅｌｏｐｍｅｎｔ研究開發(fā)４９

Ｒｅｓｅａｒｃｈ ａｎｄ

萬 　 方數(shù)據(jù)

計(jì)算機(jī)系統(tǒng)應(yīng)用

２０１ ０年第１ ９卷第３期

＞ｔｅｘｔ＜／ａ＞，基于網(wǎng)頁結(jié)構(gòu)的明確性，ｔｅｘｔ往往是一 個(gè)非常精確的概括性描述文字。在這種結(jié)構(gòu)基礎(chǔ)上， 我們采用文獻(xiàn)【３】中的向量空間模型來計(jì)算鏈接文本 ｔｅｘｔ的相似度。用它標(biāo)記ｕｒｌｔｅｘｔ的相關(guān)度。模型公 式如公式（１
ｏ

∑彬．，×形．，
ＳＩＭ（ＰＪ，軸＝
Ｉ’ ，

√善＇Ｗｕ２×善彬ｊ
圖１

模型框架圖

其中Ｗｉｊ表示特征向量在鏈接文本中的權(quán)值，Ｗｉ．， 表示特征向量Ｉ在主題特征庫中的權(quán)值，Ｒ代表主題特

３主題爬蟲的算法設(shè)計(jì)
３．１主題網(wǎng)頁鏈接結(jié)構(gòu) 互聯(lián)網(wǎng)網(wǎng)頁之間的鏈接是呈蜘蛛網(wǎng)形狀，網(wǎng)頁與 網(wǎng)頁之間形成錯(cuò)綜復(fù)雜的網(wǎng)絡(luò)通道。對(duì)于通用網(wǎng)絡(luò)爬 蟲，可以在網(wǎng)絡(luò)通道里面任意爬行，它們的要求是盡 可能多的發(fā)現(xiàn)更多的網(wǎng)絡(luò)通道。對(duì)于主題爬蟲，網(wǎng)絡(luò) 通道有特定的方向，只能沿著特定的主題方向爬行。 目前多數(shù)主題爬蟲【２—４１在遇到通道堵塞時(shí)候的做法是 丟棄現(xiàn)有的通道，換另～條并行的通道。這樣的做法 有一個(gè)缺陷就是可能遺棄一些通道深度大的主題相關(guān) 網(wǎng)頁。如主題網(wǎng)頁鏈接圖所示，我們假定Ａ，Ｂ，Ｄ， Ｆ是相關(guān)網(wǎng)頁，Ｃ，Ｅ是不相關(guān)網(wǎng)頁。爬蟲從Ａ網(wǎng)頁開 始抓取，通道Ａ—Ｂ—Ｄ是無阻塞的，Ｂ與Ｄ可以很容 易抓取到，在通道Ａ—Ｃ—Ｆ中因?yàn)橛校米韪簦次墨I(xiàn)【１】 的算法當(dāng)爬蟲抓取到這里可能會(huì)停止，關(guān)閉Ａ—Ｃ—Ｆ 通道，結(jié)果是Ｆ就不能夠被抓取。下面將要呈現(xiàn)的算 法能夠使爬蟲沿著Ａ—Ｃ～Ｆ通道繼續(xù)往下爬取，得到相 關(guān)網(wǎng)頁Ｆ，如圖２所示。

征向量，ＳＩＭ（Ｐｊ，Ｒ）表示鏈接文本Ｐｊ的相關(guān)度。 ３．３主題爬蟲抓取算法 在介紹算法的開始需要先做兩個(gè)定義【５】 定義１．父網(wǎng)頁：網(wǎng)頁Ａ中有ｕｒｌ鏈接到網(wǎng)頁Ｂ， 那么網(wǎng)頁Ａ就是網(wǎng)頁Ｂ的父網(wǎng)頁。 定義２．子網(wǎng)頁：網(wǎng)頁Ａ中有ｕｒｌ鏈接到網(wǎng)頁Ｂ， 那么網(wǎng)頁Ｂ就是網(wǎng)頁Ａ的子網(wǎng)頁。 爬蟲抓取過程中使用了四個(gè)隊(duì)列，分別是等待隊(duì) 列，抓取隊(duì)列，錯(cuò)誤隊(duì)列，完成隊(duì)列。 等待隊(duì)列：爬蟲解析到的ｕｒｌ先保存到等待隊(duì)列 中，在等待隊(duì)列中的ｕｒＩ按照特定的排序法則進(jìn)行排 序，等候爬蟲的抓取。 抓取隊(duì)列：ｕｒｌ正在被抓取時(shí)放進(jìn)抓取隊(duì)列，目的 是防止ｕ ｒｌ被同時(shí)多次抓取。 錯(cuò)誤隊(duì)列：在抓取過程中出錯(cuò)的ｕｒＩ保存到錯(cuò)誤 隊(duì)列。 完成隊(duì)列：一個(gè)ｕｒＩ被爬蟲完全抓取之后就將ｕｒＩ 放進(jìn)完成隊(duì)列。 爬蟲的抓取算法如下： ①將初始頁面ｕｒＩ集合放進(jìn)等待隊(duì)列，分配每個(gè)
ｕ

ｒＩ一個(gè)相關(guān)性消息值ｍ，并給每個(gè)ｕｒＩ同樣的相關(guān)度

值，這個(gè)相對(duì)于后面將要計(jì)算到的值較大。初始頁面 會(huì)人為根據(jù)主題進(jìn)行篩選，所以與主題的緊密高。人 為的給定一個(gè)高的相關(guān)度值優(yōu)點(diǎn)有兩個(gè)，首先，減少 爬蟲的計(jì)算量，這些種子站點(diǎn)不需要通過相關(guān)度的計(jì)
圖２

主題網(wǎng)頁鏈接圖

算。其次，可以在等待隊(duì)列中置于較靠前的位置，在 以后的更新過程中，可以優(yōu)先更新。

３．２相關(guān)度計(jì)算 研究發(fā)現(xiàn)在基于ＨＴＭＬ協(xié)議的網(wǎng)頁中，每一個(gè)ｕｒｌ 的鏈接文本最能概括表達(dá)ｕｒｌ所指向的網(wǎng)頁內(nèi)容，在 網(wǎng)頁中有～個(gè)鏈接模型為＜ａ ｈｒｅｆ＝“ｕｒｌｔｅｘｔ”
５０研究開發(fā)Ｒｅｓｅａｒｃｈ ａｎｄ Ｄｅｖｅｌｏｐｍｅｎｔ

②對(duì)等待隊(duì)列中的ｕｒｌ，先根據(jù)ｍ值大�。菩�， 再根據(jù)相關(guān)度的大小排序。

③根據(jù)第二步排好序的等待隊(duì)列，將排序最前的
ｕｒｌ拿出放進(jìn)抓取隊(duì)列，爬蟲開始抓取。

萬 　 方數(shù)據(jù)

２０１ ０年第１ ９卷第３期

計(jì)算機(jī)系統(tǒng)應(yīng)用 由非主線通道發(fā)現(xiàn)的主線通道。存爬蟲等待都列中的 爬蟲先根據(jù)ｍ值的大小排序，再根據(jù)鏈接文本相關(guān) 度大小排序，可以保證主線通道上爬蟲優(yōu)先被抓取， 而非主題的鏈接也并沒有拋棄。爬蟲抓取完主題鏈接 之后再由他們搜索新的主題的鏈接，再次優(yōu)先抓取。

④下載網(wǎng)頁到本地磁盤，并建立索引，然后將
ｕｒｌ地址放進(jìn)完成隊(duì)列。 ⑤利用解析器解析出網(wǎng)頁中的鏈接與對(duì)應(yīng)的鏈 接文本，利用公式１計(jì)算鏈接地址的相關(guān)度值。 ⑥將第四步得到的相關(guān)度值與相關(guān)度閥值ｆ進(jìn)行 比較，，其結(jié)果分為三種情況： 第一種情況是相關(guān)度值大于相關(guān)度閥值，且父網(wǎng) 頁的相關(guān)性消息ｍ值等于初始值，則直接傳遞父網(wǎng)頁 的ｍ值給子網(wǎng)頁。 第二種情況是相關(guān)度值大于相關(guān)度閥值，且父網(wǎng) 頁的相關(guān)性消息ｍ值小于初始值，則恢復(fù)ｍ值為初 始值，傳遞ｍ值給子網(wǎng)頁。 第三種情況是相關(guān)度值小于相關(guān)度閥值，則將父 網(wǎng)頁的ｍ值乘以遺傳基因比例ｂ傳遞子網(wǎng)頁的（ｂ值 大于Ｏ小于１），子網(wǎng)頁的相關(guān)性消息值是ｍ。ｂ。 ⑦將ｕｒｌ，ｍ值，相關(guān)度值放進(jìn)等待隊(duì)列，重復(fù) 第二步。 ⑧算法結(jié)束。 在上面的算法中，爬蟲的等待隊(duì)列里面不僅僅有 ｕｒｌ的相關(guān)度值，還有一個(gè)相關(guān)性消息值ｍ。ｍ值在 爬蟲體系中為爬蟲指引主題通道，使用算法第六步中 的法則傳遞父網(wǎng)頁與子網(wǎng)頁之間的ｍ值，父網(wǎng)頁通過 計(jì)算鏈接文本的相關(guān)度，與主題切合的就遺傳ｍ值給 相應(yīng)的鏈接，與主題不貼合就遺傳部分ｍ值給相應(yīng)鏈 接。爬蟲首先會(huì)沿著ｍ初始值主線通道爬行，在爬行 的過程中在主線通道的上會(huì)開辟很多二層ｍ值通道， 二層通道上的ｍ值是ｍ初始值的ｂ倍，因?yàn)椋馐谴?于０小于１的，所以二層通道沒有主通道大。ｍ初 始值主線通道上遇到堵塞之后，爬蟲會(huì)尋找另一條最 靠近主題種子團(tuán)的ｍ初始值主線通道，沒有ｍ初始 值主線通道的時(shí)候，爬蟲尋找二層ｍ值通道。一旦發(fā) 現(xiàn)鏈接文本相關(guān)度大于相關(guān)度閥值的鏈接ｕｒｌ，恢復(fù) ｕｒｌ的ｍ值為初始值大小，開辟一條新的主線通道， 爬蟲跳過二層通道沿著新開辟的主線通道繼續(xù)爬行。 在通道內(nèi)部，主線通道的ｍ值一直不變，永遠(yuǎn)是初始 值，主線通道以外的通道ｍ值是呈遞減狀態(tài)的。 如主題網(wǎng)頁通道圖所示（見圖３），爬蟲由主題種子 團(tuán)出發(fā)，沿著ｍ初始值主線通道１，２，３，４爬行抓 取。當(dāng)已有的主線通道已經(jīng)沒有網(wǎng)頁可抓取，爬蟲沿 著圖中的細(xì)線通道繼續(xù)爬行。遇到相關(guān)鏈接，從新鏈 接地址開始恢復(fù)其為主線通道。圖中５，６通道就是

圖３

主題網(wǎng)頁通道圖

４實(shí)驗(yàn)結(jié)果分析
最后在實(shí)驗(yàn)室對(duì)算法進(jìn)行了實(shí)驗(yàn)分析，實(shí)驗(yàn)硬件 環(huán)境是ｄｅｌｌ臺(tái)式機(jī)一臺(tái)，奔騰４處理器，５１ ２Ｍ內(nèi)存， ＸＰ系統(tǒng)，ｓｑｌｓｅｒｖｅｒ２０００數(shù)據(jù)庫，網(wǎng)絡(luò)帶寬
１

００．ＯＭｂｐｓ。開發(fā)語言是ｊａｖａ，開發(fā)環(huán)境是ｅｃｌｉｐｓｅ。 驗(yàn)證主題爬蟲效率的方法有兩個(gè)，一個(gè)是杳全率，

一個(gè)是查準(zhǔn)率。 查全率＝采集的目標(biāo)頁面數(shù)／目標(biāo)頁面總數(shù)； 查準(zhǔn)率＝采集的目標(biāo)頁面數(shù)／爬行頁面總數(shù)； 本實(shí)驗(yàn)以化學(xué)主題，在百度中搜索化學(xué)，以前５０ 個(gè)頁面作為主題種子團(tuán)。相關(guān)性信息初始值ｍ給定為 １００，遺傳基因比例ｂ為０．８，相關(guān)度閥值ｆ為０．２。與 只基于文本內(nèi)容的ｂｅｓｔ ｆｉｒｓｔ ｓｅａｒｃｈ方法做比較，得到 的杏準(zhǔn)率與查全率數(shù)據(jù)如杳準(zhǔn)率圖與查全率圖，如圖４、 圖５所示。

圖４提案算法與ｂｅｓｔｆｉｒｓｔ ｓｅａｒｃｈ方法查準(zhǔn)率圖比較

Ｒｅｓｅａｒｃｈ ａｎｄ

Ｄｅｖｅｌｏｐｍｅｎｔ研究開發(fā)５１

萬 　 方數(shù)據(jù)

計(jì)算機(jī)系統(tǒng)應(yīng)用

２０１

０年第１ ９卷第３期

程中權(quán)值恢復(fù)的策略，使主題爬蟲不斷發(fā)現(xiàn)新的主題 通道，擴(kuò)大了主題爬蟲覆蓋度，同時(shí)保證了主題爬蟲 的抓取效率。 不同的個(gè)體對(duì)同一個(gè)互聯(lián)網(wǎng)信息的需求度不一 樣，對(duì)搜索引擎的后臺(tái)數(shù)據(jù)庫來說，要滿足不同的個(gè) 體，需要盡可能的讓資源庫更加完整，所以主題爬蟲 在相關(guān)性獲取上就是一個(gè)寬泛的計(jì)算。本文提出的算 法基于這個(gè)考慮，直接跳躍父網(wǎng)頁文本的計(jì)算，只計(jì) 圖５提案算法與ｂｅｓｔ
ｆｉｒｓｔ

ｓｅａｒｃｈ方法查全率圖比較

算鏈接文本，提高了計(jì)算速度，也保證了質(zhì)量。

由查準(zhǔn)率圖我們可以看到本文的算法與ｂｅｓｔ
ｆｉｒｓｔ ｓｅａｒｃｈ［ｓ．６】算法在查準(zhǔn)率上幾乎是平行相等的， ｂｅｓｔ ｆｉｒｓｔ ｓｅａｒｃｈ算法計(jì)算了父網(wǎng)頁文本的相關(guān)度并

參考文獻(xiàn)
ｌ王鳳紅．簡單分布式網(wǎng)絡(luò)爬蟲模型的設(shè)計(jì)與分析．中 國現(xiàn)代教育裝備，２００８，４（６２）：７６—７８． ２倪賢貴，蔡明．基于鏈接結(jié)構(gòu)和內(nèi)容相似度的聚焦爬 蟲系統(tǒng)．計(jì)算機(jī)工程與設(shè)計(jì)，２００８，７（２９）：１７０９—１７１０． ３李勇，韓亮．主題搜索引擎中網(wǎng)絡(luò)爬蟲的搜索策略研 究．計(jì)算機(jī)工程與科學(xué)，２００８，３０（３）：４—６． ４鄭健珍，林坤輝，周昌樂，康愷．基于本體語義的定題爬 蟲．山東大學(xué)學(xué)報(bào)，２００６，４１（３）：９０—９４． ５劉金紅，陸余良．主題網(wǎng)絡(luò)爬蟲研究綜述．計(jì)算機(jī)應(yīng)用 研究，２００７，２４（１０）：２６—２９．

對(duì)子鏈接加上反饋，所以查準(zhǔn)率稍高，缺點(diǎn)是計(jì)算量 大，影響了速度。但是在查全率上，本文的算法的優(yōu) 勢(shì)非常明顯，抓取前期由于兩者都在主通道上抓取， 兩者沒有明顯差距，到后期本文算法較之ｂｅｓｔ ｆｉｒｓｔ ｓｅａｒｃｈ算法優(yōu)先發(fā)現(xiàn)大量被后者遺忘的主題網(wǎng)頁，開 辟了許多新的主題通道，使爬蟲的效率明顯提高，提 案算法的優(yōu)勢(shì)得到充分體現(xiàn)。

５結(jié)論
本文的創(chuàng)新點(diǎn)是：鏈接文本相關(guān)度算法與主題信

６ Ｃｈｏ Ｊ，Ｇａｒｃｉａｍ Ｈ，Ｐａｇｅ Ｌ．Ｅｆｆｉｃｉｅｎｔ ｃｒａｗｌｉｎｇ ｔｈｒｏｕｇｈ ＵＲＬ ｏｒｄｅｒｉｎｇ．Ｃｏｍｐｕｔｅｒ Ｎｅｔｗｏｒｋｓ ａｎｄ ＩＳＤＮ Ｓｙｓ—

息值遺傳恢復(fù)的算法相結(jié)合，提出一種在權(quán)值傳遞過
（上接第３８頁）
３ Ｈｕａｎｇ ＭＣ．Ｔａｉ ＣＣ．Ｔｈｅ ｐｒｅ－ｐｒｏｃｅｓｓｉｎｇ ｏｆ ｄａｔａ ｐｏｉｎｔｓ ｆｏｒ
ｃｕｒｖｅ

ｔｅｍｓ，１９９８，３０（１２７）：１６１—１７２．

８閆龍，趙正旭，周以齊．基于形態(tài)學(xué)算法的攝影測(cè)量數(shù)
據(jù)噪聲濾波．中國機(jī)械工程，２００８，３３（８）：２５—３２． ９周利民．自由曲面快速反求技術(shù)與應(yīng)用研究．西安交 通大學(xué)學(xué)報(bào)，１９９７．

ｆｉｔｔｉｎｇ

ｉｎ

ｒｅｖｅｒｓｅ

ｅｎｇｉｎｅｅｒｉｎｇ．Ｔｈｅ Ｉｎｔｅｒ－

ｎａｔｉｏｎａｌ

Ｊｏｕｍａｌ ｏｆ Ａｄｖａｎｃｅｄ Ｍａｎｕｆａｃｔｕｒｉｎｇ Ｔｅｃｈ—

ｎｏｌｏｇｙ。２０００。１ ６（９）：６３５—６４２． ４

Ｆｌｅｉｓｈｍａｎ

Ｓ，Ｄｒｏｒｉ

Ｉ，Ｃｏｈｅｎ—Ｏｒ Ｄ．Ｂｉｌａｔｅｒａｌ ｏｆ Ｃｏｍｐｕｔｅｒ

ｍｅｓｈ

１０許智欽，閆明，張寶峰，等．逆向工程技術(shù)三維激光掃 描測(cè)量．天津大學(xué)學(xué)報(bào)，２００１，５６（１９）：８９—９４． １ｌ同濟(jì)大學(xué)數(shù)學(xué)系主編，高等數(shù)學(xué)（５版）上．北京：高等 教育出版社．２００２． １２朱鼎勛，陳紹菱．空間解析幾何學(xué)．北京：北京師范大 學(xué)出版社，１９８４． １３楊耀權(quán)，施仁，于希寧，等．激光掃描三角法大型曲面 測(cè)量中影響參數(shù)分析．西安交通大學(xué)學(xué)報(bào)，１９９９，
７８（３）：１５８—１６２．

ｄｅｎｏｉｓｉｎｇ．Ｓｃｈｏｏｌ

Ｓｃｉｅｎｃｅ，Ｔｅｌ Ａｖｉｖ

Ｕｎｉｖｅｒｓｉｔｙ，２００４，１９（８）：１６９一１７５．
５ Ｌａｎｇｅ Ｃ，Ｐｏｌｔｈｉｅｒ Ｋ．Ａｎｉｓｏｔｒｏｐｉｃ ｓｍｏｏｔｈｉｎｇ ｏｆ ｐｏｉｎｔ－ ｓｅｔｓ．Ｓｐｅｃｉａｌ Ｉｓｓｕｅ ｏｆ Ｃｏｍｐｕｔｅｒ Ａｉｄｅｄ Ｇｅｏｍｅｔｒｉｃ Ｄｅｓｉ．

ｇｎ，２００５，２２（７）：６８０—６９２．
６ Ｄｅｙ ＴＫ，Ｇｏｓｗａｍ ＩＳ，Ｓｕｎ Ｊ．Ｓｍｏｏｔｈｉｎｇ ｎｏｉｓｙ ｐｏｉｎｔ ｃｌｏｕｄｓｗｉｔｈＤｅｌａｕｎａｙ ｐｒｅｐｒｏｃｅｓｓｉｎｇ ａｎｄ ＭＬＳ．Ｃｏｌｕｍ－ ｂｕｓ：Ｔｈｅ Ｏｈｉｏ Ｓｔａｔｅ Ｕｎｉｖｅｒｓｉｔｙ，２００４，３１（９）：４８０—４９０． ７ Ｌｕ Ｙ．Ｄｏ ＭＮ．Ｍｕｌｔｉｄｉｍｅｎｓｉｏｎａｌ ｄｉｒｅｃｔｉｏｎａｌ
ｏｎ

ｆｉｌｔｅｒ Ｉｍａｇｅ

ｂａｎｋｓ ａｎｄ ｓｕｒｆａｃｅｌｅｔｓ．ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ

１４潘洋宇，李東波，童一飛．基于小波技術(shù)的數(shù)據(jù)降噪． 機(jī)械設(shè)計(jì)，２００６，６９（６）：７５—７８．

Ｐｒｏｃｅｓｓｉｎｇ，２００７，１６（４）．
５２研究開發(fā)Ｒｅｓｅａｒｃｈ
ａｎｄ

Ｄｅｖｅｌｏｐｍｅｎｔ

萬 　 方數(shù)據(jù)

主題搜索引擎網(wǎng)絡(luò)爬蟲搜索策略的研究與實(shí)現(xiàn)
作者： 作者單位： 刊名： 英文刊名： 年，卷(期)： 劉淑梅， 夏亮， 許南山， LIU Shu-Mei， XIA Liang， XU Nan-Shan 北京化工大學(xué)信息研究院,北京,100029 計(jì)算機(jī)系統(tǒng)應(yīng)用 COMPUTER SYSTEMS & APPLICATIONS 2010,19(3)

參考文獻(xiàn)(6條) 1.Cho J;Garciam H;Page L Efficient crawling through URL ordering 1998(127) 2.劉金紅;陸余良 主題網(wǎng)絡(luò)爬蟲研究綜述[期刊論文]-計(jì)算機(jī)應(yīng)用研究 2007(10) 3.鄭健珍;林坤輝;周昌樂;康愷 基于本體語義的定題爬蟲[期刊論文]-山東大學(xué)學(xué)報(bào) 2006(03) 4.李勇;韓亮 主題搜索引擎中網(wǎng)絡(luò)爬蟲的搜索策略研究[期刊論文]-計(jì)算機(jī)工程與科學(xué) 2008(03) 5.倪賢貴;蔡明 基于鏈接結(jié)構(gòu)和內(nèi)容相似度的聚焦爬蟲系統(tǒng)[期刊論文]-計(jì)算機(jī)工程與設(shè)計(jì) 2008(07) 6.王鳳紅 簡單分布式網(wǎng)絡(luò)爬蟲模型的設(shè)計(jì)與分析[期刊論文]-中國現(xiàn)代教育裝備 2008(04)

本文鏈接：



  本文關(guān)鍵詞：主題搜索引擎中網(wǎng)絡(luò)爬蟲的搜索策略研究，由筆耕文化傳播整理發(fā)布。