本文關鍵詞：基于內容的搜索引擎垃圾網(wǎng)頁檢測，由筆耕文化傳播整理發(fā)布。

第２ ６卷第 １ １期　　　 ２ ０ ０ ９年 １ １月　　

計算機應用與軟件 Ｃ ｏ ｍ ｐ ｕ ｔ ｅ ｒ Ａ ｐ ｐ ｌ ｉ ｃ ａ ｔ ｉ ｏ ｎ ｓ ａ ｎ ｄＳ ｏ ｆ ｔ ｗ ａ ｒ ｅ

Ｖ ｏ ｌ ? ２ ６Ｎ ｏ ． １ １ ０ ９ Ｎ ｏ ｖ ． ２ ０

基于內容的搜索引擎垃圾網(wǎng)頁檢測
賈志洋１　李偉偉１　張海燕２
１

（ 云南師范大學計算機科學與信息技術學院　云南 昆明 ６ ５ ０ ０ ９ ２ ）
２

（ 中國石油大慶石化公司信息中心　遼寧 大慶 １ ６ ３ ７ １ ４ ）

摘　要　　有些網(wǎng)頁為了增加訪問量， 通過欺騙搜索引擎， 提高在搜索引擎的搜索結果中的排名， 這些網(wǎng)頁被稱為“ 搜索引擎垃圾 網(wǎng)頁” 或“ 垃圾網(wǎng)頁” 。將搜索引擎垃圾網(wǎng)頁的檢測看成一個分類問題， 采用 Ｃ ４ ． ５分類算法建立決策樹分類模型， 將網(wǎng)頁分成正常 網(wǎng)頁和垃圾網(wǎng)頁兩類。實驗表明我們的分類模型可以有效地檢測搜索引擎垃圾網(wǎng)頁。 關鍵詞　　搜索引擎　垃圾網(wǎng)頁　垃圾網(wǎng)頁檢測　決策樹�。� ４ ． ５分類算法

Ｃ Ｏ Ｎ Ｔ Ｅ Ｎ Ｔ ? Ｂ Ａ Ｓ Ｅ ＤＳ Ｐ Ａ Ｍ ＷＥ ＢＰ Ａ Ｇ ＥＤ Ｅ Ｔ Ｅ Ｃ Ｔ Ｉ Ｏ ＮＩ ＮＳ Ｅ Ａ Ｒ Ｃ ＨＥ Ｎ Ｇ Ｉ Ｎ Ｅ
１ １ ２ Ｊ ｉ ａＺ ｈ ｉ ｙ ａ ｎ ｇ �。� ｉ Ｗｅ ｉ ｗ ｅ ｉ �。� ｈ ａ ｎ ｇＨ ａ ｉ ｙ ａ ｎ
１

（ Ｓ ｃ ｈ ｏ ｏ ｌ ｏ ｆ Ｃ ｏ ｍ ｐ ｕ ｔ ｅ ｒ Ｓ ｃ ｉ ｅ ｎ ｃ ｅ ａ ｎ ｄＩ ｎ ｆ ｏ ｒ ｍ ａ ｔ ｉ ｏ ｎＴ ｅ ｃ ｈ ｎ ｏ ｌ ｏ ｇ ｙ ， Ｙ ｕ ｎ ｎ ａ ｎＮ ｏ ｒ ｍ ａ ｌ Ｕ ｎ ｉ ｖ ｅ ｒ ｓ ｉ ｔ ｙ ， Ｋ ｕ ｎ ｍ ｉ ｎ ｇ ６ ５ ０ ０ ９ ２ ， Ｙ ｕ ｎ ｎ ａ ｎ ， Ｃ ｈ ｉ ｎ ａ ）
２

（ Ｉ ｎ ｆ ｏ ｒ ｍ ａ ｔ ｉ ｏ ｎＣ ｅ ｎ ｔ ｅ ｒ ， Ｐ ｅ ｔ ｒ ｏ Ｃ ｈ ｉ ｎ ａＤ ａ ｑ ｉ ｎ ｇＰ ｅ ｔ ｒ ｏ ｃ ｈ ｅ ｍ ｉ ｃ ａ ｌ Ｃ ｏ ｍ ｐ ａ ｎ ｙ ， Ｄ ａ ｑ ｉ ｎ ｇ １ ６ ３ ７ １ ４ ， Ｌ ｉ ａ ｏ ｎ ｉ ｎ ｇ ， Ｃ ｈ ｉ ｎ ａ ）

Ａ ｂ ｓ ｔ ｒ ａ ｃ ｔ 　�。� ｎｏ ｒ ｄ ｅ ｒ ｔ ｏａ ｔ ｔ ｒ ａ ｃ ｔ ｍ ｏ ｒ ｅ ｖ ｉ ｓ ｉ ｔ ｓ ，ｓ ｏ ｍ ｅ ｗ ｅ ｂｐ ａ ｇ ｅ ｓ ａ ｃ ｈ ｉ ｅ ｖ ｅ ｈ ｉ ｇ ｈ ｅ ｒ ｒ ａ ｎ ｋ ｉ ｎ ｇ ｓ ｉ ｎａ ｓ ｅ ａ ｒ ｃ ｈｅ ｎ ｇ ｉ ｎ ｅ ’ ｓ ｒ ｅ ｓ ｕ ｌ ｔ ｓ ｂ ｙ ｄ ｅ ｃ ｅ ｉ ｖ ｉ ｎ ｇ ｔ ｈ ｅ ｓ ｅ ａ ｒ ｃ ｈｅ ｎ ? ｇ ｉ ｎ ｅ ．Ｔ ｈ ｅ ｓ ｅ ｗ ｅ ｂｐ ａ ｇ ｅ ｓ ａ ｒ ｅ ｃ ａ ｌ ｌ ｅ ｄ“ ｓ ｅ ａ ｒ ｃ ｈｅ ｎ ｇ ｉ ｎ ｅ ｓ ｐ ａ ｍｗ ｅ ｂｐ ａ ｇ ｅ ”ｏ ｒ “ ｓ ｐ ａ ｍｗ ｅ ｂｐ ａ ｇ ｅ ” ．Ｉ ｎｔ ｈ ｉ ｓ ｐ ａ ｐ ｅ ｒ ｔ ｈ ｅ ｓ ｐ ａ ｍｗ ｅ ｂｐ ａ ｇ ｅ ｄ ｅ ｔ ｅ ｃ ｔ ｉ ｏ ｎｉ ｎｓ ｅ ａ ｒ ｃ ｈ ｅ ｎ ｇ ｉ ｎ ｅｉ ｓ ｄ ｅ ｅ ｍ ｅ ｄａ ｓ ａｃ ｌ ａ ｓ ｓ ｉ ｆ ｉ ｃ ａ ｔ ｉ ｏ ｎｐ ｒ ｏ ｂ ｌ ｅ ｍ ，ｗ ｅｃ ｒ ｅ ａ ｔ ｅａ ｄ ｅ ｃ ｉ ｓ ｉ ｏ ｎｔ ｒ ｅ ｅ ｃ ｌ ａ ｓ ｓ ｉ ｆ ｉ ｃ ａ ｔ ｉ ｏ ｎｍ ｏ ｄ ｅ ｌ ｂ ｙ Ｃ ４ ． ５ｃ ｌ ａ ｓ ｓ ｉ ｆ ｉ ｃ ａ ｔ ｉ ｏ ｎａ ｌ ｇ ｏ ｒ ｉ ｔ ｈ ｍ ，ｔ ｏ ｓ ｅ ｐ ａ ｒ ａ ｔ ｅ ｗ ｅ ｂ ｐ ａ ｇ ｅ ｓ ｉ ｎ ｔ ｏｔ ｗ ｏｃ ａ ｔ ｅ ｇ ｏ ｒ ｉ ｅ ｓ ，ｔ ｈ ｅ ｎ ｏ ｒ ｍ ａ ｌ ａ ｎ ｄｔ ｈ ｅ ｓ ｐ ａ ｍ ．Ｔ ｈ ｅ ｅ ｘ ｐ ｅ ｒ ｉ ｍ ｅ ｎ ｔ ｒ ｅ ｓ ｕ ｌ ｔ ｓ ｓ ｈ ｏ ｗｔ ｈ ａ ｔ ｏ ｕ ｒ ｃ ｌ ａ ｓ ｓ ｉ ｆ ｉ ｃ ａ ｔ ｉ ｏ ｎｍ ｏ ｄ ｅ ｌ ｃ ａ ｎｅ ｆ ｆ ｅ ｃ ｔ ｉ ｖ ｅ ｌ ｙ ｄ ｅ ｔ ｅ ｃ ｔ ｓ ｐ ａ ｍｗ ｅ ｂ ｐ ａ ｇ ｅｉ ｎｓ ｅ ａ ｒ ｃ ｈｅ ｎ ｇ ｉ ｎ ｅ ． Ｋ ｅ ｙ ｗ ｏ ｒ ｄ ｓ 　�。� ｅ ａ ｒ ｃ ｈｅ ｎ ｇ ｉ ｎ ｅ �。� ｐ ａ ｍｗ ｅ ｂｐ ａ ｇ ｅ 　Ｓ ｐ ａ ｍｗ ｅ ｂｐ ａ ｇ ｅｄ ｅ ｔ ｅ ｃ ｔ ｉ ｏ ｎ �。� ｅ ｃ ｉ ｓ ｉ ｏ ｎｔ ｒ ｅ ｅ �。� ４ ． ５ｃ ｌ ａ ｓ ｓ ｉ ｆ ｉ ｃ ａ ｔ ｉ ｏ ｎａ ｌ ｇ ｏ ｒ ｉ ｔ ｈ ｍ 網(wǎng)頁的排名。也就是說， “ 垃圾網(wǎng)頁” 不是提高其質量， 而是針

０ 　引　言
隨著網(wǎng)頁數(shù)量的指數(shù)級增長， 用戶不得不通過搜索引擎獲 取有效信息， 近幾年搜索引擎已經(jīng)成為網(wǎng)絡信息檢索的主要方
１ ］ 式。據(jù)研究表明 ［ ： 大多數(shù)用戶只查看搜索引擎返回的前三頁

對搜索引擎網(wǎng)頁排名算法進行“ 作弊” ， 從而提高網(wǎng)頁排名。 如圖 １所示， 網(wǎng)頁中包含了很多熱門關鍵詞， 但是有用的信 息卻很少， 顯然是針對搜索引擎的垃圾網(wǎng)頁。

的搜索結果。因此， 網(wǎng)站管理者會通過努力提高網(wǎng)站的質量， 以 達到提高網(wǎng)站在搜索結果中排名的目的。但是， 有些網(wǎng)站則是 通過一些“ 作弊” 的方式來提升排名。更有甚者， 有些網(wǎng)站管理 者“ 手動” 或“ 自動” 地制造一些“ 垃圾網(wǎng)頁” ， 這些網(wǎng)頁不是提 供給用戶有效的信息而僅僅是為了提升在搜索結果中的排名， 以此提高網(wǎng)站訪問量。 值得注意的是， “ 垃圾網(wǎng)頁” 不僅嚴重干擾了用戶檢索的有 效信息， 而且給搜索引擎公司造成了極大的資源浪費。據(jù)研究
２ ］ 表明 ［ ， 搜索引擎在爬行網(wǎng)頁、 處理網(wǎng)頁、 索引網(wǎng)頁、 響應用戶

圖１ 　垃圾網(wǎng)頁示例

查詢時在“ 垃圾網(wǎng)頁” 上的浪費， 達到了各種資源的 １ ／ ７ 。所以， 對“ 垃圾網(wǎng)頁” 檢測的相關研究具有現(xiàn)實意義。

２ 　基于網(wǎng)頁內容的特征提取
雖然垃圾網(wǎng)頁與正常網(wǎng)頁在視覺效果上具有明顯差別， 但 是卻難以根據(jù)視覺特征進行檢測。因此， 我們根據(jù)網(wǎng)頁內容， 分 析、 提取垃圾網(wǎng)頁的特征， 并把檢測垃圾網(wǎng)頁看成一個分類問
６ ］ 題［ ，， 采用機器學習的方法對網(wǎng)頁進行分類。

１ 　“ 垃圾網(wǎng)頁” 的定義
首先， 我們引用文獻［ ３ ］ 對“ 垃圾網(wǎng)頁” 的定義： “ 任何企圖 欺騙搜索引擎網(wǎng)頁排名算法以獲得更高排名的網(wǎng)頁” 。 不同的搜索引擎在返回搜索結果時， 采用不同算法計算網(wǎng)
［ ４ ］ ［ ５ ］ 頁在搜索結果中的排名， 如Ｇ ｏ ｏ ｇ ｌ ｅ 采用 Ｐ ａ ｇ ｅ Ｒ ａ ｎ ｋ 算法計算

為了設計和評估本文的垃圾網(wǎng)頁檢測算法， 基于盡可能選
收稿日期： ２ ０ ０ ８－ ０ ４－ ２ ３ 。 賈志洋， 碩士生， 主研領域： Ｗｅ ｂ挖掘， Ｗｅ ｂ 應用測試。

　 　 １ ６ ６ 　　　

計算機應用與軟件 ２ ． ３ 　其它特征

２ ０ ０ ９年

用 Ｗｅ ｂ 中的“ 隨機樣本” 以及網(wǎng)頁在相關搜索結果排名靠前的 原則， 我們于 ２ ０ ０ ８年 １月爬取了較具代表性的 １ １ ４ ７ ０個中文網(wǎng) 頁。通過人工判別， 數(shù)據(jù)集中共有垃圾網(wǎng)頁 ５ ７ ０個（ ５ ％） ， 正常 網(wǎng)頁 １ ０ ９ ０ ０個（ ９ ５ ％） 。

（ １ ）網(wǎng)頁“＜ Ｍ Ｅ Ｔ Ａ＞” 標簽 　 在 Ｈ Ｔ Ｍ Ｌ語言中， “＜Ｍ Ｅ Ｔ Ａ ＞ ” 標簽被用來描述一個 Ｈ Ｔ Ｍ Ｌ網(wǎng)頁文檔的屬性， 通常會用到 “ ｎ ａ ｍ ｅ ” 屬性里的“ ｋ ｅ ｙ ｗ ｏ ｒ ｄ ｓ ” （ 網(wǎng)頁關鍵詞） 和“ ｄ ｅ ｓ ｃ ｒ ｉ ｐ ｔ ｉ ｏ ｎ ” （ 網(wǎng) 頁描述） 兩個參數(shù)。大多數(shù)搜索引擎的搜索結果排名和 Ｍ Ｅ Ｔ Ａ 標簽中的內容有很大關系， 以至于“ Ｍ Ｅ Ｔ Ａ ” 標簽在一個頁面中 的作用僅次于網(wǎng)頁標題。所以很多垃圾網(wǎng)頁的 Ｍ Ｅ Ｔ Ａ標簽的內 容會與正常網(wǎng)頁有很大區(qū)別。 為此， 我們計算了數(shù)據(jù)集中每一個網(wǎng)頁的“＜Ｍ Ｅ Ｔ Ａ＞” 標 簽數(shù)量、 “＜ Ｍ Ｅ Ｔ Ａ＞ ” 標簽“ ｎ ａ ｍ ｅ ” 屬性值為“ ｋ ｅ ｙ ｗ ｏ ｒ ｄ ｓ ” 的“ 網(wǎng)頁 關鍵詞” 長度、 “＜ Ｍ Ｅ Ｔ Ａ＞ ” 標簽“ ｎ ａ ｍ ｅ ” 值為“ ｋ ｅ ｙ ｗ ｏ ｒ ｄ ｓ ” 的“ 網(wǎng) 頁描述” 長度等作為備選特征。 （ ２ ）網(wǎng)頁 Ｕ Ｒ Ｌ長度　垃圾網(wǎng)頁一般是自動生成的， 因此垃 圾網(wǎng)頁的 Ｕ Ｒ Ｌ會與正常網(wǎng)頁具有顯著的區(qū)別， 為了提取此特 征， 我們把數(shù)據(jù)集中每一個網(wǎng)頁的 Ｕ Ｒ Ｌ長度提取出來， 將其作 為備選特征。 （ ３ ）網(wǎng)頁長度 　 部分垃圾網(wǎng)頁為了與大量關鍵詞都 “ 相 關” ， 不僅大量重復某個關鍵詞， 而且將大量熱門關鍵詞加入到 網(wǎng)頁中， 所以垃圾網(wǎng)頁的長度可能與正常網(wǎng)頁具有較大區(qū)別， 也 將網(wǎng)頁長度作為備選特征。

２ ． １ 　網(wǎng)頁標題長度
搜索引擎對網(wǎng)頁進行排名時， 會給網(wǎng)頁標題很高的權重， 所 以很多垃圾網(wǎng)頁就針對這點， 將大量與網(wǎng)頁內容無關的關鍵詞 羅列在一起作為網(wǎng)頁的標題， 這種技術為“ 關鍵詞堆砌” 。 為了測試網(wǎng)頁標題是否可以作為判定垃圾網(wǎng)頁的特征， 實 驗如下： 提取數(shù)據(jù)集中每個網(wǎng)頁 Ｈ Ｔ Ｍ Ｌ源代碼 “＜ｔ ｉ ｔ ｌ ｅ ＞ ” 標記 中標題的長度， 并計算其分布（ 如圖 ２所示） 。

圖２ 　網(wǎng)頁標題長度與垃圾網(wǎng)頁的關系

（ ４ ）常用詞出現(xiàn)率　有些垃圾網(wǎng)頁的內容就是從熱門關鍵 詞詞典中選擇一部分， 這種垃圾網(wǎng)頁很可能出現(xiàn)常用詞過少或 過多的情況。針對這種行為， 首先建立一個常用詞詞典， 提取數(shù) 據(jù)集中每一個網(wǎng)頁的文本并進行分詞， 然后計算每個網(wǎng)頁中的 常用詞數(shù)量與此網(wǎng)頁包含的全部詞匯數(shù)量的比值， 將其作為備 選特征。 （ ５ ）停用詞使用率　有些垃圾網(wǎng)頁的內容就是隨機選取的 一些熱門關鍵詞， 所以這些垃圾網(wǎng)頁中的停用詞的出現(xiàn)頻率與 正常網(wǎng)頁的停用詞出現(xiàn)頻率有很大的區(qū)別， 為了提取這個特征， 我們計算了數(shù)據(jù)集中每一個網(wǎng)頁的停用詞數(shù)量與此網(wǎng)頁包含全 部詞匯數(shù)量的比值， 將其作為備選特征。 （ ６ ）可視文本　為了提供給用戶更多相關的搜索結果， 搜 索引擎在分析網(wǎng)頁的時候往往將 Ｈ Ｔ Ｍ Ｌ標簽里的部分關鍵詞也 收錄起來（ 雖然這部分文本對用戶是不可見的） 。于是垃圾網(wǎng) 頁就可以將關鍵詞堆砌到網(wǎng)頁 Ｈ Ｔ Ｍ Ｌ標簽里。為了提取此特 征， 我們計算了去除 Ｈ Ｔ Ｍ Ｌ標簽后的網(wǎng)頁文本長度（ 即可視文 本長度） ， 將可視文本長度與未去除 Ｈ Ｔ Ｍ Ｌ標簽的網(wǎng)頁 Ｈ Ｔ Ｍ Ｌ 文本長度的比值作為備選特征。 （ ７ ）鏈接文本數(shù)量　搜索引擎在計算網(wǎng)頁排名的時候考慮 到鏈接文本的因素。即如果網(wǎng)頁 Ａ有一個指向網(wǎng)頁 Ｂ的鏈接， 其鏈接文本為 ｔ ， 那么即使網(wǎng)頁 Ｂ中沒有出現(xiàn)關鍵詞 ｔ ， 搜索引 擎也會認為網(wǎng)頁 Ｂ的內容是與 ｔ 相關的。搜索引擎在計算網(wǎng)頁 排名的時候會考慮鏈接文本的情況。所以有些垃圾網(wǎng)頁的存在 就是為其他垃圾網(wǎng)頁提供熱門關鍵詞的鏈接文本。所以， 我們 提取出網(wǎng)頁中所有鏈接文本并計算其長度， 將其長度值與網(wǎng)頁 所有文本長度值（ 包括鏈接文本） 的比值作為此備選特征。

圖 ２由一個直方圖和一個折線圖組成。圖中 ｘ 軸代表網(wǎng)頁 標題長度值， 左方的 ｙ 軸與直方圖相對應， 即標題長度為 ｘ 的網(wǎng) 頁數(shù)量占網(wǎng)頁總量的百分比； 右方的 ｙ 軸與折線圖相對應， 即標 題長度為 ｘ 的網(wǎng)頁中垃圾網(wǎng)頁所占的百分比（ 垃圾網(wǎng)頁的可能 性） 。直方圖從標題長度為 ４ ０的位置開始服從對數(shù)正態(tài)分布， 隨著標題長度的增加， 垃圾網(wǎng)頁的可能性也逐漸遞增， 雖然在 １ １ ０位置有一個噪點， 但網(wǎng)頁標題的長度大于 １ ２ ０時其是垃圾 網(wǎng)頁的可能性就高于 ５ ０ ％�？梢姡� 標題長度可作為判定垃圾網(wǎng) 頁的一個較好的特征。

２ ． ２ 　網(wǎng)頁壓縮率
搜索引擎在計算網(wǎng)頁文本與目標關鍵詞相關度時， 主要采用
７ ］ 的是 Ｓ ａ ｌ ｔ ｏ ｎ 和Ｍ ｃ Ｇ ｉ ｌ ｌ 于１ ９ ７ ３年提出的 Ｔ Ｆ ／ Ｉ Ｄ Ｆ算法［ 。Ｔ Ｆ ／ Ｉ Ｄ Ｆ

算法認為關鍵詞在文檔中的權重正比于其在文檔中的出現(xiàn)頻率， 反比于所有文檔中出現(xiàn)該關鍵詞的文檔數(shù)。根據(jù)此算法， 垃圾網(wǎng) 頁可能通過在網(wǎng)頁中大量重復同一關鍵詞以獲得更高的權重。 我們將網(wǎng)頁壓縮并計算其被壓縮前后大小的比值以獲取該 特征， 并將這個比值稱為網(wǎng)頁壓縮率， 計算數(shù)據(jù)集中每個網(wǎng)頁的 壓縮率， 得到結果如圖 ３ �？梢姡� 網(wǎng)頁壓縮率的分布服從正態(tài)分 布， 在０ ． ３ １位置達到最高點， 在壓縮率小于 ０ ． １ ０時， 網(wǎng)頁是垃 圾網(wǎng)頁的可能性大于 ６ ０ ％， 故網(wǎng)頁壓縮率也是判定垃圾網(wǎng)頁的 一個較好的特征。

３ 　使用分類器檢測垃圾網(wǎng)頁
前一部分中我們計算了網(wǎng)頁的若干特征分布， 但這些特征 不能單獨作為檢測垃圾網(wǎng)頁的決定性規(guī)則， 我們考慮將這些特
圖３ 　網(wǎng)頁壓縮率與垃圾網(wǎng)頁的關系

征結合起來并對垃圾網(wǎng)頁進行檢測。

　 第１ １期　　　

賈志洋等： 基于內容的搜索引擎垃圾網(wǎng)頁檢測

　 １ ６ ７

本文將垃圾網(wǎng)頁檢測看成一個分類問題， 通過建立一個分 類模型， 根據(jù)網(wǎng)頁內容計算其特征值， 使用分類器將其歸類到正 常網(wǎng)頁或者垃圾網(wǎng)頁類別中。我們實驗了以下分類方法： 基于
８ ］ ９ ］ 規(guī)則的分類方法 ［ 、 基于樸素貝葉斯的分類方法 ［ 以及基于決

分類器的數(shù)據(jù)。由此， 得到分類結果： １ １ ３ １ ５個（ 占９ ８ ． ６ ％） 網(wǎng)頁 分類正確； １ ５ ５個（ 占１ ． ４ ％） 網(wǎng)頁分類錯誤。 綜上， 本分類器對正常網(wǎng)頁具有很好的識別效果，對垃圾 網(wǎng)頁也能進行較為準確的判別， 可實際應用于搜索引擎中。

策樹的分類方法。通過對比試驗結果（ 如表 １所示） ， 發(fā)現(xiàn)基于 決策樹的分類方法效果最佳。
表１ 　三種分類方法試驗結果比較 分類方法 網(wǎng)頁類別 正常網(wǎng)頁 基于規(guī)則 垃圾網(wǎng)頁 樸素 貝葉斯 正常網(wǎng)頁 垃圾網(wǎng)頁 正常網(wǎng)頁 決策樹 垃圾網(wǎng)頁 ０ ． ９ ０ ３ ０ ． ８ １ ６ ０ ． ８ ５ ７ ［１］ Ｊ ａ ｎ ｓ ｅ ｎＢ ， Ｓ ｐ ｉ ｎ ｋＡ ． Ａ ｎＡ ｎ ａ ｌ ｙ ｓ ｉ ｓ ｏ ｆ ｗ ｅ ｂｄ ｏ ｃ ｕ ｍ ｅ ｎ ｔ ｓ ｒ ｅ ｔ ｒ ｉ ｅ ｖ ｅ ｄａ ｎ ｄｖ ｉ ｅ ｗ ｅ ｄ ［ Ｃ ］ ／ ／ Ｐ ｒ ｏ ｃ ｅ ｅ ｄ ｉ ｎ ｇ ｓ ｏ ｆ Ｉ Ｃ Ｉ Ｃ ′ ０ ３ ． Ｌ ａ ｓ Ｖ ｅ ｇ ａ ｓ ， Ｎ ｅ ｖ ａ ｄ ａ ， Ｕ Ｓ Ａ ， ２ ０ ０ ３ ： ６ ５ ６ ９ ． ［２］ Ｎ ｔ ｏ ｕ ｌ ａ ｓＡ ， Ｎ ａ ｊ ｏ ｒ ｋＭ， Ｍ ａ ｎ ａ ｓ ｓ ｅＭ ． Ｄ ｅ ｔ ｅ ｃ ｔ ｉ ｎ ｇｓ ｐ ａ ｍｗ ｅ ｂｐ ａ ｇ ｅ ｓｔ ｈ ｒ ｏ ｕ ｇ ｈ ｃ ｏ ｎ ｔ ｅ ｎ ｔ ａ ｎ ａ ｌ ｙ ｓ ｉ ｓ ［ Ｃ ］ ／ ／ Ｐ ｒ ｏ ｃ ｅ ｅ ｄ ｉ ｎ ｇ ｓ ｏ ｆ ｔ ｈ ｅ １ ５ ｔ ｈＩ ｎ ｔ ｅ ｒ ｎ ａ ｔ ｉ ｏ ｎ ａ ｌ Ｃ ｏ ｎ ｆ ｅ ｒ ｅ ｎ ｃ ｅ ８ ３ ９ ２ ． ｏ ｎＷｏ ｒ ｌ ｄＷｉ ｄ ｅ Ｗｅ ｂ ． Ｅ ｄ ｉ ｎ ｂ ｕ ｒ ｇ ｈ ， Ｓ ｃ ｏ ｔ ｌ ａ ｎ ｄ ， ２ ０ ０ ６ ： ［３］ Ｇ ｙ ｏ ｎ ｇ ｙ ｉ Ｚ ， Ｍ ｏ ｌ ｉ ｎ ａ Ｈ ． Ｗｅ ｂｓ ｐ ａ ｍｔ ａ ｘ ｏ ｎ ｏ ｍ ｙ ［ Ｃ ］ ／ ／ Ｐ ｒ ｏ ｃ ｅ ｅ ｄ ｉ ｎ ｇ ｓ ｏ ｆ ｔ ｈ ｅ １ ｓ ｔ Ｉ ｎ ｔ ｅ ｒ ｎ ａ ｔ ｉ ｏ ｎ ａ ｌＷｏ ｒ ｋ ｓ ｈ ｏ ｐｏ ｎＡ ｄ ｖ ｅ ｒ ｓ ａ ｒ ｉ ａ ｌＩ ｎ ｆ ｏ ｒ ｍ ａ ｔ ｉ ｏ ｎＲ ｅ ｔ ｒ ｉ ｅ ｖ ａ ｌｏ ｎｔ ｈ ｅ Ｗｅ ｂ ． Ｃ ｈ ｉ ｂ ａ ， Ｊ ａ ｐ ａ ｎ ， ２ ０ ０ ５ ： ３ ９ ４ ７ ． ［４］ Ｂ ｒ ｉ ｎＳ ， Ｐ ａ ｇ ｅＬ ． Ｔ ｈ ｅａ ｎ ａ ｔ ｏ ｍ ｙｏ ｆ ａｌ ａ ｒ ｇ ｅ ? ｓ ｃ ａ ｌ ｅｈ ｙ ｐ ｅ ｒ ｔ ｅ ｘ ｔ ｕ ａ ｌ ｗ ｅ ｂｓ ｅ ａ ｒ ｃ ｈ ｅ ｎ ｇ ｉ ｎ ｅ ［ Ｃ ］ ／ ／ Ｐ ｒ ｏ ｃ ｅ ｅ ｄ ｉ ｎ ｇ ｓｏ ｆ ｔ ｈ ｅＳ ｅ ｖ ｅ ｎ ｔ ｈＩ ｎ ｔ ｅ ｒ ｎ ａ ｔ ｉ ｏ ｎ ａ ｌ Ｃ ｏ ｎ ｆ ｅ ｒ ｅ ｎ ｃ ｅｏ ｎ Ｗｏ ｒ ｌ ｄＷｉ ｄ ｅ Ｗｅ ｂ ． Ｂ ｒ ｉ ｓ ｂ ａ ｎ ｅ ， Ａ ｕ ｓ ｔ ｒ ａ ｌ ｉ ａ ， １ ９ ９ ８ ： １ ０ ７ １ １ ７ ． ［５］ Ｂ ｉ ａ ｎ ｃ ｈ ｉ ｎ ｉ Ｍ， Ｇ ｏ ｒ ｉ Ｍ， Ｓ ｃ ａ ｒ ｓ ｅ ｌ ｌ ｉ Ｆ ． Ｉ ｎ ｓ ｉ ｄ ｅＰ ａ ｇ ｅ Ｒ ａ ｎ ｋ ［ Ｊ ］ ． Ａ Ｃ Ｍｔ ｒ ａ ｎ ｓ ａ ｃ ? ｔ ｉ ｏ ｎ ｓ ｏ ｎＩ ｎ ｔ ｅ ｒ ｎ ｅ ｔ Ｔ ｅ ｃ ｈ ｎ ｏ ｌ ｏ ｇ ｙ ， ２ ０ ０ ５ ， ５ （ １ ） ： ９ ２ １ ２ ８ ． ［６］ Ｆ ｅ ｔ ｔ ｅ ｒ ｌ ｙ Ｄ ， Ｍ ａ ｎ ａ ｓ ｓ ｅＭ， Ｎ ａ ｊ ｏ ｒ ｋＭ ． Ｓ ｐ ａ ｍ ， ｄ ａ ｍ ｎｓ ｐ ａ ｍ ， ａ ｎ ｄｓ ｔ ａ ｔ ｉ ｓ ｔ ｉ ｃ ｓ ： ｕ ? ｓ ｉ ｎ ｇ ｓ ｔ ａ ｔ ｉ ｓ ｔ ｉ ｃ ａ ｌ ａ ｎ ａ ｌ ｙ ｓ ｉ ｓ ｔ ｏ ｌ ｏ ｃ ａ ｔ ｅｓ ｐ ａ ｍｗ ｅ ｂｐ ａ ｇ ｅ ｓ ［ Ｃ ］ ／ ／ Ｐ ｒ ｏ ｃ ｅ ｅ ｄ ｉ ｎ ｇ ｓ ｏ ｆ ｔ ｈ ｅＳ ｅ ｖ ｅ ｎ ｔ ｈＩ ｎ ｔ ｅ ｒ ｎ ａ ｔ ｉ ｏ ｎ ａ ｌ Ｗｏ ｒ ｋ ｓ ｈ ｏ ｐｏ ｎｔ ｈ ｅＷｅ ｂａ ｎ ｄＤ ａ ｔ ａ ｂ ａ ｓ ｅ ｓ ． Ｐ ａ ｒ ｉ ｓ ， Ｆ ｒ ａ ｎ ｃ ｅ ， ２ ０ ０ ４ ： １ ６ ． ［ ７］ Ｓ ｔ ｉ ｌ ｔ ｏ ｎＧ ， Ｍ ｃ Ｇ ｉ ｌ ｌ Ｍ ． Ｉ ｎ ｔ ｒ ｏ ｄ ｕ ｃ ｔ ｉ ｏ ｎｔ ｏ ｍ ｏ ｄ ｅ ｒ ｎｉ ｎ ｆ ｏ ｒ ｍ ａ ｔ ｉ ｏ ｎｒ ｅ ｔ ｒ ｉ ｅ ｖ ａ ｌ ［ Ｍ］ ． Ｎ ｅ ｗＹ ｏ ｒ ｋ ：Ｍ ｃ Ｇ ｒ ａ ｗ ? Ｈ ｉ ｌ ｌ Ｉ ｎ ｃ ， １ ９ ８ ６ ． ［８］ Ｅ ｉ ｂ ｅ Ｆ ｒ ａ ｎ ｋ ， Ｉ ａ ｎＷｉ ｔ ｔ ｅ ｎ ． Ｇ ｅ ｎ ｅ ｒ ａ ｔ ｉ ｎ ｇ Ａ ｃ ｃ ｕ ｒ ａ ｔ ｅ Ｒ ｕ ｌ ｅ Ｓ ｅ ｔ ｓ Ｗｉ ｔ ｈ ｏ ｕ ｔ Ｇ ｌ ｏ ｂ ａ ｌ Ｏ ｐ ｔ ｉ ｍ ｉ ｚ ａ ｔ ｉ ｏ ｎ ［ Ｃ ］ ／ ／ Ｐ ｒ ｏ ｃ ｅ ｅ ｄ ｉ ｎ ｇ ｓｏ ｆ ｔ ｈ ｅＦ ｉ ｆ ｔ ｅ ｅ ｎ ｔ ｈＩ ｎ ｔ ｅ ｒ ｎ ａ ｔ ｉ ｏ ｎ ａ ｌ Ｃ ｏ ｎ ｆ ｅ ｒ ? ｅ ｎ ｃ ｅ ． Ｓ ａ ｎＦ ｒ ａ ｎ ｃ ｉ ｓ ｃ ｏ ， Ｕ Ｓ Ａ ， １ ９ ９ ８ ： １ ４ ４ １ ５ １ ． ［９］ Ｊ ｏ ｈ ｎＧＨ ， Ｌ ａ ｎ ｇ ｌ ｅ ｙＰ ． Ｅ ｓ ｔ ｉ ｍ ａ ｔ ｉ ｎ ｇＣ ｏ ｎ ｔ ｉ ｎ ｕ ｏ ｕ ｓ Ｄ ｉ ｓ ｔ ｒ ｉ ｂ ｕ ｔ ｉ ｏ ｎ ｓ ｉ ｎＢ ａ ｙ ｅ ｓ ｉ ａ ｎ Ｃ ｌ ａ ｓ ｓ ｉ ｆ ｉ ｅ ｒ ｓ ［ Ｃ ］ ／ ／ Ｐ ｒ ｏ ｃ ｅ ｅ ｄ ｉ ｎ ｇ ｓ ｏ ｆ ｔ ｈ ｅ Ｅ ｌ ｅ ｖ ｅ ｎ ｔ ｈＣ ｏ ｎ ｆ ｅ ｒ ｅ ｎ ｃ ｅ ｏ ｎＵ ｎ ｃ ｅ ｒ ｔ ａ ｉ ｎ ? ３ ３ ８ ３ ４ ５ ． ｔ ｙ ｉ ｎＡ ｒ ｔ ｉ ｆ ｉ ｃ ｉ ａ ｌ Ｉ ｎ ｔ ｅ ｌ ｌ ｉ ｇ ｅ ｎ ｃ ｅ ． Ｑ ｕ ｅ ｂ ｅ ｃ ， Ｃ ａ ｎ ａ ｄ ａ ， １ ９ ９ ５ ： ［ １ ０ ］Ｑ ｕ ｉ ｎ ｌ ａ ｎＪ ． Ｃ ４ ． ５ ： ｐ ｒ ｏ ｇ ｒ ａ ｍ ｓｆ ｏ ｒ ｍ ａ ｃ ｈ ｉ ｎ ｅｌ ｅ ａ ｒ ｎ ｉ ｎ ｇ ［ Ｍ］ ． Ｓ ａ ｎＦ ｒ ａ ｎ ｃ ｉ ｓ ｃ ｏ ： Ｍ ｏ ｒ ｇ ａ ｎ ? Ｋ ａ ｕ ｆ ｍ ａ ｎＰ ｕ ｂ ｌ ｉ ｓ ｈ ｅ ｒ ｓ Ｉ ｎ ｃ ， １ ９ ９ ３ ． ［ １ １ ］Ｇ ａ ｎＱ ， Ｓ ｕ ｅ ｌＴ ． Ｉ ｍ ｐ ｒ ｏ ｖ ｉ ｎ ｇＷｅ ｂｓ ｐ ａ ｍｃ ｌ ａ ｓ ｓ ｉ ｆ ｉ ｅ ｒ ｓｕ ｓ ｉ ｎ ｇｌ ｉ ｎ ｋｓ ｔ ｒ ｕ ｃ ｔ ｕ ｒ ｅ ［ Ｃ ］ ／ ／ Ｐ ｒ ｏ ｃ ｅ ｅ ｄ ｉ ｎ ｇ ｓ ｏ ｆ ｔ ｈ ｅ ３ ｒ ｄＩ ｎ ｔ ｅ ｒ ｎ ａ ｔ ｉ ｏ ｎ ａ ｌ Ｗｏ ｒ ｋ ｓ ｈ ｏ ｐｏ ｎＡ ｄ ｖ ｅ ｒ ｓ ａ ｒ ｉ ａ ｌ Ｉ ｎ ? ｆ ｏ ｒ ｍ ａ ｔ ｉ ｏ ｎＲ ｅ ｔ ｒ ｉ ｅ ｖ ａ ｌ ｏ ｎｔ ｈ ｅ Ｗｅ ｂ ． Ｂ ａ ｎ ｆ ｆ ， Ａ ｌ ｂ ｅ ｒ ｔ ａ ， Ｃ ａ ｎ ａ ｄ ａ ， ２ ０ ０ ７ ： １ ７ ２ ０ ． ０ ． ８ ９ ３ ０ ． ９ ９ １ ０ ． ７ ６ ９ ０ ． ９ ９ １ ０ ． ８ ０ ７ ０ ． ９ ８ ６ ０ ． ８ ３ ３ ０ ． ９ ９ ５ ０ ． ８ ４ ８ ０ ． ９ ８ ９ ０ ． ７ ９ ９ ０ ． ９ ９ ３ 準確率 ０ ． ９ ９ ０ 召回率 ０ ． ９ ９ ５ Ｆ １值 ０ ． ９ ９ ２

４ 　結　論
本文較為詳細地分析了多種垃圾網(wǎng)頁技術， 討論了幾種可 用于垃圾網(wǎng)頁的內容特征， 建立了基于決策樹的檢測模型并進 行了實驗， 實驗結果表明本文的垃圾網(wǎng)頁檢測方法是行之有效 的。由于本文是基于網(wǎng)頁內容的檢測， 而沒有考慮網(wǎng)頁的鏈接 結構， 故可以在以后的工作中考慮結合網(wǎng)頁的鏈接結構對垃圾
１ １ ］ 網(wǎng)頁進行檢測 ［ ， 以期獲得更好的檢測結果。

參　考　文　獻

　　以下主要關注基于決策樹的分類方法， 我們采用 Ｃ ４ ． ５分
１ ０ ］ 類算法 ［ 建立分類模型。 Ｃ ４ ． ５算法工作原理為： 在給定訓練

數(shù)據(jù)集和相應的特征集后， 此算法建立一個類似于流程圖的樹 型結構， 其中每個內部節(jié)點表示在一個屬性上的測試， 每個分枝 表示一個測試的輸出， 算法使用稱為信息增益的基于熵的度量 作為啟發(fā)信息， 選擇能夠最好地將樣本分類的屬性作為樹形結 構中節(jié)點的“ 測試” 或“ 判定” 屬性。 我們使用試驗數(shù)據(jù)集中的網(wǎng)頁訓練分類器。由 Ｃ ４ ． ５算法 建立的決策樹的一部分如圖 ４所示， 其主要分類過程為： 測試此 決策樹的根節(jié)點所代表的網(wǎng)頁屬性值， 然后根據(jù)各分支所代表 的輸出， 選擇輸出到左邊節(jié)點或者右邊節(jié)點， 然后重復此步驟， 直至輸出節(jié)點為一個類別。例如： 如果一個網(wǎng)頁的 Ｕ Ｒ Ｌ長度大 于１ ０ ７ ， 那么分類器就將此網(wǎng)頁歸類到垃圾網(wǎng)頁的類別中； 如果 一個網(wǎng)頁的 Ｕ Ｒ Ｌ長度小于等于 １ ０ ７ ， 并且 Ｍ ｅ ｔ ａ 標簽數(shù)量少于等 于６ ， 并且 Ｍ ｅ ｔ ａ 標簽 “ 描述” 長度大于 ４ ８ ， 并且網(wǎng)頁長度大于 １ ３ ７ ５ ９ ， 并且網(wǎng)頁壓縮率小于等于 ０ ． ２ ２ ６ ， 那么這個網(wǎng)頁就被分 類器歸類到垃圾網(wǎng)頁的類別中。

???????????????????????
（ 上接第 １ ６ ２頁）
［ １ １ ］ 叢爽． 面向 Ｍ Ａ Ｔ Ｌ Ａ Ｂ工具箱的神經(jīng)網(wǎng)絡理論與應用［ Ｍ］ ． 合肥： 中 圖４ 　Ｃ ４ ． ５算法建立的檢測垃圾網(wǎng)頁的決策樹的一部分 國科學技術大學出版社， １ ９ ９ ８ ． ［ １ ２ ］ 翁維勤， 周慶海． 過程控制系統(tǒng)及工程［ Ｍ］ ． 北京： 化學工業(yè)出版 社， １ ９ ９ ６ ． ［ １ ３ ］ 龔劍平． Ｆ Ｏ Ｐ Ｄ Ｔ的模型不確定性界和內�？刂破黥敯粜阅茉O計 ［ Ｊ ］ ． 北京化工大學學報， ２ ０ ０ １ ， ２ ８ （ １ ） ： ７ ６ ７ ８ ．

最后， 我們采用了 １ ０ ? 折交叉確認方法對本文的檢測模型進 行評估。１ ０ ? 折交叉確認方法思想為： 將數(shù)據(jù)集中的數(shù)據(jù)隨機分 成１ ０等份， 并執(zhí)行 １ ０次訓練 ／ 測試步驟， 每個步驟中都是使用 ９ 個等份作為訓練分類器的數(shù)據(jù)， 并使用剩余 １個等份作為測試



  本文關鍵詞：基于內容的搜索引擎垃圾網(wǎng)頁檢測，由筆耕文化傳播整理發(fā)布。