隨著Internet的迅速普及和流行,數(shù)十億的網(wǎng)站和網(wǎng)頁為用戶提供了巨大的訪問信息資源,其內(nèi)容幾乎覆蓋了每一個可以想到的主題。對網(wǎng)頁按主題實現(xiàn)分類,建立相應的URL分類數(shù)據(jù)庫,生成分類信息資源,一方面可以用來濾除不良網(wǎng)頁凈化網(wǎng)絡環(huán)境,或者按照安全策略和用戶意愿實現(xiàn)web的訪問控制；另一方面可以為用戶提供分類信息目錄,實現(xiàn)網(wǎng)頁分級管理和上網(wǎng)信息推薦,為用戶提供更快捷和高效的查詢結(jié)果,從而達到提高信息獲取和信息處理質(zhì)量的目的。因為網(wǎng)頁大都以文本描述為主體,所以目前主流的網(wǎng)頁分類技術(shù)大都是以web的文本分類為研究方向,通過設計合理的網(wǎng)頁表示方式和使用文本分類算法來實現(xiàn)網(wǎng)頁分類。 目前,國外的專業(yè)的安全設備提供商(McAfee,Blue Coat, Websense等)都有自己的在線實時查詢分類結(jié)果的web平臺。國內(nèi)的安全設備提供商目前還沒有為自己的“綠網(wǎng)”業(yè)務的分類結(jié)果數(shù)據(jù)庫提供實時在線可查詢的web頁面平臺。而且為了在推廣“綠網(wǎng)”業(yè)務時,對“綠網(wǎng)”分類數(shù)據(jù)庫進行展示,讓用戶測試體驗公司的“綠網(wǎng)’產(chǎn)品,就有必要為用戶提供一個基于web平臺的網(wǎng)頁分類結(jié)果可查詢的系統(tǒng)。根據(jù)國內(nèi)安全設備提供商的項...

【文章頁數(shù)】：69 頁

【學位級別】：碩士

【文章目錄】：
摘要
ABSTRACT
第一章 緒論
    1.1 課題背景
    1.2 課題任務
    1.3 論文結(jié)構(gòu)
    1.4 本章小結(jié)
第二章 網(wǎng)頁分類系統(tǒng)關(guān)鍵技術(shù)的研究
    2.1 HTML文檔和DOM樹簡介
    2.2 網(wǎng)頁的預處理技術(shù)
    2.3 網(wǎng)頁文本預處理方法
        2.3.1 分詞算法概述
        2.3.2 特征選擇
        2.3.3 向量空間模型表示法
    2.4 文本分類算法
    2.5 本章小結(jié)
第三章 網(wǎng)頁分類系統(tǒng)的需求分析
    3.1 實現(xiàn)目標
    3.2 系統(tǒng)的功能需求分析
    3.3 系統(tǒng)的性能需求分析
    3.4 系統(tǒng)運行環(huán)境和開發(fā)環(huán)境
    3.5 本章小結(jié)
第四章 主要功能模塊方案的設計
    4.1 系統(tǒng)用戶交互模塊的實現(xiàn)方案的設計
    4.2 數(shù)據(jù)收集與處理模塊實現(xiàn)方案的設計
    4.3 文本預處理模塊實現(xiàn)方案的設計
    4.4 分類模塊實現(xiàn)方案的設計
    4.5 本章小結(jié)
第五章 分類系統(tǒng)總體實現(xiàn)與主要流程
    5.1 系統(tǒng)整體流程設計
    5.2 分類結(jié)果數(shù)據(jù)庫的建立
        5.2.1 網(wǎng)頁數(shù)據(jù)收集與處理
        5.2.2 為LIBSVM準備數(shù)據(jù)
        5.2.3 分類的實現(xiàn)
    5.3 系統(tǒng)的整體實現(xiàn)
    5.4 本章小結(jié)
第六章 結(jié)束語
    6.1 對本論文的總結(jié)
    6.2 對下一步的展望
參考文獻
致謝



本文編號：3998015