發(fā)布時(shí)間：2024-11-02 02:42

　　Web2.0技術(shù)在互聯(lián)網(wǎng)上的出現(xiàn)以及社交平臺(tái)的興起，極大的促進(jìn)了動(dòng)態(tài)網(wǎng)頁的使用和普及。動(dòng)態(tài)網(wǎng)頁中的Ajax技術(shù)，實(shí)現(xiàn)了客戶端和服務(wù)端之間數(shù)據(jù)的異步操作，不僅滿足了新時(shí)代的技術(shù)需要，同時(shí)也提高了用戶體驗(yàn)，更是促進(jìn)了互聯(lián)網(wǎng)的發(fā)展。但是，傳統(tǒng)網(wǎng)絡(luò)爬蟲并不能應(yīng)對(duì)動(dòng)態(tài)網(wǎng)頁帶來的新特征，所以支持動(dòng)態(tài)頁面的網(wǎng)絡(luò)爬蟲的研究就具有了一定實(shí)踐意義。對(duì)于主題網(wǎng)絡(luò)爬蟲而言，噪聲鏈接不僅沒有價(jià)值，而且還會(huì)占用大量的資源，尤其是網(wǎng)絡(luò)爬蟲對(duì)噪聲鏈接對(duì)應(yīng)網(wǎng)頁的采集和分析，極大地降低了網(wǎng)絡(luò)爬蟲爬取的效率。 針對(duì)上述問題，本文的主要研究?jī)?nèi)容如下： 首先，針對(duì)動(dòng)態(tài)網(wǎng)頁中關(guān)鍵技術(shù)Ajax異步操作的原理，解決了如何令網(wǎng)絡(luò)爬蟲支持動(dòng)態(tài)網(wǎng)頁爬取的問題。本文通過HTTP請(qǐng)求獲取到網(wǎng)頁，然后將網(wǎng)頁在本地進(jìn)行DOM樹的構(gòu)建，進(jìn)行對(duì)腳本的解析和URL的提取，并通過對(duì)HtmlUnit的源碼修改來解析需要進(jìn)行點(diǎn)擊觸發(fā)的腳本，從而解決傳統(tǒng)網(wǎng)絡(luò)爬蟲對(duì)動(dòng)態(tài)網(wǎng)頁中動(dòng)態(tài)生成的URL難以獲取的問題； 其次，由于噪聲鏈接極大地降低了網(wǎng)絡(luò)爬蟲的效率，所以本文對(duì)網(wǎng)頁噪聲的去除算法進(jìn)行了研究。傳統(tǒng)的網(wǎng)頁去噪算法針對(duì)網(wǎng)頁整體結(jié)構(gòu)進(jìn)行處理，去噪效率低下。本...

【文章頁數(shù)】：62 頁

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
Abstract
第1章 緒論
    1.1 課題研究的背景和意義
    1.2 國內(nèi)外研究發(fā)展以及現(xiàn)狀
        1.2.1 動(dòng)態(tài)頁面解析的研究現(xiàn)狀
        1.2.2 網(wǎng)頁去噪技術(shù)的研究現(xiàn)狀
    1.3 本文研究的主要內(nèi)容
    1.4 論文結(jié)構(gòu)安排
第2章 相關(guān)概念介紹
    2.1 Web2.0 技術(shù)簡(jiǎn)介
    2.2 網(wǎng)頁頁面相關(guān)概念
        2.2.1 靜態(tài)頁面簡(jiǎn)介
        2.2.2 動(dòng)態(tài)頁面簡(jiǎn)介
    2.3 動(dòng)態(tài)網(wǎng)頁頁面涉及的關(guān)鍵技術(shù)介紹
        2.3.1 Ajax 技術(shù)基本原理
        2.3.2 Ajax 技術(shù)引發(fā)的問題
    2.4 性能評(píng)價(jià)指標(biāo)
    2.5 本章小結(jié)
第3章 支持動(dòng)態(tài)頁面的網(wǎng)絡(luò)爬蟲系統(tǒng)設(shè)計(jì)
    3.1 網(wǎng)絡(luò)爬蟲簡(jiǎn)介
        3.1.1 網(wǎng)絡(luò)爬蟲體系結(jié)構(gòu)
        3.1.2 網(wǎng)絡(luò)爬蟲工作原理
        3.1.3 網(wǎng)絡(luò)爬蟲搜索策略
    3.2 支持動(dòng)態(tài)頁面網(wǎng)絡(luò)爬蟲系統(tǒng)設(shè)計(jì)
        3.2.1 系統(tǒng)架構(gòu)設(shè)計(jì)
        3.2.2 系統(tǒng)技術(shù)難點(diǎn)
    3.3 支持動(dòng)態(tài)頁面涉及的關(guān)鍵技術(shù)
        3.3.1 腳本的解析
        3.3.2 瀏覽器對(duì)象
    3.4 本章小結(jié)
第4章 頁面超鏈接快速提取算法
    4.1 噪聲鏈接分析
        4.1.1 噪聲鏈接簡(jiǎn)介
        4.1.2 URL 提取效率分析
    4.2 直接去噪聲鏈接算法
        4.2.1 頁面 DOM 樹結(jié)構(gòu)特征
        4.2.2 基于 DOM 樹的方法
    4.3 基于聚類的噪聲鏈接去除方法
        4.3.1 噪聲鏈接簇的識(shí)別
        4.3.2 K-means 聚類算法
        4.3.3 Single-Pass 算法
        4.3.4 基于改進(jìn) Single-Pass 算法的噪聲鏈接去除算法
    4.4 實(shí)驗(yàn)結(jié)果與分析
    4.5 本章小結(jié)
第5章 支持動(dòng)態(tài)頁面快速 URL 提取系統(tǒng)的實(shí)現(xiàn)
    5.1 頁面采集模塊
        5.1.1 HTTP 協(xié)議簡(jiǎn)介
        5.1.2 頁面的采集
    5.2 頁面解析模塊
        5.2.1 腳本嵌入的方式
        5.2.2 URL 的提取
    5.3 頁面 DOM 支持模塊
        5.3.1 Jsoup 簡(jiǎn)介
        5.3.2 DOM 樹構(gòu)建與操作
    5.4 事件觸發(fā)模擬模塊
        5.4.1 HtmlUnit 簡(jiǎn)介
        5.4.2 腳本事件觸發(fā)的處理
    5.5 頁面生成模塊
    5.6 實(shí)驗(yàn)結(jié)果分析
    5.7 本章小結(jié)
結(jié)論
參考文獻(xiàn)
致謝



本文編號(hào)：4008895