本文關(guān)鍵詞：基于漏洞管理平臺(tái)的聚焦爬蟲(chóng)技術(shù)研究分析，由筆耕文化傳播整理發(fā)布。

【摘要】：隨著當(dāng)下網(wǎng)絡(luò)的發(fā)展,人們對(duì)信息采集的要求越來(lái)越高,而傳統(tǒng)的通用爬蟲(chóng)技術(shù)作為一種信息采集的技術(shù)手段已經(jīng)不足以滿足當(dāng)前用戶(hù)的最新需要。故聚焦爬蟲(chóng)技術(shù)應(yīng)運(yùn)而生,它是一種具有一定針對(duì)性,能夠按照不同用戶(hù)的不同需求,采用一些特殊規(guī)則來(lái)進(jìn)行信息爬取的新技術(shù)。本文所研究的聚焦爬蟲(chóng)技術(shù)是一項(xiàng)基于漏洞管理平臺(tái)而編寫(xiě)的爬蟲(chóng)技術(shù),跟當(dāng)下的各種爬蟲(chóng)技術(shù)相比,有著自己獨(dú)特的功能和優(yōu)勢(shì)。 本文介紹了當(dāng)下爬蟲(chóng)技術(shù)的背景及發(fā)展現(xiàn)狀,通過(guò)對(duì)比舊有的通用爬蟲(chóng)技術(shù)從而引出新的聚焦爬蟲(chóng)技術(shù)。接著介紹了本文所研究聚焦爬蟲(chóng)技術(shù)所依附的大平臺(tái)——漏洞管理平臺(tái)項(xiàng)目。通過(guò)漏洞管理平臺(tái)的介紹最后引出其中的核心模塊(爬蟲(chóng)模塊)和核心技術(shù)(聚焦爬蟲(chóng)技術(shù))。接下來(lái)又針對(duì)核心爬蟲(chóng)部分進(jìn)行逐模塊分析研究,將聚焦爬蟲(chóng)技術(shù)的各個(gè)技術(shù)點(diǎn)分解到各個(gè)子模塊中進(jìn)行細(xì)致研究分析,最后將各個(gè)研究結(jié)果整理匯總,得到整個(gè)聚焦爬蟲(chóng)技術(shù)的優(yōu)點(diǎn)以及不足的分析結(jié)果。 最后,根據(jù)之前分析整理的結(jié)果,針對(duì)當(dāng)前聚焦爬蟲(chóng)技術(shù)仍然存在的一些不足,結(jié)合當(dāng)下國(guó)內(nèi)外對(duì)聚焦爬蟲(chóng)技術(shù)的最新研究進(jìn)展,本文從爬蟲(chóng)爬取瓶頸和效率改進(jìn)、URL各方面內(nèi)容,對(duì)目前已有的聚焦爬蟲(chóng)技術(shù)進(jìn)行了改進(jìn),提出了改進(jìn)措施和方案,提高了基于漏洞管理平臺(tái)項(xiàng)目聚焦爬蟲(chóng)技術(shù)的整體層次。
【關(guān)鍵詞】：聚焦爬蟲(chóng)技術(shù) 漏洞管理平臺(tái) 爬蟲(chóng)模塊 爬蟲(chóng)技術(shù)分析 爬蟲(chóng)爬取效率 URL改進(jìn)
【學(xué)位授予單位】：北京郵電大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2015
【分類(lèi)號(hào)】：TP393.08
【目錄】：

• 摘要4-5
• ABSTRACT5-9
• 第一章 緒論9-14
• 1.1 研究背景9-12
• 1.1.1 漏洞管理平臺(tái)背景和發(fā)展現(xiàn)狀9-10
• 1.1.2 爬蟲(chóng)技術(shù)背景介紹10-11
• 1.1.3 信息提取方法簡(jiǎn)介11
• 1.1.4 漏洞管理平臺(tái)項(xiàng)目簡(jiǎn)介11-12
• 1.2 論文的主要研究工作12
• 1.2.1 課題研究?jī)?nèi)容12
• 1.2.2 課題研究目的12
• 1.3 論文的內(nèi)容安排12-13
• 本章參考文獻(xiàn)13-14
• 第二章 漏洞管理平臺(tái)項(xiàng)目簡(jiǎn)介14-19
• 2.1 漏洞管理平臺(tái)功能介紹14-15
• 2.2 漏洞管理平臺(tái)技術(shù)構(gòu)成與模塊劃分15-18
• 2.2.1 前臺(tái)Web部分15
• 2.2.2 后臺(tái)技術(shù)部分15-17
• 2.2.3 爬蟲(chóng)管理模塊的核心地位與作用17-18
• 2.3 本章小結(jié)18
• 本章參考文獻(xiàn)18-19
• 第三章 聚焦爬蟲(chóng)技術(shù)研究分析19-38
• 3.1 爬蟲(chóng)模塊的子模塊劃分19-20
• 3.2 六大子模塊研究分析20-34
• 3.2.1 爬蟲(chóng)接口子模塊20-22
• 3.2.2 配置文件解析子模塊22-25
• 3.2.3 網(wǎng)頁(yè)爬取子模塊25-31
• 3.2.4 網(wǎng)頁(yè)解析子模塊31
• 3.2.5 URL過(guò)濾去重子模塊31-34
• 3.2.6 漏洞信息保存子模塊34
• 3.4 爬蟲(chóng)模塊工作流程總結(jié)34-35
• 3.5 聚焦爬蟲(chóng)技術(shù)總結(jié)35-36
• 3.6 本章小結(jié)36-37
• 本章參考文獻(xiàn)37-38
• 第四章 聚焦爬蟲(chóng)技術(shù)功能改進(jìn)38-54
• 4.1 目前尚存不足38
• 4.2 爬蟲(chóng)效率改進(jìn)38-43
• 4.2.1 爬蟲(chóng)效率瓶頸分析38-39
• 4.2.2 爬蟲(chóng)采集效率的提升策略39-41
• 4.2.3 改進(jìn)效果測(cè)試結(jié)果報(bào)告41-42
• 4.2.4 改進(jìn)措施可能引發(fā)的新問(wèn)題42-43
• 4.3 URL相關(guān)內(nèi)容改進(jìn)43-52
• 4.3.1 URL相關(guān)策略介紹與改進(jìn)43-45
• 4.3.2 URL改進(jìn)策略可行性驗(yàn)證45-47
• 4.3.3 URL綜合改進(jìn)方案47-48
• 4.3.4 綜合改進(jìn)仿真實(shí)驗(yàn)48-50
• 4.3.5 改進(jìn)措施可能引發(fā)的新問(wèn)題50-52
• 4.4 本章小結(jié)52-53
• 本章參考文獻(xiàn)53-54
• 第五章 總結(jié)和展望54-56
• 5.1 論文工作總結(jié)54-55
• 5.2 未來(lái)工作展望55-56
• 致謝56

【參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 李?lèi)?;搜索引擎技術(shù)的產(chǎn)生與發(fā)展綜述[J];福建電腦;2010年05期

2 翟鈺,張玉清,武維善,胡建武;系統(tǒng)安全漏洞研究及數(shù)據(jù)庫(kù)實(shí)現(xiàn)[J];計(jì)算機(jī)工程;2004年08期

3 趙亭;陸余良;劉金紅;孫宏綱;施凡;;基于表單爬蟲(chóng)的Web漏洞探測(cè)[J];計(jì)算機(jī)工程;2008年09期

4 周立柱,林玲;聚焦爬蟲(chóng)技術(shù)研究綜述[J];計(jì)算機(jī)應(yīng)用;2005年09期

5 尹江;尹治本;黃洪;;網(wǎng)絡(luò)爬蟲(chóng)效率瓶頸的分析與解決方案[J];計(jì)算機(jī)應(yīng)用;2008年05期

6 謝麗霞;江典盛;張利;楊宏宇;;漏洞威脅的關(guān)聯(lián)評(píng)估方法[J];計(jì)算機(jī)應(yīng)用;2012年03期

7 劉金紅;陸余良;;主題網(wǎng)絡(luò)爬蟲(chóng)研究綜述[J];計(jì)算機(jī)應(yīng)用研究;2007年10期

8 許笑;張偉哲;張宏莉;方濱興;;廣域網(wǎng)分布式Web爬蟲(chóng)[J];軟件學(xué)報(bào);2010年05期

9 劉強(qiáng);殷建平;蔡志平;程杰仁;;基于不確定圖的網(wǎng)絡(luò)漏洞分析方法[J];軟件學(xué)報(bào);2011年06期

10 劉亞?wèn)|;彭艦;張達(dá)平;;基于智能的網(wǎng)頁(yè)信息提取系統(tǒng)的研究與設(shè)計(jì)[J];四川大學(xué)學(xué)報(bào)(自然科學(xué)版);2009年04期

  本文關(guān)鍵詞：基于漏洞管理平臺(tái)的聚焦爬蟲(chóng)技術(shù)研究分析，由筆耕文化傳播整理發(fā)布。

，

本文編號(hào)：377866