【摘要】：隨著“互聯(lián)網(wǎng)+”時(shí)代的到來(lái),網(wǎng)絡(luò)信息安全問(wèn)題面臨著越來(lái)越嚴(yán)峻的考驗(yàn)。如何確保網(wǎng)絡(luò)信息安全,減少由漏洞造成的損失逐漸成為一個(gè)研究熱點(diǎn)。解決網(wǎng)絡(luò)信息安全問(wèn)題迫在眉睫。針對(duì)上述問(wèn)題,本文深入研究了網(wǎng)絡(luò)掃描和Web爬蟲(chóng)技術(shù)。網(wǎng)絡(luò)掃描技術(shù)包括主機(jī)存活掃描、端口掃描、操作系統(tǒng)指紋識(shí)別和漏洞掃描;并針對(duì)漏洞掃描提出了智能爬行算法,設(shè)計(jì)了一個(gè)基于智能爬行算法的網(wǎng)絡(luò)安全掃描系統(tǒng)。主要工作和創(chuàng)新點(diǎn)如下:1.針對(duì)子域名收集方法存在遺漏的問(wèn)題,采用了基于字典融合的子域名收集方法。該方法通過(guò)融合DNS服務(wù)商提供的字典、同類(lèi)爆破工具字典、通用基礎(chǔ)組合及常見(jiàn)中英文詞組生成融合字典。測(cè)試結(jié)果表明,采用字典融合方法比第三方服務(wù)收集到的子域名同比增長(zhǎng)13%,收集結(jié)果更廣,可以有效減少目標(biāo)暴露面。2.針對(duì)目前端口掃描存在功能與效率成反比的問(wèn)題,采用了基于異步無(wú)狀態(tài)端口掃描和Nmap相結(jié)合的方法。該方法利用異步無(wú)狀態(tài)急速掃描方法,對(duì)目標(biāo)資產(chǎn)進(jìn)行全I(xiàn)P全端口快速掃描,再結(jié)合Nmap進(jìn)行端口服務(wù)、操作系統(tǒng)類(lèi)型及版本探測(cè)。測(cè)試結(jié)果表明,該方法比單獨(dú)使用Nmap,提高了至少300倍的掃描效率,并保證了掃描的全面性。3.針對(duì)深度爬蟲(chóng)未考慮網(wǎng)頁(yè)結(jié)構(gòu)相似性,導(dǎo)致對(duì)相同表單重復(fù)檢測(cè)的問(wèn)題,提出了基于相似度的智能爬行算法。該算法分為三個(gè)階段:第一階段是基于Rabin指紋的URL去重。第二階段是基于權(quán)重分配的頁(yè)面相似度計(jì)算方法:將網(wǎng)頁(yè)解析成DOM樹(shù),根據(jù)節(jié)點(diǎn)的位置、DOM樹(shù)的深度以及深度相同的節(jié)點(diǎn)數(shù)量,平均分配權(quán)重給每個(gè)節(jié)點(diǎn)。第三階段是采用聚合式層次聚類(lèi)思想將具有相似結(jié)構(gòu)的網(wǎng)頁(yè)聚為一組并選取代表URL。利用該算法設(shè)計(jì)了智能爬蟲(chóng),包括URL封裝、HTTP發(fā)送請(qǐng)求、頁(yè)面解析、URL去重、頁(yè)面相似度和聚類(lèi)等。實(shí)驗(yàn)結(jié)果表明,應(yīng)用該算法的智能爬蟲(chóng)可有效去除93%以上的結(jié)構(gòu)相似網(wǎng)頁(yè),減少大量相同表單的重復(fù)檢測(cè),提高掃描效率。4.針對(duì)系統(tǒng)復(fù)雜、難以管理的問(wèn)題,該系統(tǒng)基于高內(nèi)聚低耦合的設(shè)計(jì)原則,結(jié)合B/S三層架構(gòu),采用模塊化、插件式的設(shè)計(jì)思想,降低了系統(tǒng)的復(fù)雜度,使系統(tǒng)方便擴(kuò)展,易于管理。本系統(tǒng)在功能上分為三大模塊:信息獲取模塊、操作系統(tǒng)模塊、Web應(yīng)用模塊。信息獲取模塊又分為五個(gè)子模塊:子域名收集、旁站收集、C段收集、端口和操作系統(tǒng)探測(cè)、弱口令,且網(wǎng)絡(luò)用戶(hù)可自定義掃描的深度和范圍。
【圖文】：

圖 1.1 企業(yè)網(wǎng)上信息系統(tǒng)的漏洞分布安全問(wèn)題一直都令人擔(dān)憂(yōu)，通過(guò)外網(wǎng)滲透的方式[29-30]，惡意攻擊者感數(shù)據(jù)。如圖 1.1 所示，安全漏洞的對(duì)象主要以應(yīng)用程序、網(wǎng)頁(yè)自作系統(tǒng)和網(wǎng)絡(luò)設(shè)備的漏洞也不容忽視。為了保障安全性，對(duì)網(wǎng)絡(luò)安

議4 漏洞掃描：包括 Web 應(yīng)用掃描和操作系統(tǒng)掃描圖 2.1 網(wǎng)絡(luò)掃描技術(shù)分類(lèi)圖2.1.1 主機(jī)存活掃描主機(jī)存活掃描，也就是常說(shuō)的 Ping 掃描，，它主要是利用 ICMP 協(xié)議。常用的掃描方法有三種：ICMP Echo、Broadcast ICMP、ICMP Timestamp。
【學(xué)位授予單位】：西安電子科技大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2018
【分類(lèi)號(hào)】：TP393.08;TP18

【參考文獻(xiàn)】

相關(guān)期刊論文 前1條

1 賀建英;;Rabin指紋去重算法在搜索引擎中的應(yīng)用[J];計(jì)算機(jī)系統(tǒng)應(yīng)用;2015年07期

相關(guān)重要報(bào)紙文章 前1條

1 謝瑋;;積極應(yīng)對(duì)網(wǎng)絡(luò)安全形勢(shì)新變化 提升行業(yè)網(wǎng)絡(luò)安全風(fēng)險(xiǎn)防控能力[N];人民郵電;2018年

相關(guān)博士學(xué)位論文 前1條

1 白雪;聚類(lèi)分析中的相似性度量及其應(yīng)用研究[D];北京交通大學(xué);2012年

相關(guān)碩士學(xué)位論文 前10條

1 鄭穎;基于Web信息大數(shù)據(jù)分析的信息資產(chǎn)研究與實(shí)現(xiàn)[D];北京交通大學(xué);2017年

2 賀星光;網(wǎng)絡(luò)安全掃描系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];哈爾濱工業(yè)大學(xué);2017年

3 張笑天;分布式爬蟲(chóng)應(yīng)用中布隆過(guò)濾器的研究[D];沈陽(yáng)工業(yè)大學(xué);2017年

4 王雪貞;基于Fuzzing的SQL注入漏洞檢測(cè)系統(tǒng)研究與實(shí)現(xiàn)[D];大連海事大學(xué);2017年

5 陳昊;綜合掃描系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2017年

6 何國(guó)正;分布式智能網(wǎng)絡(luò)爬蟲(chóng)的設(shè)計(jì)與實(shí)現(xiàn)[D];中國(guó)科學(xué)院大學(xué)(工程管理與信息技術(shù)學(xué)院);2016年

7 雷佳偉;基于爬蟲(chóng)技術(shù)的Web應(yīng)用程序漏洞檢測(cè)方法[D];北京工業(yè)大學(xué);2016年

8 楊興華;基于B/S架構(gòu)漏洞掃描技術(shù)的研究與實(shí)現(xiàn)[D];北京郵電大學(xué);2015年

9 張燁青;Web應(yīng)用安全漏洞掃描器爬蟲(chóng)技術(shù)的改進(jìn)與實(shí)現(xiàn)[D];北京郵電大學(xué);2014年

10 黃亮;Web漏洞掃描系統(tǒng)中的智能爬蟲(chóng)技術(shù)研究[D];杭州電子科技大學(xué);2012年

本文編號(hào)：2619438