隨著互聯(lián)網的快速發(fā)展,網絡平臺已經成為當今社會信息的主要傳播媒介,人們的生活方式也隨之發(fā)生了很大的變化,體現(xiàn)在通過網站進行購物、教育、通訊等方面;同時,黑客針對網站的攻擊嚴重威脅著人們的利益,如果能夠針對網站存在的漏洞進行快速掃描,在被黑客攻擊之前給出防御措施,就會很大程度上提升網站的安全性,在實際應用中將有很大的價值。目前,傳統(tǒng)的Web漏洞檢測系統(tǒng)使用的網絡爬蟲對網站頁面數(shù)據的爬取不夠完整,并且沒有針對反爬機制進行改進,導致漏洞檢測的可行性降低、漏報率增加;同時針對網絡爬蟲采集到的頁面數(shù)據沒有采取高效且準確的算法進行去重處理,造成掃描系統(tǒng)速率降低,這種掃描方法已經不滿足當代安全行業(yè)的需求,需要提出新的方案�；谀M人機交互的自動化網絡爬蟲更好地模擬了人的行為,可以更全面的分析網站結構,更好地處理并采集網站數(shù)據,同時在一定程度上可以抵御反爬機制;基于密度的DBSCAN聚類算法針對網站數(shù)據的特征,可以更好地刻畫每個頁面的特點及與其他頁面的區(qū)別,達到快速且準確去重的目的。因此本文結合人機交互的網絡爬蟲和DBSCAN聚類算法兩個方面進行研究Web漏洞掃描方法。具體研究內容如下:（1）采用Se... 

【文章來源】：中北大學山西省

【文章頁數(shù)】：88 頁

【學位級別】：碩士

【文章目錄】：
摘要
abstract
第1章 緒論
    1.1 研究背景與意義
    1.2 研究現(xiàn)狀
        1.2.1 漏洞檢測與爬蟲研究現(xiàn)狀
        1.2.2 頁面去重技術研究現(xiàn)狀
    1.3 本文研究主要內容及創(chuàng)新點
    1.4 論文組織結構
第2章 關鍵技術研究
    2.1 WEB安全概述
    2.2 WEB漏洞檢測技術研究
        2.2.1 SQL注入漏洞
        2.2.2 XSS跨站腳本漏洞
    2.3 網絡爬蟲技術研究
        2.3.1 網絡爬蟲技術介紹
        2.3.2 靜態(tài)數(shù)據網絡爬蟲
        2.3.3 基于模擬人機交互的動態(tài)數(shù)據網絡爬蟲
    2.4 頁面去重技術研究
        2.4.1 傳統(tǒng)的正則去重
        2.4.2 基于密度聚類的DBSCAN算法
    2.5 本章小結
第3章 WEB漏洞檢測去重方法研究
    3.1 基于人機交互的網絡爬蟲進行資產收集
        3.1.1 網絡爬蟲反爬研究
        3.1.2 網絡爬蟲數(shù)據采集
    3.2 DBSCAN聚類算法進行頁面去重處理
        3.2.1 傳統(tǒng)正則匹配Url去重
        3.2.2 DBSCAN密度聚類深度去重
    3.3 實驗方案與結果
        3.3.1 實驗方案
        3.3.2 評估方法
        3.3.3 實驗結果
    3.4 本章小結
第4章 WEB漏洞檢測系統(tǒng)實現(xiàn)與評估
    4.1 需求分析
        4.1.1 功能需求
        4.1.2 性能測試
        4.1.3 其他需求
    4.2 系統(tǒng)總體架構設計與實現(xiàn)
        4.2.1 網絡爬蟲模塊
        4.2.2 頁面去重模塊
        4.2.3 漏洞檢測模塊
        4.2.4 數(shù)據庫設計模塊
    4.3 系統(tǒng)測試與結果分析
        4.3.1 測試目的
        4.3.2 測試環(huán)境
        4.3.3 測試過程與結果分析
    4.4 本章小結
第5章 結論與展望
    5.1 全文總結
    5.2 未來展望
參考文獻
攻讀碩士期間發(fā)表的論文及所取得的研究成果
致謝


【參考文獻】：
期刊論文
[1]網絡個人信息風險與保護策略研究[J]. 吳丹.  網絡安全技術與應用. 2019(03)
[2]大數(shù)據時代數(shù)據分析與信息安全防護[J]. 李福琳.  山東工業(yè)技術. 2019(06)
[3]基于云計算的網絡信息安全管理系統(tǒng)設計[J]. 王明君.  電子技術與軟件工程. 2019(04)
[4]網絡通信安全與信息系統(tǒng)管理的安全探討[J]. 黃武濤.  農家參謀. 2019(05)
[5]WebDriver自動化測試研究與應用[J]. 楊國勛.  科技傳播. 2019(02)
[6]數(shù)據隱私保護新思路:從依賴他方到自主可控[J]. 姚前.  中國信息安全. 2019(01)
[7]A Method for Time-Series Location Data Publication Based on Differential Privacy[J]. KANG Haiyan,ZHANG Shuxuan,JIA Qianqian.  Wuhan University Journal of Natural Sciences. 2019(02)
[8]基于Web滲透測試的SQL注入研究[J]. 曾佩璇,湯艷君,錢麗納.  網絡安全技術與應用. 2018(12)
[9]基于特征集合的XSS漏洞安全研究[J]. 齊曉霞,丁黃法,王琦進.  西華大學學報(自然科學版). 2018(06)
[10]基于樸素貝葉斯的新聞分類改進[J]. 孫子杰.  電子制作. 2018(22)

博士論文
[1]面向防御的網絡欺騙技術研究[D]. 賈召鵬.北京郵電大學 2018

碩士論文
[1]基于Scrapy的分布式網絡爬蟲系統(tǒng)設計與實現(xiàn)[D]. 樊宇豪.電子科技大學 2018
[2]面向Web應用的SQL注入防御技術研究[D]. 趙茜.哈爾濱工程大學 2018
[3]基于Selenium的數(shù)據自動抓取軟件設計與實現(xiàn)[D]. 趙夢影.大連理工大學 2018
[4]基于改進爬蟲技術的SQL注入的自動化掃描工具的研究與設計[D]. 賈瀟雨.北京郵電大學 2018
[5]基于SQLite輔數(shù)據庫的供應商關系管理移動端設計與實現(xiàn)[D]. 羅琪成.山東大學 2018
[6]基于網絡爬蟲的Web安全掃描工具的設計與實現(xiàn)[D]. 翟涵.北京郵電大學 2018
[7]WEB實體信息的提取算法及其應用研究[D]. 高峰.電子科技大學 2018
[8]XSS攻擊檢測與安全防護技術研究與設計[D]. 楊君.北京郵電大學 2017
[9]Web應用系統(tǒng)漏洞檢測技術研究與實現(xiàn)[D]. 洪俊斌.廣東工業(yè)大學 2016
[10]Web應用漏洞分析與檢測的研究[D]. 孫曉飛.北京郵電大學 2016



本文編號：3196260