隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展,網(wǎng)絡(luò)應(yīng)用平臺逐漸成為信息交互的主要渠道,人們的生活服務(wù)呈現(xiàn)出網(wǎng)絡(luò)化和信息化的特點。網(wǎng)絡(luò)給人們的生活帶來便利的同時,也伴隨著各種各樣的數(shù)據(jù)安全問題,保障Web應(yīng)用的安全,及時發(fā)現(xiàn)并修復(fù)漏洞已變得越來越重要。Web應(yīng)用漏洞檢測的本質(zhì)是站在攻擊者的角度審視Web應(yīng)用程序的安全性,本文作者在研究和分析網(wǎng)絡(luò)爬蟲技術(shù)、漏洞攻擊原理的基礎(chǔ)上,比對現(xiàn)有漏洞檢測工具,針對目前漏洞檢測存在的不足進行改進,以提高漏洞檢測的準確率及效率。本文的主要工作如下:針對網(wǎng)站對爬蟲的限制,為了解決爬蟲在模擬登錄時遇到的復(fù)雜驗證碼解析問題,本文采用Cookie方式模擬用戶登錄,通過設(shè)置相關(guān)請求頭,繞過網(wǎng)站的反爬蟲機制,突破網(wǎng)站對爬蟲的限制,提高爬取效率。針對爬蟲爬取到的URL存在相似數(shù)據(jù)的問題,提出一種基于樹結(jié)構(gòu)特征的HASH去重算法HDTSF,依據(jù)URL的結(jié)構(gòu)特征,將URL數(shù)據(jù)以深度為2進行分組得到子路徑,然后對相同子路徑內(nèi)的URL數(shù)據(jù)進行相似去重處理;同時對HDTSF去重算法、編輯距離算法和余弦相似度算法進行對比測試,結(jié)果表明HDTSF相似去重算法能有效提高爬蟲的工作效率。設(shè)計并實現(xiàn)了基于改... 

【文章來源】：西安科技大學陜西省

【文章頁數(shù)】：57 頁

【學位級別】：碩士

【部分圖文】：

013-2018年上半年中國網(wǎng)站數(shù)量情況

閉 TCP 連接：一般情況下，當服務(wù)器返回了響應(yīng)的資源信息后，就會嘗試接，但是如果服務(wù)器或瀏覽器在其頭部信息中加入了字段鍵值如 Connect則 TCP 連接在數(shù)據(jù)響應(yīng)后仍然保持活躍狀態(tài)。保持連接節(jié)省了每一個資源連接所需要的時間，并且節(jié)約了網(wǎng)絡(luò)帶寬。HTTP 請求報文格式如圖 2.2 所示。

：位于請求頭之后，請求正文之前，表示請求頭結(jié)束。正文：請求數(shù)據(jù)一般不在 GET 方法中使用，而在 POST 方法中使用。P用場景為數(shù)據(jù)請求、表單提交，而 GET 方法適用場景為數(shù)據(jù)查詢等操作關(guān)的常見的請求頭是 Content-Type、Content-Length。TTP 響應(yīng)報文格式如圖 2.3 所示。

【參考文獻】：
期刊論文
[1]Levenshtein算法優(yōu)化及在題庫判重中的應(yīng)用[J]. 張衡,陳良育.  華東師范大學學報(自然科學版). 2018(05)
[2]關(guān)于大數(shù)據(jù)網(wǎng)絡(luò)中數(shù)據(jù)分類優(yōu)化識別研究[J]. 丁春暉.  計算機仿真. 2018(08)
[3]基于模型結(jié)構(gòu)與日志行為的流程相似度計算[J]. 周長紅,曾慶田,劉聰,段華,原桂遠.  計算機集成制造系統(tǒng). 2018(07)
[4]融合共現(xiàn)距離和區(qū)分度的短文本相似度計算方法[J]. 劉文,馬慧芳,脫婷,陳海波.  計算機工程與科學. 2018(07)
[5]動靜結(jié)合的二階SQL注入漏洞檢測技術(shù)[J]. 李鑫,張維緯,鄭力新.  華僑大學學報(自然科學版). 2018(04)
[6]基于用戶行為模型的移動APP信息采集方法[J]. 楊海軍,施敏,梁汝峰,蔡立志.  計算機應(yīng)用與軟件. 2018(06)
[7]基于布隆過濾的藏區(qū)Web站點流量識別[J]. 郭曉軍,孫海霞,張國梁.  計算機工程與設(shè)計. 2018(02)
[8]OWASP發(fā)布十大Web應(yīng)用安全風險[J]. 譚軍.  計算機與網(wǎng)絡(luò). 2017(23)
[9]基于混淆矩陣的多目標優(yōu)化三支決策模型[J]. 徐健鋒,苗奪謙,張遠健.  模式識別與人工智能. 2017(09)
[10]基于聚類與排序修剪的分類器集成方法[J]. 米愛中,陸瑤.  計算機應(yīng)用研究. 2018(07)

碩士論文
[1]SQL注入攻擊檢測方法研究[D]. 肖澤力.東北師范大學 2018
[2]基于網(wǎng)絡(luò)爬蟲的Web安全掃描工具的設(shè)計與實現(xiàn)[D]. 翟涵.北京郵電大學 2018
[3]SQL注入的自動化檢測技術(shù)研究[D]. 楊高明.電子科技大學 2015



本文編號：2997168