隨著各國對明網(wǎng)加強了監(jiān)督和管制,高匿名性和匿蹤性的暗網(wǎng)受到大量的非法地下市場以及黑色論壇甚至恐怖主義分子的青睞。因此,研究暗網(wǎng)空間資源并對其進行實時監(jiān)控,對于國家和社會的安全具有重要意義。本文的主要工作內(nèi)容如下:1、首先介紹了暗網(wǎng)與明網(wǎng)的區(qū)別,并指出研究暗網(wǎng)及其內(nèi)部資源具有重要意義,然后分別介紹了國內(nèi)外對于暗網(wǎng)的已有研究;2、設(shè)計并實現(xiàn)了基于Scrapy和MongoDB的Freenet暗網(wǎng)資源收集和存儲系統(tǒng),本系統(tǒng)同時對明網(wǎng)與暗網(wǎng)中的Freenet資源進行偵測,拓展了數(shù)據(jù)來源,在存儲暗網(wǎng)域名時同時記錄該域名的來源,方便用戶進行溯源分析;3、通過樸素貝葉斯對暗網(wǎng)中的重點“黑灰”頁面進行識別并實現(xiàn)了對這些頁面的自動登錄功能,為進一步關(guān)注和收集暗網(wǎng)中重點資源提供基礎(chǔ)支持;4、對收集到的頁面內(nèi)容經(jīng)過NLP技術(shù)處理后,使用TF-IDF生成字詞云提取頁面的主旨信息并快速直接地反饋給用戶,有助于進一步監(jiān)控和分析Freenet中的相關(guān)內(nèi)容。本系統(tǒng)在經(jīng)過一段時間的運行后,共收集了5萬條Freenet域名和210萬的域名鏈接,已大于現(xiàn)有的Freenet索引網(wǎng)站。在未來的工作中,會對Freenet的協(xié)議進行...

【文章頁數(shù)】：67 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖1-1因特網(wǎng)、明網(wǎng)、深網(wǎng)、暗網(wǎng)的關(guān)系

圖1-1因特網(wǎng)、明網(wǎng)、深網(wǎng)、暗網(wǎng)的關(guān)系Fig.1-1theRelationshipofInternet,Clearnet,DeepnetandDarknet網(wǎng)中人們可進行的活動與明網(wǎng)類似，比如即時通信、電子商務(wù)、、電子郵件等。但是由于暗網(wǎng)擁有匿名強、難以溯源等....

圖1-3百度“暗網(wǎng)”關(guān)鍵詞搜索趨勢圖

圖1-2DreamMarket的截圖Fig.1-2ScreenshotofDreamMarket隨著暗網(wǎng)的神秘面紗逐漸被揭開，公眾也對暗網(wǎng)產(chǎn)生了濃厚的興趣。由圖1-3以看出，自2014年以來我國網(wǎng)民對暗網(wǎng)的關(guān)注度有了明顯的上升。

圖2-1Freenet節(jié)點分布示意圖

圖2-1Freenet節(jié)點分布示意圖Fig.2-1Freenetnodedistributionmapenet中的資源空間類似于一個大型的分布式數(shù)據(jù)存儲設(shè)備。其中用自己計算機中的部分硬盤來存儲已被加密的文件片段，這些各節(jié)點的客戶端安裝路徑的datastore文....

圖2-2CHK產(chǎn)生過程

圖2-2CHK產(chǎn)生過程Fig.2-2ProductionprocessofCHKCHK由3部分組成：1、文件的散列值；2、用于解鎖文件的解密密鑰；3、文件的加密方式。

本文編號：3915485