【摘要】：隨著Web技術(shù)及數(shù)字化校園建設(shè)的迅速發(fā)展,校園局域網(wǎng)存在的Web及其他信息資源,呈現(xiàn)出數(shù)量多、規(guī)模大、結(jié)構(gòu)復(fù)雜、動(dòng)態(tài)變化快等特點(diǎn),使得校園網(wǎng)信息資產(chǎn)管理者眼花繚亂。對(duì)復(fù)雜的校園網(wǎng)信息資產(chǎn)進(jìn)行管理及運(yùn)行狀態(tài)的監(jiān)控,是一件很繁瑣的事情。目前已有的校園信息資產(chǎn)管理系統(tǒng)大部分是通過人工主動(dòng)監(jiān)測(cè)后手動(dòng)配置、導(dǎo)入數(shù)據(jù)等方式進(jìn)行資產(chǎn)的監(jiān)控。這使監(jiān)測(cè)具有滯后性,并不能及時(shí)、準(zhǔn)確、宏觀地反映校園網(wǎng)信息資產(chǎn)的實(shí)時(shí)狀態(tài)信息。本文從Web信息大數(shù)據(jù)分析的角度出發(fā),研究了 Web信息采集技術(shù)中的多線程爬蟲技術(shù)、線程池調(diào)度技術(shù)及IP、端口、服務(wù)器等掃描探測(cè)技術(shù)。研究了信息預(yù)處理過程中基于MD5的大規(guī)模URL去重及基于Simhash的網(wǎng)頁去重算法、基于DOM樹的頁面解析技術(shù)。同時(shí)研究惡意URL的檢測(cè)技術(shù)及暗鏈、漏洞等惡意行為的特征匹配算法。將這些技術(shù)和算法運(yùn)用到項(xiàng)目中,實(shí)現(xiàn)了基于Web信息大數(shù)據(jù)分析的校園網(wǎng)信息資產(chǎn)管理系統(tǒng)。本系統(tǒng)的實(shí)現(xiàn)分為兩個(gè)層次。首先是信息采集預(yù)處理層,從一個(gè)應(yīng)用層URL鏈接出發(fā),通過Web網(wǎng)絡(luò)爬蟲及SNMP探測(cè)等網(wǎng)絡(luò)掃描探測(cè)技術(shù),獲取校園網(wǎng)內(nèi)全部的資產(chǎn)信息,包括Web網(wǎng)頁信息、域名、IP、端口及服務(wù)器信息。然后通過對(duì)采集的數(shù)據(jù)進(jìn)行去噪、去重等預(yù)處理,將有價(jià)值的信息資產(chǎn)數(shù)據(jù)進(jìn)行整合存儲(chǔ)。其次是校園網(wǎng)信息資產(chǎn)的可視化展示層,對(duì)存儲(chǔ)的有價(jià)值的多維數(shù)據(jù)按需進(jìn)行特征提取、提供信息查詢和管理功能。實(shí)現(xiàn)了對(duì)校園網(wǎng)Web鏈接分層信息、硬件服務(wù)器信息、服務(wù)器系統(tǒng)信息、網(wǎng)站運(yùn)行狀態(tài)監(jiān)控及校園網(wǎng)安全情況的統(tǒng)計(jì)管理,能夠簡(jiǎn)潔明了、動(dòng)態(tài)地監(jiān)控校園網(wǎng)信息資產(chǎn)的運(yùn)行狀態(tài)。如監(jiān)測(cè)校園網(wǎng)各類服務(wù)器的運(yùn)行狀態(tài)和使用情況、校園網(wǎng)的暗鏈、漏洞或惡意代碼等安全隱患信息。在系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)過程中,首先進(jìn)行系統(tǒng)需求分析,提煉出系統(tǒng)需要實(shí)現(xiàn)的功能。然后在需求分析的基礎(chǔ)上,對(duì)系統(tǒng)進(jìn)行總體架構(gòu)及功能模塊的設(shè)計(jì),并對(duì)每個(gè)模塊進(jìn)行詳細(xì)設(shè)計(jì)與實(shí)現(xiàn)。最后,展現(xiàn)系統(tǒng)實(shí)現(xiàn)的成果并進(jìn)行系統(tǒng)測(cè)試和運(yùn)行分析總結(jié)。
[Abstract]:With the rapid development of Web technology and the construction of digital campus, the existence of Web and other information resources in campus LAN has the characteristics of large quantity, large scale, complex structure, fast dynamic change and so on. Make campus network information asset managers dazzled. It is very complicated to manage and monitor the information assets of complex campus network. At present, most of the existing campus information asset management systems are manual configuration after manual active monitoring, data import and other ways to monitor assets. This makes the monitoring lag, and can not reflect the real-time state information of campus network information assets in time, accurately and macroscopically. In this paper, from the point of view of Web information big data analysis, the multi-thread crawler technology, thread pool scheduling technology, IP, port, server and other scanning detection techniques in Web information collection technology are studied. In the process of information preprocessing, the large scale URL de-reduplication algorithm based on MD5 and the web page de-reduplication algorithm based on Simhash, and the page parsing technology based on DOM tree are studied. At the same time, the detection technology of malicious URL and the feature matching algorithm of malicious behavior such as dark chain and vulnerability are studied. These techniques and algorithms are applied to the project to realize the campus network information asset management system based on the analysis of Web information big data. The realization of this system is divided into two levels. First of all, the information collection and preprocessing layer, from an application layer URL link, through the Web network crawler and SNMP detection network scanning detection technology, to obtain all the campus network assets information, including Web web page information. Domain name IP, port and server information. Then the valuable data of information assets are stored by de-noising and re-processing. Secondly, the visual display layer of campus network information assets is used to extract the features of the valuable multidimensional data stored on demand and to provide information query and management functions. The statistical management of campus network Web link layer information, hardware server information, server system information, website running state monitoring and campus network security is realized. Monitor the running status of campus network information assets dynamically. Such as monitoring the running status and usage of various servers of campus network, the hidden chain of campus network, vulnerabilities or malicious code and other security information. In the process of system design and implementation, the system needs to be analyzed firstly, and the functions needed to be realized are extracted. Then on the basis of requirement analysis, the overall architecture and functional modules of the system are designed, and each module is designed and implemented in detail. Finally, show the achievement of the system and carry on the system test and operation analysis summary.
【學(xué)位授予單位】：北京交通大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2017
【分類號(hào)】：TP311.13;TP393.09

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 得州;;挖出不一樣的秘密 數(shù)據(jù)分析師[J];電腦愛好者;2010年13期

2 張文霖;;數(shù)據(jù)分析初體驗(yàn)[J];數(shù)據(jù);2013年05期

3 古福;;讓大數(shù)據(jù)分析更快速、更簡(jiǎn)化[J];互聯(lián)網(wǎng)周刊;2013年11期

4 于宗民;;數(shù)據(jù)分析應(yīng)用的最大障礙[J];中國(guó)金融電腦;2007年08期

5 魏巍巍;;論數(shù)據(jù)分析在企業(yè)經(jīng)營(yíng)管理中的重要性[J];產(chǎn)業(yè)與科技論壇;2012年12期

6 張文霖;;數(shù)據(jù)分析六步曲[J];數(shù)據(jù);2013年06期

7 戴未琰;;大數(shù)據(jù)分析概要[J];物聯(lián)網(wǎng)技術(shù);2013年08期

8 王海蘊(yùn);;大數(shù)據(jù)分析 市場(chǎng)成倍增長(zhǎng) 深耕空間巨大[J];財(cái)經(jīng)界;2013年10期

9 ;大數(shù)據(jù)分析系列3:大數(shù)據(jù)分析如何權(quán)衡存儲(chǔ)[J];電腦與電信;2013年10期

10 馬_";;對(duì)大數(shù)據(jù)分析相關(guān)問題的思考[J];信息通信技術(shù);2013年06期

相關(guān)會(huì)議論文 前10條

1 申敏;;數(shù)據(jù)分析的原則和一般方法[A];2010年云南電力技術(shù)論壇論文集（文摘部分）[C];2010年

2 劉剛;;小學(xué)生數(shù)據(jù)分析觀念的培養(yǎng)[A];中華教育理論與實(shí)踐科研論文成果選編(第五卷)[C];2013年

3 石勇;;在銀行和金融數(shù)據(jù)分析中的評(píng)分方法[A];Data Analysis, Econo-physics and Risk Management--Proceedings of CCAST (World Laboratory) Workshop[C];2001年

4 吳一平;;基于數(shù)據(jù)分析的離校工作改進(jìn)[A];中國(guó)高等教育學(xué)會(huì)教育信息化分會(huì)第十二次學(xué)術(shù)年會(huì)論文集[C];2014年

5 呂大青;;送變電施工企業(yè)中數(shù)據(jù)分析的運(yùn)用[A];第二屆浙江中西部科技論壇論文集（第一卷）[C];2005年

6 李小花;李姝;;大數(shù)據(jù)分析在指揮信息系統(tǒng)中的應(yīng)用[A];2014第二屆中國(guó)指揮控制大會(huì)論文集（下）[C];2014年

7 范麗偉;唐煥文;唐一源;;空間獨(dú)立成分分析在fMRⅠ數(shù)據(jù)分析中的應(yīng)用[A];第九次全國(guó)生物物理大會(huì)學(xué)術(shù)會(huì)議論文摘要集[C];2002年

8 張軍;李婕;;中國(guó)國(guó)民休閑狀態(tài)變化研究——基于網(wǎng)上數(shù)據(jù)分析[A];第十五屆全國(guó)區(qū)域旅游學(xué)術(shù)開發(fā)研討會(huì)暨度假旅游論壇論文冊(cè)[C];2010年

9 徐小龍;王汝傳;姜波;;一種新的基于P2P的電信海量數(shù)據(jù)分析業(yè)務(wù)模式[A];普適計(jì)算及其軟件新技術(shù)——第三屆長(zhǎng)三角計(jì)算機(jī)科技論壇文集[C];2006年

10 邵東華;;高速公路的平面控制復(fù)測(cè)與數(shù)據(jù)分析[A];第四屆“測(cè)繪科學(xué)前沿技術(shù)論壇”論文精選[C];2012年

相關(guān)重要報(bào)紙文章 前10條

1 匿銘;數(shù)據(jù)分析的“磨刀階段”[N];中華讀書報(bào);2013年

2 胡英;澳發(fā)布政府可信數(shù)據(jù)分析指導(dǎo)草案[N];人民郵電;2014年

3 鄭愛民;陜西加強(qiáng)消費(fèi)維權(quán)數(shù)據(jù)分析利用[N];中國(guó)工商報(bào);2014年

4 本報(bào)駐美國(guó)記者 吳成良;“數(shù)據(jù)分析”成了“金飯碗”[N];人民日?qǐng)?bào);2014年

5 本報(bào)記者 楊群;大數(shù)據(jù)分析亮出專家的“自貿(mào)研判”[N];解放日?qǐng)?bào);2014年

6 周桂生　湯建國(guó);數(shù)據(jù)分析行業(yè)登陸湖南,帶來巨大商機(jī)[N];中國(guó)企業(yè)報(bào);2008年

7 朱文明 甫瀚公司咨詢專家;數(shù)據(jù)分析提升決策智慧[N];中國(guó)審計(jì)報(bào);2009年

8 ;國(guó)采中心空調(diào)協(xié)議供貨數(shù)據(jù)分析[N];政府采購(gòu)信息報(bào);2010年

9 武虹 審計(jì)署駐沈陽特派辦;以數(shù)據(jù)分析為統(tǒng)領(lǐng)開展數(shù)字化審計(jì)工作[N];中國(guó)審計(jì)報(bào);2012年

10 杰弗尼;行走在大數(shù)據(jù)分析誤區(qū)旁的零售商[N];中國(guó)商報(bào);2013年

相關(guān)博士學(xué)位論文 前7條

1 劉岳;區(qū)域地球化學(xué)數(shù)據(jù)分析及成礦信息融合模型研究[D];中國(guó)地質(zhì)大學(xué);2015年

2 徐曉琳;面向大規(guī)模數(shù)據(jù)分析與分類的正則化回歸算法[D];安徽大學(xué);2017年

3 董媛香;基于軟集合的不完備不一致數(shù)據(jù)分析及決策方法研究[D];重慶大學(xué);2014年

4 張睿;數(shù)據(jù)分析在污染控制領(lǐng)域的節(jié)能優(yōu)化應(yīng)用[D];中國(guó)科學(xué)技術(shù)大學(xué);2014年

5 陳宜治;函數(shù)型數(shù)據(jù)分析若干方法及應(yīng)用[D];浙江工商大學(xué);2011年

6 郭廣報(bào);基于并行統(tǒng)計(jì)計(jì)算的金融數(shù)據(jù)分析[D];山東大學(xué);2012年

7 孫建強(qiáng);生物磁共振數(shù)據(jù)分析中的幾個(gè)問題[D];中國(guó)科學(xué)院研究生院（武漢物理與數(shù)學(xué)研究所）;2014年

相關(guān)碩士學(xué)位論文 前10條

1 周儒軍;基于Hadoop的分布式監(jiān)控平臺(tái)的研究與實(shí)現(xiàn)[D];華南理工大學(xué);2015年

2 施建輝;中職生職業(yè)道德認(rèn)識(shí)現(xiàn)狀調(diào)查研究[D];上海師范大學(xué);2015年

3 丁國(guó)輝;核磁共振數(shù)據(jù)分析中的兩個(gè)問題[D];中國(guó)科學(xué)院研究生院(武漢物理與數(shù)學(xué)研究所);2015年

4 張清;面向精準(zhǔn)廣告投放的數(shù)據(jù)分析與可視化系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];山東大學(xué);2015年

5 周徐;基于分層采樣的DeepWeb數(shù)據(jù)分析方法研究[D];蘇州大學(xué);2015年

6 王佳琦;糾正性反饋對(duì)高中生英語冠詞習(xí)得的影響[D];內(nèi)蒙古師范大學(xué);2015年

7 顧星竹;基于Hadoop的PCF系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];南京大學(xué);2014年

8 張海洋;大數(shù)據(jù)的統(tǒng)計(jì)分析技術(shù)比較研究[D];南京大學(xué);2014年

9 扎娟娟;銀保通管理系統(tǒng)的構(gòu)建與實(shí)施[D];電子科技大學(xué);2014年

10 姜佳健;云環(huán)境下基于B/S結(jié)構(gòu)的血管數(shù)據(jù)分析[D];東南大學(xué);2015年

，

本文編號(hào)：2261102