發(fā)布時間：2018-04-08 15:01

  本文選題：Elasticsearch　切入點：數(shù)據(jù)倉庫　出處：《北京交通大學(xué)》2016年碩士論文

【摘要】：惡意代碼數(shù)量和種類在不斷的增加,并具備大數(shù)據(jù)的特點。當面對海量的惡意代碼數(shù)據(jù),傳統(tǒng)的分析工具難以發(fā)揮作用。惡意代碼在分析過程中會產(chǎn)生很多分析日志,目前,針對這些分析日志并沒有一個合適的方案來進行管理、搜索、分析。本文針對于惡意代碼分析產(chǎn)生的分析日志,設(shè)計并實現(xiàn)了惡意代碼分析平臺,利用大數(shù)據(jù)手段挖掘樣本直接的聯(lián)系,提高惡意代碼分析的效率。本文首先闡述了惡意代碼分析平臺的背景和意義,然后根據(jù)業(yè)務(wù)需求提出功能性和非功能性的需求分析,并對系統(tǒng)設(shè)計提出解決方案。該平臺是基于Spark、 Hive和Elasticsearch的框架來實現(xiàn)數(shù)據(jù)的實時分析、離線分析和全文搜索的,并分為四層結(jié)構(gòu)：采集層、大數(shù)據(jù)層、業(yè)務(wù)層和展示層。分析日志通過Kafka推送入采集層并經(jīng)過抽取、清理和轉(zhuǎn)化后進入大數(shù)據(jù)層。大數(shù)據(jù)層是基于Spark進行的數(shù)據(jù)分析,并為業(yè)務(wù)層提供服務(wù)。業(yè)務(wù)層是基于SpringMVC+Hiberate構(gòu)建的REST架構(gòu)的Web Service。業(yè)務(wù)層通過跟大數(shù)據(jù)層交互來實現(xiàn)樣本分析、樣本搜索、報表分發(fā)、實時統(tǒng)計等功能,是本文所介紹的重點。作者參與完成了以下工作：(1)參與高可用的Hadoop集群的構(gòu)建和Elasticserach的構(gòu)建。(2)設(shè)計用戶認證授權(quán)方式并實現(xiàn)用戶管理模塊。(3)參與郵件分發(fā)模塊的業(yè)務(wù)功能設(shè)計與實現(xiàn)。(4)參與樣本搜索的功能的設(shè)計與實現(xiàn)。(5)實現(xiàn)樣本分析模塊業(yè)務(wù)層的功能。本系統(tǒng)已經(jīng)通過測試。本人設(shè)計實現(xiàn)的功能模塊均能夠正常運行,并且各模塊的運行情況與用戶需求相符合。
[Abstract]:Malicious code in the number and type of increasing, and with big data's characteristics.In the face of a large amount of malicious code data, the traditional analysis tools are difficult to play a role.Malicious code in the analysis process will produce a lot of analysis logs, at present, there is no suitable solution for these analysis logs to manage, search, analyze.Aiming at the analysis log generated by malicious code analysis, this paper designs and implements a malicious code analysis platform, and uses big data to mine the direct connection of samples to improve the efficiency of malicious code analysis.This paper first describes the background and significance of malicious code analysis platform, then proposes functional and non-functional requirements analysis according to business requirements, and puts forward a solution to the system design.The platform is based on the framework of Spark, Hive and Elasticsearch to realize real-time data analysis, offline analysis and full-text search, and is divided into four layers: acquisition layer, big data layer, business layer and display layer.The analysis log is sent into the collection layer by Kafka, then extracted, cleaned up and transformed into big data layer.Big data layer is based on Spark data analysis, and provide services for the business layer.The business layer is the Web Services of the REST architecture built on SpringMVC Hiberate.The business layer interacts with big data layer to realize the functions of sample analysis, sample search, report distribution, real-time statistics and so on, which is the focus of this paper.The author is involved in the following work: 1) participating in the construction of highly available Hadoop cluster and Elasticserach. 2) designing user authentication authorization mode and realizing user management module. 3) designing and implementing the business function of mail distribution module.Design and implement the function of sample search. 5) realize the function of business layer of sample analysis module.The system has passed the test.The functional modules designed and implemented by me can run normally, and the operation of each module is in accordance with the user's requirements.
【學(xué)位授予單位】：北京交通大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2016
【分類號】：TP311.52;TP309

【相似文獻】

相關(guān)期刊論文 前10條

1 曾濤;;淺談惡意代碼分析技術(shù)發(fā)展趨勢[J];科技資訊;2013年16期

2 彭四偉;辛麗娟;;基于G++前端的C++源代碼分析系統(tǒng)的初步研究[J];計算機系統(tǒng)應(yīng)用;2010年05期

3 趙國亮;蔣勇;孔令兵;;用代碼分析技術(shù)檢測軟件缺陷[J];計算機工程與設(shè)計;2011年08期

4 劉艷萍;;惡意代碼分析與檢測研究現(xiàn)狀[J];微電腦世界;2009年07期

5 陳共龍;;惡意代碼分析技術(shù)綜述[J];無線互聯(lián)科技;2014年03期

6 李群祖;于劉海;;智能手機惡意代碼分析與對策[J];計算機安全;2011年06期

7 Paul Bonner ,杜國梁;利用代碼分析加速應(yīng)用程序的執(zhí)行[J];電子與電腦;1997年06期

8 魏宏東;郭洪;;主動網(wǎng)絡(luò)的數(shù)據(jù)采集與主動代碼分析[J];機電技術(shù);2008年03期

9 許佳卿;彭鑫;趙文耘;;一種基于模糊概念格和代碼分析的軟件演化分析方法[J];計算機學(xué)報;2009年09期

10 陳娟英;范明鈺;王光衛(wèi);;一種基于親緣性的惡意代碼分析方法[J];信息安全與技術(shù);2014年01期

相關(guān)會議論文 前1條

1 趙博;張淼;牛少彰;;基于靜態(tài)代碼分析的JSP安全漏洞檢測系統(tǒng)的研究與設(shè)計[A];2011年通信與信息技術(shù)新進展——第八屆中國通信學(xué)會學(xué)術(shù)年會論文集[C];2011年

相關(guān)重要報紙文章 前4條

1 本報記者 霍娜;源代碼分析護航敏捷開發(fā)[N];中國計算機報;2009年

2 本報記者 田夢;源代碼分析讓開發(fā)更敏捷[N];計算機世界;2009年

3 本報記者 小白;以技術(shù)手段對抗“私服”[N];計算機世界;2005年

4 本報記者 李壽媛 本報通訊員 饒文娟;南京辦堵住計算機收費系統(tǒng)漏洞[N];中國審計報;2006年

相關(guān)博士學(xué)位論文 前1條

1 鐘金鑫;惡意代碼二進制程序行為分析關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2012年

相關(guān)碩士學(xué)位論文 前10條

1 王U，

本文編號：1722121