本文選題：Web + 日志��； 參考：《北方工業(yè)大學(xué)》2017年碩士論文

【摘要】：互聯(lián)網(wǎng)技術(shù)的快速發(fā)展使Web應(yīng)用成為使用最廣泛的信息系統(tǒng),但也造成了很多Web安全隱患,黑客可以使用技術(shù)手段非法得到應(yīng)用服務(wù)器的管理員權(quán)限,從而篡改、竊取企業(yè)和個(gè)人重要數(shù)據(jù)。這些問題使越來越多的人開始關(guān)注企業(yè)應(yīng)用安全問題。大多數(shù)威脅具有固定特征,但有些威脅會(huì)因系統(tǒng)的架構(gòu)和編程語言不同而沒有固定特征。傳統(tǒng)的防御手段如應(yīng)用防火墻等都是根據(jù)已知漏洞進(jìn)行安全檢查,但是針對(duì)動(dòng)態(tài)網(wǎng)站的入侵一般是沒有特定規(guī)則的,所以需要實(shí)現(xiàn)一種能分析用戶規(guī)則的安全審計(jì)系統(tǒng)來加強(qiáng)對(duì)Web應(yīng)用的防護(hù)。大型Web站點(diǎn)每天都會(huì)生成大量日志記錄,我們需要在這些海量日志中挖掘出對(duì)企業(yè)安全有價(jià)值的內(nèi)容�，F(xiàn)在單節(jié)點(diǎn)的數(shù)據(jù)挖掘系統(tǒng)已無法滿足挖掘海量Web日志的需求。利用分布式框架分析和存儲(chǔ)日志能解決此問題。其中Apache Hadoop Yarn是一種新型資源管理系統(tǒng),它在集群利用率和資源管理等方面有著更高的效率,所以在日志分析、數(shù)據(jù)挖掘和實(shí)時(shí)計(jì)算等方面有著較好的應(yīng)用。而且它的文件系統(tǒng)具有高吞吐量和高容錯(cuò)性等特點(diǎn),很適合存儲(chǔ)海量的日志文件。它提供的針對(duì)大數(shù)據(jù)處理的分布式編程模型Map/Reduce也可以方便的編寫處理海量日志文件的程序代碼。本文針對(duì)企業(yè)在日志處理和分析方面出現(xiàn)的問題進(jìn)行研究,使用基于Hadoop Yarn的Map/Reduce、Spark Streaming和改進(jìn)的PFP-Growth算法實(shí)現(xiàn)了一個(gè)安全審計(jì)系統(tǒng)。主要包括日志的采集和存儲(chǔ)、建立用戶行為規(guī)則庫和審計(jì)界面展示,此系統(tǒng)較之前的審計(jì)方案都有很大的改進(jìn),提高了海量日志挖掘過程的時(shí)空效率和工作效率。
[Abstract]:With the rapid development of Internet technology, Web application has become the most widely used information system, but it has also caused a lot of potential Web security problems. Hackers can use technical means to illegally obtain the administrative authority of the application server, thereby tampering with it. Stealing important data from businesses and individuals. These problems make more and more people begin to pay attention to the problem of enterprise application security. Most threats have fixed characteristics, but some do not have fixed features due to system architecture and programming languages. Traditional defense methods such as application firewalls are based on known vulnerabilities to carry out security checks, but there are generally no specific rules for the intrusion of dynamic websites. Therefore, it is necessary to implement a security audit system that can analyze user rules to strengthen the protection of Web applications. Large Web sites generate a lot of logging every day, and we need to dig out valuable content for enterprise security in these massive logs. Now the single node data mining system can not meet the demand of mining massive Web logs. Using distributed framework to analyze and store logs can solve this problem. Apache Hadoop Yarn is a new resource management system, which has higher efficiency in cluster utilization and resource management, so it has a good application in log analysis, data mining and real-time computing. Moreover, its file system has the characteristics of high throughput and high fault tolerance, so it is suitable for storing massive log files. It provides a distributed programming model for big data processing, Map/Reduce can also easily write the processing of massive log files program code. In this paper, the problems of log processing and analysis in enterprises are studied, and a security audit system is implemented by using Map-ReduceSpark Streaming based on Hadoop Yarn and the improved PFP-Growth algorithm. It mainly includes the collection and storage of logs, the establishment of user behavior rule base and the display of audit interface. The system has a great improvement over the previous audit scheme, and improves the space-time efficiency and work efficiency of the massive log mining process.
【學(xué)位授予單位】：北方工業(yè)大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2017
【分類號(hào)】：TP311.13;TP393.08

【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 寧慧;王素紅;崔立剛;郭笑語;徐麗;;基于改進(jìn)的FP-tree最大頻繁模式挖掘算法[J];應(yīng)用科技;2016年02期

2 曹軍威;袁仲達(dá);明陽陽;張華贏;;能源互聯(lián)網(wǎng)大數(shù)據(jù)分析技術(shù)綜述[J];南方電網(wǎng)技術(shù);2015年11期

3 樓恒越;竇軍;;一種針對(duì)基于OpenFlow的SDN網(wǎng)絡(luò)中控制層面的DoS攻擊研究[J];計(jì)算機(jī)科學(xué);2015年S2期

4 楊天識(shí);陸瑩;;由OWASP Top10 2013看Web應(yīng)用安全發(fā)展新趨勢(shì)[J];網(wǎng)絡(luò)安全技術(shù)與應(yīng)用;2014年12期

5 王學(xué)華;張彬彬;;內(nèi)網(wǎng)安全技術(shù)研究[J];軟件導(dǎo)刊;2012年09期

6 孔浩;姜娜;彭旭春;;基于AOP的日志管理在高校學(xué)生管理系統(tǒng)中的設(shè)計(jì)與實(shí)現(xiàn)[J];昆明學(xué)院學(xué)報(bào);2011年06期

7 郭向陽;;信息化進(jìn)程中的財(cái)政安全審計(jì)系統(tǒng)設(shè)計(jì)的技術(shù)特點(diǎn)分析[J];科技信息;2011年27期

8 謝桂蘭;羅省賢;;基于Hadoop MapReduce模型的應(yīng)用研究[J];微型機(jī)與應(yīng)用;2010年08期

9 方杰;朱京紅;;日志挖掘中的數(shù)據(jù)預(yù)處理[J];計(jì)算機(jī)技術(shù)與發(fā)展;2010年04期

10 佟冶;劉娜;鄭楠楠;;模式匹配算法的深入研究[J];上海師范大學(xué)學(xué)報(bào)(自然科學(xué)版);2008年06期

相關(guān)碩士學(xué)位論文 前8條

1 段娟;基于Web應(yīng)用安全日志審計(jì)系統(tǒng)的研究與設(shè)計(jì)[D];北京郵電大學(xué);2015年

2 趙穎;Hadoop環(huán)境下的動(dòng)態(tài)資源管理研究與實(shí)現(xiàn)[D];上海交通大學(xué);2015年

3 錢進(jìn)進(jìn);私有云安全存儲(chǔ)技術(shù)的研究與實(shí)現(xiàn)[D];廣東工業(yè)大學(xué);2013年

4 王青;基于B/S模式的高校教務(wù)信息系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2011年

5 吳斌;信息安全審計(jì)在企業(yè)Web應(yīng)用中的作用與功能實(shí)現(xiàn)[D];復(fù)旦大學(xué);2009年

6 劉明月;基于Web日志的用戶行為分析[D];北京交通大學(xué);2008年

7 范長英;基于內(nèi)容的網(wǎng)絡(luò)安全信息審計(jì)技術(shù)研究[D];山東師范大學(xué);2007年

8 楊星;基于新型訪問控制的審計(jì)技術(shù)研究與實(shí)現(xiàn)[D];南京航空航天大學(xué);2006年

，

本文編號(hào)：1952335