本文選題：大數(shù)據(jù)　切入點：hadoop　出處：《大連理工大學(xué)》2015年碩士論文　論文類型：學(xué)位論文

【摘要】：在當(dāng)今大數(shù)據(jù)及云計算時代,各種設(shè)備如手機(jī),智能手環(huán),智能眼鏡甚至垃圾桶等等通過連接網(wǎng)絡(luò)產(chǎn)生了豐富的應(yīng)用,極大的方便了人們的生活。但與此同時生成大量的系統(tǒng)日志文件,這些日志中包含著用戶登陸地點,使用設(shè)備,使用時間甚至用戶當(dāng)前的運動狀態(tài),血壓及心跳等大量的信息。根據(jù)這些信息,能夠分析出目標(biāo)的行為習(xí)慣,身體狀態(tài)等等。如何有效快速的處理如此大量的日志并從中挖掘出有用的信息已經(jīng)成為全球?qū)W術(shù)界探索的熱點之一。本文在大數(shù)據(jù)的背景下,對目前主流的日志分析及挖掘技術(shù)進(jìn)行了研究。首先學(xué)習(xí)了目前常見的幾種日志并行處理方法,同時深入研究目前已有的大數(shù)據(jù)處理分析方法,進(jìn)而設(shè)計出一套大數(shù)據(jù)日志分析用戶及系統(tǒng)安全性檢查的解決方案。本文利用IBM智慧城市中的智慧物流系統(tǒng)作為日志來源,在主機(jī)上采用hadoop作為并行日志分析的計算框架,對大規(guī)模日志進(jìn)行并行處理,將hadoop統(tǒng)計的結(jié)果作為SVM(支持向量機(jī))的數(shù)據(jù)源,對已有數(shù)據(jù)進(jìn)行分類,對用戶的習(xí)慣進(jìn)行分析,總結(jié)出不同用戶的習(xí)慣規(guī)律,在用戶產(chǎn)生異常行為時,系統(tǒng)及時發(fā)出警告,保證系統(tǒng)安全。同時,采用了一種改進(jìn)的主動學(xué)習(xí)算法,結(jié)合支持向量機(jī)對不平衡數(shù)據(jù)進(jìn)行訓(xùn)練和分類,該算法通過高斯核函數(shù)分析已有數(shù)據(jù)集的分布狀況,從而更加智能的從已有訓(xùn)練集樣本未覆蓋的區(qū)域選擇新的樣本,克服了訓(xùn)練集樣本分布過度集中,信息表達(dá)不充分的缺點。利用該算法對未登錄訪問請求日志進(jìn)行深層分析,分類器可以通過較小的代價學(xué)習(xí)更多的樣本信息。同時,對未授權(quán)的訪問請求進(jìn)行區(qū)分處理,單獨進(jìn)行主動學(xué)習(xí),從而提高整個系統(tǒng)的性能和安全性。
[Abstract]:In the age of big data and cloud computing, a variety of devices, such as mobile phones, smart bracelets, smart glasses and even trash cans, have produced rich applications through the Internet. It greatly facilitates people's life. But at the same time, a large number of system log files are generated, which include user login location, use of equipment, usage time and even the user's current state of motion. A lot of information, such as blood pressure and heartbeat. Based on this information, we can analyze the behavior habits of the target. How to effectively and quickly process such a large number of logs and find useful information from them has become one of the hot spots in the global academic world. This paper studies the current mainstream log analysis and mining techniques. Firstly, we study several common parallel log processing methods, and at the same time, deeply study the existing big data processing and analysis methods. Then a set of big data log analysis user and system security check solution is designed. This paper uses the intelligent logistics system in the intelligent city of IBM as the log source, and adopts hadoop as the parallel log analysis computing framework on the host computer. The large scale log is processed in parallel, and the result of hadoop statistics is taken as the data source of SVM (support Vector Machine). The existing data are classified, the habits of users are analyzed, and the habit rules of different users are summarized. When the user produces abnormal behavior, the system sends out the warning in time to ensure the security of the system. At the same time, an improved active learning algorithm is used to train and classify the unbalanced data with support vector machine. The algorithm uses Gao Si kernel function to analyze the distribution of existing data sets, so as to select new samples more intelligently from the regions not covered by the existing training set samples, which overcomes the over-distribution of training set samples. The algorithm is used to deeply analyze the log of unlogged access request, and the classifier can learn more sample information at a lower cost. At the same time, the unauthorised access request is distinguished and processed. Independent active learning to improve the performance and security of the entire system.
【學(xué)位授予單位】：大連理工大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2015
【分類號】：TP309;TP311.13

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 姜良華;崔建明;;Serv-U FTP服務(wù)器日志分析系統(tǒng)設(shè)計與實現(xiàn)[J];電腦知識與技術(shù);2010年28期

2 李玉榮;楊樹強;賈焰;周斌;樊宇;;分布式日志服務(wù)關(guān)鍵技術(shù)研究[J];計算機(jī)工程與應(yīng)用;2006年07期

3 李哲;李先國;;基于關(guān)聯(lián)規(guī)則的日志分析系統(tǒng)的研究與設(shè)計[J];微型電腦應(yīng)用;2009年03期

4 陳文;鄧韻東;釧濤;;電網(wǎng)網(wǎng)絡(luò)系統(tǒng)運行日志分析[J];云南電力技術(shù);2011年05期

5 李燕南;劉新;蔣偉宏;趙群;;主機(jī)日志分析與研究[J];中國高新技術(shù)企業(yè);2010年04期

6 李先捷;湯艷君;;基于日志的提取已修改計算機(jī)系統(tǒng)時間的方法[J];信息網(wǎng)絡(luò)安全;2013年05期

7 劉虎球;馬超;白家駒;;面向驅(qū)動配置的自動日志插入方法研究[J];計算機(jī)學(xué)報;2013年10期

8 方航鋒,汪海航;日志提取分析系統(tǒng)的設(shè)計和實現(xiàn)[J];計算機(jī)工程;2004年14期

9 陳海宇;曾德勝;;基于日志的異常軟件使用模式檢測[J];淮海工學(xué)院學(xué)報(自然科學(xué)版);2011年01期

10 袁佳;郭燕慧;;基于rabbitmq的海量日志的分布式處理[J];軟件;2013年07期

相關(guān)會議論文 前10條

1 馬辰;武斌;;一種基于攻擊事件圖的蜜網(wǎng)日志分析方法[A];虛擬運營與云計算——第十八屆全國青年通信學(xué)術(shù)年會論文集（下冊）[C];2013年

2 周濤;;基于數(shù)據(jù)挖掘的入侵檢測日志分析技術(shù)研究[A];第二屆中國科學(xué)院博士后學(xué)術(shù)年會暨高新技術(shù)前沿與發(fā)展學(xué)術(shù)會議程序冊[C];2010年

3 陳晨;鄭康鋒;;一種基于支持向量機(jī)的蜜網(wǎng)系統(tǒng)日志分析方法[A];2011年通信與信息技術(shù)新進(jìn)展——第八屆中國通信學(xué)會學(xué)術(shù)年會論文集[C];2011年

4 劉莉;;基于多協(xié)議技術(shù)的日志集中管理安全方案[A];2008年中國通信學(xué)會無線及移動通信委員會學(xué)術(shù)年會論文集[C];2008年

5 耿濤;;Web日志分析在電子數(shù)據(jù)取證中的應(yīng)用[A];第二十一次全國計算機(jī)安全學(xué)術(shù)交流會論文集[C];2006年

6 閆龍川;王懷宇;李楓;毛一凡;;基于Hadoop的郵件日志分析與研究[A];2012電力行業(yè)信息化年會論文集[C];2012年

7 陳慶章;王磊;毛科技;戴國勇;;基于防火墻日志的在線攻擊偵查系統(tǒng)的設(shè)計與實現(xiàn)(英文)[A];全國第19屆計算機(jī)技術(shù)與應(yīng)用（CACIS）學(xué)術(shù)會議論文集（下冊）[C];2008年

8 王振亞;武斌;;基于MFI-WT算法的蜜網(wǎng)日志分析方法[A];第十七屆全國青年通信學(xué)術(shù)年會論文集[C];2012年

9 朱金清;王建新;陳志泊;;基于APRIORI的層次化聚類算法及其在IDS日志分析中的應(yīng)用[A];第二十四屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（研究報告篇）[C];2007年

10 金松昌;方濱興;楊樹強;賈焰;;基于Hadoop的網(wǎng)絡(luò)安全日志分析系統(tǒng)的設(shè)計與實現(xiàn)[A];全國計算機(jī)安全學(xué)術(shù)交流會論文集·第二十五卷[C];2010年

相關(guān)重要報紙文章 前10條

1 中航工業(yè)南方航空工業(yè)集團(tuán)(有限)公司科技與信息部 鄒滬湘;分析日志識別暴力破解[N];計算機(jī)世界;2013年

2 ;日志分析中的五個誤區(qū)[N];網(wǎng)絡(luò)世界;2004年

3 《網(wǎng)絡(luò)世界》評測實驗室 于洋;用好Web日志[N];網(wǎng)絡(luò)世界;2004年

4 陳代壽;網(wǎng)管的四兩撥千斤[N];中國計算機(jī)報;2004年

5 IBM大數(shù)據(jù)專家 James Kobielus　范范 編譯;大數(shù)據(jù)日志分析借機(jī)器學(xué)習(xí)騰飛[N];網(wǎng)絡(luò)世界;2014年

6 重慶 航行者;IIS的安全[N];電腦報;2002年

7 河南工業(yè)職業(yè)技術(shù)學(xué)院 邱建新;監(jiān)測Squid日志的五種方法[N];計算機(jī)世界;2005年

8 shotgun;入侵檢測初步（上）[N];電腦報;2001年

9 朱閔;淺談企業(yè)核心應(yīng)用的安全審計(下)[N];網(wǎng)絡(luò)世界;2008年

10 覃進(jìn)文;在Windows 2000&&2003下快速安裝Webalizer[N];中國電腦教育報;2003年

相關(guān)博士學(xué)位論文 前3條

1 饒翔;基于日志的大規(guī)模分布式軟件系統(tǒng)可信保障技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2011年

2 曹志波;基于日志的任務(wù)建模及調(diào)度優(yōu)化的研究[D];華南理工大學(xué);2014年

3 胡蓉;WEB日志和子空間聚類挖掘算法研究[D];華中科技大學(xué);2008年

相關(guān)碩士學(xué)位論文 前10條

1 王瀟博;基于挖掘算法的日志分析系統(tǒng)設(shè)計與實現(xiàn)[D];北京交通大學(xué);2008年

2 孫寅林;基于分布式計算平臺的海量日志分析系統(tǒng)的設(shè)計與實現(xiàn)[D];西安電子科技大學(xué);2012年

3 鄧海川;日志分析系統(tǒng)的任務(wù)調(diào)度方法研究[D];南京航空航天大學(xué);2013年

4 宋浩;綜合審計平臺之后臺日志處理服務(wù)的設(shè)計與實現(xiàn)[D];山東大學(xué);2008年

5 馮綠音;網(wǎng)絡(luò)信息系統(tǒng)日志分析與審計技術(shù)研究[D];上海交通大學(xué);2007年

6 楊書思;一種可配置的網(wǎng)絡(luò)報警日志匿名工具的設(shè)計與實現(xiàn)[D];廣州大學(xué);2009年

7 吳靜;面向異構(gòu)數(shù)據(jù)源的內(nèi)網(wǎng)綜合日志審計技術(shù)研究[D];中國工程物理研究院;2010年

8 黃靜賓;面向增量數(shù)據(jù)檢測的日志分析技術(shù)的研究[D];暨南大學(xué);2011年

9 李海峰;網(wǎng)絡(luò)日志分析技術(shù)研究與實現(xiàn)[D];北京化工大學(xué);2005年

10 朱寶金;面向云計算系統(tǒng)的日志過濾系統(tǒng)的設(shè)計與實現(xiàn)[D];杭州電子科技大學(xué);2014年

，

本文編號：1591978