本文關(guān)鍵詞：基于Hadoop大數(shù)據(jù)平臺資源及用戶行為檢測技術(shù)的研究，，由筆耕文化傳播整理發(fā)布。

【摘要】：當(dāng)今社會,IT行業(yè)正在不斷地發(fā)展,云計算成為了大家越來越熟悉的名詞。云計算作為一種新鮮事物代表了當(dāng)今IT業(yè)正向著規(guī)�；�、集約化和更加專業(yè)化的方向發(fā)展,是現(xiàn)在IT業(yè)正下在經(jīng)歷的一種變革。云計算一方面為我們提供了更加高效的使用效率,提高了對各種資源的利用率,另一方面也對用戶信息的安全和隱私帶來了極大的挑戰(zhàn)和威脅。Hadoop作為一種開源性質(zhì)為基礎(chǔ)的云計算平臺,目前越來越受到大家的關(guān)注,成為很多公司使用的云計算工具。但是其安全措施并沒有明顯的改善,我們所面臨的安全問題依然存在。所以,這些問題已經(jīng)成為了Hadoop快速發(fā)展的一個巨大的障礙。因此,我們需要對Hadoop平臺的安全做一個充分的檢測,提高它的安全指數(shù),最終提高在用戶心目中的地位,推動它的快速發(fā)展。 本文我們首先通過分析、研究Hadoop在安全方面上出現(xiàn)的漏洞和問題,針對集群數(shù)據(jù)安全和資源安全方面的不同特征,基于先前的研究,設(shè)計出一種檢測資源消耗異常和一種監(jiān)測用戶訪問數(shù)據(jù)行為異常的方法,幫助我們實現(xiàn)對Hadoop的安全檢測,最終解決在安全上出現(xiàn)的問題,提高平臺整體的安全度。因此,本文的主要任務(wù)分為以下幾個方面： 首先,我們根據(jù)Hadoop平臺的分布式存儲和分布式計算的資源消耗特點,提出一種基于KNN的資源消耗異常檢測方法。這種方法可以幫助我們及時地發(fā)現(xiàn)平臺資源消耗的異常情況。與其他異常檢測所使用的方法相比,本方法不僅可以發(fā)現(xiàn)突發(fā)的資源消耗異常,還可以發(fā)現(xiàn)緩慢變化所產(chǎn)生的資源消耗異常,使得檢測更加準確。 其次,我們通過對用戶訪問Hadoop平臺的日志中的數(shù)據(jù)記錄進行處理,設(shè)計出一種基于隱馬爾科夫模型的針對用戶行為異常的檢測方法。這種檢測技術(shù)與其他檢測方法不同之處在于針對單個個體用戶的數(shù)據(jù)檢測,而不是關(guān)聯(lián)分析的檢測。這樣就可以幫助我們避免在檢測時出現(xiàn)數(shù)據(jù)過度復(fù)雜而導(dǎo)致檢測不準確的問題,從而及時地對用戶的異常行為進行檢測。通過本文的研究與分析,不僅可以幫助我們提高用戶的安全系數(shù),使平臺的安全得到進一步保障,同時整個Hadoop集群的資源及用戶行為的檢測能力也取得一定的進步,為達成Hadoop平臺向用戶提供更加可靠的服務(wù)的目標提供了一個有效參考。
【關(guān)鍵詞】：Hadoop 資源檢測 安全 行為檢測
【學(xué)位授予單位】：北京交通大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2015
【分類號】：TP393.08
【目錄】：

• 致謝5-6
• 摘要6-7
• ABSTRACT7-11
• 1 緒論11-16
• 1.1 研究的背景11-12
• 1.2 研究的意義12
• 1.3 論文的內(nèi)容12-13
• 1.4 論文結(jié)構(gòu)13-16
• 2 HADOOP平臺性能安全檢測研究現(xiàn)狀16-27
• 2.1 引言16
• 2.2 理論知識16-21
• 2.2.1 Mapreduce介紹16-17
• 2.2.2 MapReduceJob介紹17
• 2.2.3 HDFS的體系結(jié)構(gòu)17-18
• 2.2.4 HDFS的數(shù)據(jù)存儲過程18-20
• 2.2.5 HDFS的數(shù)據(jù)訪問接口20
• 2.2.6 HDFS負載均衡20-21
• 2.3 HADOOP平臺安全檢測技術(shù)研究現(xiàn)狀21-26
• 2.3.1 Hadoop檢測系統(tǒng)研究現(xiàn)狀21-24
• 2.3.2 異常檢測技術(shù)研究現(xiàn)狀24-26
• 2.4 本章小結(jié)26-27
• 3 基于KNN的HADOOP資源消耗異常檢測技術(shù)研究27-42
• 3.1 背景介紹27
• 3.2 KNN異常檢測方法27-31
• 3.2.1 子序列劃分方法28
• 3.2.2 時間序列表示模式28-29
• 3.2.3 時間序列相似性度量29-30
• 3.2.4 KNN異常檢測30-31
• 3.3 基于KNN的時間子序列的檢測局部異常檢測方法31-35
• 3.3.1 滑動窗口模型31-32
• 3.3.2 k-近鄰相關(guān)參數(shù)32-33
• 3.3.3 判定局部異常的系數(shù)33-34
• 3.3.4 算法34-35
• 3.4 實驗結(jié)果35-41
• 3.4.1 實驗環(huán)境描述35
• 3.4.2 實驗過程35-36
• 3.4.3 實驗結(jié)果36-41
• 3.4.4 實驗總結(jié)41
• 3.5 本章小結(jié)41-42
• 4 基于隱馬爾科夫模型的HADOOP用戶行為檢測42-59
• 4.1 引言42
• 4.2 檢測模型42-44
• 4.2.1 采集過程43
• 4.2.2 數(shù)據(jù)預(yù)處理過程43-44
• 4.3 基于隱馬爾科夫的用戶行為異常檢測方法44-52
• 4.3.1 隱馬爾科夫模型的介紹45-47
• 4.3.2 訓(xùn)練階段47-48
• 4.3.3 參數(shù)計算48-49
• 4.3.4 檢測階段49-50
• 4.3.5 檢測算法50-52
• 4.4 實驗過程與結(jié)果52-57
• 4.4.1 實驗環(huán)境52-53
• 4.4.2 實驗過程53
• 4.4.3 實驗結(jié)果53-57
• 4.4.4 總結(jié)分析57
• 4.5 本章小結(jié)57-59
• 5 結(jié)論59-60
• 參考文獻60-64
• 學(xué)位論文數(shù)據(jù)集64

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 曹文平;熊啟軍;羅穎;趙永標;;基于相關(guān)性分析的時間序列異常檢測方法[J];信息系統(tǒng)工程;2012年10期

2 李超;梁阿磊;管海兵;李小勇;;海量存儲系統(tǒng)的性能管理與監(jiān)測方法研究[J];計算機應(yīng)用與軟件;2012年07期

3 馬媛;;基于Hadoop的云計算平臺安全機制研究[J];信息安全與通信保密;2012年06期

4 肖喜;翟起濱;田新廣;陳小娟;;基于Shell命令和DTMC模型的用戶行為異常檢測新方法[J];計算機科學(xué);2011年11期

5 林s

本文編號：316347