發(fā)布時間：2017-04-19 13:09

  本文關鍵詞：基于Hadoop大數據平臺資源及用戶行為檢測技術的研究，，由筆耕文化傳播整理發(fā)布。

【摘要】：當今社會,IT行業(yè)正在不斷地發(fā)展,云計算成為了大家越來越熟悉的名詞。云計算作為一種新鮮事物代表了當今IT業(yè)正向著規(guī)�；⒓s化和更加專業(yè)化的方向發(fā)展,是現在IT業(yè)正下在經歷的一種變革。云計算一方面為我們提供了更加高效的使用效率,提高了對各種資源的利用率,另一方面也對用戶信息的安全和隱私帶來了極大的挑戰(zhàn)和威脅。Hadoop作為一種開源性質為基礎的云計算平臺,目前越來越受到大家的關注,成為很多公司使用的云計算工具。但是其安全措施并沒有明顯的改善,我們所面臨的安全問題依然存在。所以,這些問題已經成為了Hadoop快速發(fā)展的一個巨大的障礙。因此,我們需要對Hadoop平臺的安全做一個充分的檢測,提高它的安全指數,最終提高在用戶心目中的地位,推動它的快速發(fā)展。 本文我們首先通過分析、研究Hadoop在安全方面上出現的漏洞和問題,針對集群數據安全和資源安全方面的不同特征,基于先前的研究,設計出一種檢測資源消耗異常和一種監(jiān)測用戶訪問數據行為異常的方法,幫助我們實現對Hadoop的安全檢測,最終解決在安全上出現的問題,提高平臺整體的安全度。因此,本文的主要任務分為以下幾個方面： 首先,我們根據Hadoop平臺的分布式存儲和分布式計算的資源消耗特點,提出一種基于KNN的資源消耗異常檢測方法。這種方法可以幫助我們及時地發(fā)現平臺資源消耗的異常情況。與其他異常檢測所使用的方法相比,本方法不僅可以發(fā)現突發(fā)的資源消耗異常,還可以發(fā)現緩慢變化所產生的資源消耗異常,使得檢測更加準確。 其次,我們通過對用戶訪問Hadoop平臺的日志中的數據記錄進行處理,設計出一種基于隱馬爾科夫模型的針對用戶行為異常的檢測方法。這種檢測技術與其他檢測方法不同之處在于針對單個個體用戶的數據檢測,而不是關聯分析的檢測。這樣就可以幫助我們避免在檢測時出現數據過度復雜而導致檢測不準確的問題,從而及時地對用戶的異常行為進行檢測。通過本文的研究與分析,不僅可以幫助我們提高用戶的安全系數,使平臺的安全得到進一步保障,同時整個Hadoop集群的資源及用戶行為的檢測能力也取得一定的進步,為達成Hadoop平臺向用戶提供更加可靠的服務的目標提供了一個有效參考。
【關鍵詞】：Hadoop 資源檢測 安全 行為檢測
【學位授予單位】：北京交通大學
【學位級別】：碩士
【學位授予年份】：2015
【分類號】：TP393.08
【目錄】：

• 致謝5-6
• 摘要6-7
• ABSTRACT7-11
• 1 緒論11-16
• 1.1 研究的背景11-12
• 1.2 研究的意義12
• 1.3 論文的內容12-13
• 1.4 論文結構13-16
• 2 HADOOP平臺性能安全檢測研究現狀16-27
• 2.1 引言16
• 2.2 理論知識16-21
• 2.2.1 Mapreduce介紹16-17
• 2.2.2 MapReduceJob介紹17
• 2.2.3 HDFS的體系結構17-18
• 2.2.4 HDFS的數據存儲過程18-20
• 2.2.5 HDFS的數據訪問接口20
• 2.2.6 HDFS負載均衡20-21
• 2.3 HADOOP平臺安全檢測技術研究現狀21-26
• 2.3.1 Hadoop檢測系統研究現狀21-24
• 2.3.2 異常檢測技術研究現狀24-26
• 2.4 本章小結26-27
• 3 基于KNN的HADOOP資源消耗異常檢測技術研究27-42
• 3.1 背景介紹27
• 3.2 KNN異常檢測方法27-31
• 3.2.1 子序列劃分方法28
• 3.2.2 時間序列表示模式28-29
• 3.2.3 時間序列相似性度量29-30
• 3.2.4 KNN異常檢測30-31
• 3.3 基于KNN的時間子序列的檢測局部異常檢測方法31-35
• 3.3.1 滑動窗口模型31-32
• 3.3.2 k-近鄰相關參數32-33
• 3.3.3 判定局部異常的系數33-34
• 3.3.4 算法34-35
• 3.4 實驗結果35-41
• 3.4.1 實驗環(huán)境描述35
• 3.4.2 實驗過程35-36
• 3.4.3 實驗結果36-41
• 3.4.4 實驗總結41
• 3.5 本章小結41-42
• 4 基于隱馬爾科夫模型的HADOOP用戶行為檢測42-59
• 4.1 引言42
• 4.2 檢測模型42-44
• 4.2.1 采集過程43
• 4.2.2 數據預處理過程43-44
• 4.3 基于隱馬爾科夫的用戶行為異常檢測方法44-52
• 4.3.1 隱馬爾科夫模型的介紹45-47
• 4.3.2 訓練階段47-48
• 4.3.3 參數計算48-49
• 4.3.4 檢測階段49-50
• 4.3.5 檢測算法50-52
• 4.4 實驗過程與結果52-57
• 4.4.1 實驗環(huán)境52-53
• 4.4.2 實驗過程53
• 4.4.3 實驗結果53-57
• 4.4.4 總結分析57
• 4.5 本章小結57-59
• 5 結論59-60
• 參考文獻60-64
• 學位論文數據集64

【參考文獻】

中國期刊全文數據庫 前10條

1 曹文平;熊啟軍;羅穎;趙永標;;基于相關性分析的時間序列異常檢測方法[J];信息系統工程;2012年10期

2 李超;梁阿磊;管海兵;李小勇;;海量存儲系統的性能管理與監(jiān)測方法研究[J];計算機應用與軟件;2012年07期

3 馬媛;;基于Hadoop的云計算平臺安全機制研究[J];信息安全與通信保密;2012年06期

4 肖喜;翟起濱;田新廣;陳小娟;;基于Shell命令和DTMC模型的用戶行為異常檢測新方法[J];計算機科學;2011年11期

5 林s

本文編號：316347