發(fā)布時間：2021-06-06 21:42

　　云計算代表了IT領域向集約化、規(guī)�；c專業(yè)化道路發(fā)展的趨勢，是IT領域正在發(fā)生的深刻變革。它極大的提高了各類資源的使用效率，但同時也對用戶信息資產(chǎn)安全與隱私保護帶來極大的沖擊與挑戰(zhàn)。Hadoop作為一種開源的基礎云計算框架，在企業(yè)界得到了越來越廣泛的關注，但是其對云計算平臺的安全問題尚未得到有效解決。由此可知，Hadoop在安全機制方面的薄弱已成為阻礙其發(fā)展的主要問題之一。因此，Hadoop平臺安全監(jiān)測技術的研究，將在一定程度上，提高用戶對Hadoop的信任，從而推動Hadoop的發(fā)展。本文在研究Hadoop安全問題的基礎上，針對Hadoop集群數(shù)據(jù)安全及資源安全的不同特征，提出一種用戶行為的數(shù)據(jù)訪問異常檢測技術及一種資源消耗的異常檢測技術，實現(xiàn)對Hadoop集群的安全監(jiān)測，從而提高Hadoop集群的安全性。本文的主要工作如下：首先，針對Hadoop HDFS的數(shù)據(jù)訪問方式，提出一種基于隱馬爾科夫模型的用戶訪問行為異常檢測技術。不同于其他的基于關聯(lián)分析的用戶行為異常檢測技術，該方法針對單個用戶的微命令序列實施監(jiān)測，避免了關聯(lián)分析中數(shù)據(jù)挖掘過程和多特征的數(shù)據(jù)預處理過程，從而大大降低了時間... 

【文章來源】：哈爾濱工程大學黑龍江省 211工程院校

【文章頁數(shù)】：59 頁

【學位級別】：碩士

【部分圖文】：

HDFS結構圖

HDFS 是一種主/從結構，主服務器由單個名字節(jié)點（Namenode）構成，類似中心，負責管理命名空間（Namespace）和文件訪問；而從服務器由許多數(shù)據(jù)atanode）構成，負責存儲文件基本單元。該命名空間允許用戶數(shù)據(jù)以文件的形文件被分割成許多的塊，存儲在數(shù)據(jù)節(jié)點集群中，名字節(jié)點則完成文件系統(tǒng)命作，例如打開、關閉和重命名文件等，它決定了到數(shù)據(jù)節(jié)點的塊映射。數(shù)據(jù)節(jié)節(jié)點的指揮下進行數(shù)據(jù)塊的創(chuàng)建、刪除和復制。HDFS 的結構如圖 2.1 所示。HDFS 支持傳統(tǒng)的層次型文件組織結構，用戶對命名空間的操作，如創(chuàng)建、移和重命名目錄或文件，都將被 Namenode 記錄下來。.2 數(shù)據(jù)存取過程文件讀取過程如圖 2.2 所示：

圖 2.3 文件寫入過程首先，客戶端通過調(diào)用 create()（過程 1）來創(chuàng)建文件，并向遠程的 Namenode 請求，在文件系統(tǒng)的命名空間中創(chuàng)建一個新的文件（過程 2）。HDFS 返回一，讓客戶端開始寫入數(shù)據(jù)，輸出流控制一個 DFSoutPutstream，負責處理 Namatanode 之間的通信。在客戶端寫數(shù)據(jù)時（過程 3），DFSoutPutstream 將其分為一個個的包，寫入內(nèi)，稱為數(shù)據(jù)隊列。并向 Namenode 申請新的塊，獲取存儲副本的 Datanode 列表anode 列表形成一個管線，將包以流的方式寫入第一個 Datanode（過程 4），存再將其傳遞給下一個 Datanode（過程 4），直到最后一個 Datanode（過程 4）一個 Datanode 存儲成功之后，返回一個確認包，并以管線的方式傳遞到客戶包只有在管線中的所有節(jié)點確認之后才會被移出確認隊列（過程 5）。如果在傳輸?shù)倪^程中，某個 Datanode 出現(xiàn)故障，則此管線被關閉（過程 6），的 Datanode 會從管線中移除，剩余的塊會繼續(xù)在剩下的 Datanode 中以管線的，同時 Namenode 會分配一個新的 Datanode，保持副本的個數(shù)。

【參考文獻】：
期刊論文
[1]基于相關性分析的時間序列異常檢測方法[J]. 曹文平,熊啟軍,羅穎,趙永標.  信息系統(tǒng)工程. 2012(10)
[2]海量存儲系統(tǒng)的性能管理與監(jiān)測方法研究[J]. 李超,梁阿磊,管海兵,李小勇.  計算機應用與軟件. 2012(07)
[3]基于Hadoop的云計算平臺安全機制研究[J]. 馬媛.  信息安全與通信保密. 2012(06)
[4]基于Shell命令和DTMC模型的用戶行為異常檢測新方法[J]. 肖喜,翟起濱,田新廣,陳小娟.  計算機科學. 2011(11)
[5]時間序列序列模式的相似性研究[J]. 林珣,李志蜀,周勇.  計算機科學. 2011(09)
[6]一種基于滑動窗口的時間序列異常檢測算法[J]. 裴麗鵲.  巢湖學院學報. 2011(03)
[7]基于趨勢轉(zhuǎn)折點的時間序列分段線性表示[J]. 廖俊,于雷,羅寰,穆中林.  計算機工程與應用. 2010(30)
[8]基于Hadoop的網(wǎng)絡日志分析系統(tǒng)研究[J]. 胡光民,周亮,柯立新.  電腦知識與技術. 2010(22)
[9]時間序列異常檢測[J]. 周大鐲,劉月芬,馬文秀.  計算機工程與應用. 2008(35)
[10]時間序列數(shù)據(jù)挖掘綜述[J]. 賈澎濤,何華燦,劉麗,孫濤.  計算機應用研究. 2007(11)

博士論文
[1]時間序列的相似性查詢與異常檢測[D]. 肖輝.復旦大學 2005

碩士論文
[1]基于隱馬爾可夫模型的視覺行為分析和異常檢測研究[D]. 劉高文.南京理工大學 2008
[2]分布式集群性能監(jiān)測研究[D]. 李博.吉林大學 2008
[3]序列模式挖掘及時間序列相似性搜索研究[D]. 劉俊俠.遼寧科技大學 2008
[4]基于隱半馬爾可夫模型的入侵檢測技術研究[D]. 彭竹苗.江南大學 2008
[5]基于時頻分析的網(wǎng)絡流量異常檢測研究[D]. 張鵬.電子科技大學 2006



本文編號：3215193