本文關(guān)鍵詞：面向Hadoop的安全機制設(shè)計，由筆耕文化傳播整理發(fā)布。

【摘要】：近幾年,隨著信息的爆炸式增長,大數(shù)據(jù)時代來臨,作為海量數(shù)據(jù)存儲與計算的Hadoop技術(shù)逐漸成為熱門應(yīng)用,Hadoop是Apache軟件基金會旗下的一個開源分布式計算平臺,相較于企業(yè)傳統(tǒng)的通過購買昂貴的、高性能的大型服務(wù)器來對大量數(shù)據(jù)進行處理,Hadoop更具性價比,因為它可以搭建運行在廉價的商用機器集群上,通過分布式數(shù)據(jù)存儲和計算框架來完成對大數(shù)據(jù)的存儲計算。正是因為Hadoop自身所具有的高可靠性、高擴展性、高效性、高容錯性等優(yōu)點,它逐漸成為大企業(yè)及研究機構(gòu)的研究焦點。但隨著Hadoop應(yīng)用的擴大加深,其安全問題也日益凸顯,Hadoop在數(shù)據(jù)存儲及數(shù)據(jù)處理等技術(shù)領(lǐng)域存在的不安全因素,讓許多亟待使用它的企業(yè)望而卻步。本文從Hadoop2.0版本中的核心子項目HDFS和YARN入手,分析其在服務(wù)過程中的認證和授權(quán)機制,對當(dāng)前所采用的基于Kerberos和基于非對稱加密的Token認證機制、傳輸加密機制、基于Linux/Unix系統(tǒng)自帶的訪問控制機制進行了詳細的分析,歸納這些安全措施在安全性及效率性兩方面存在的缺陷,并在此基礎(chǔ)上提出了新的安全框架。本文的創(chuàng)新點:1、本文提出將基于PKI的數(shù)字證書認證技術(shù)代替原有的Kerberos認證,并利用基于非對稱加密的公私鑰原理設(shè)計全新的、更加安全、更加有效的認證令牌。2、將基于數(shù)字信封的AES對稱加密技術(shù)應(yīng)用到Hadoop2.0安全傳輸加密中,兼顧了Hadoop數(shù)據(jù)傳輸過程中的安全性和效率性。3、針對Hadoop集群多用戶、大數(shù)據(jù)、多線程的服務(wù)特點,本文提出了更靈活、更嚴密的基于角色的自主訪問控制機制,并使用ACL技術(shù)實現(xiàn)。相比于原有的簡單的授權(quán)管理,本文所提出的授權(quán)管理方案系統(tǒng)開銷更小、權(quán)限判定更加簡潔、授權(quán)管理更加嚴密,并且更加適應(yīng)Hadoop2.0的安全策略。
【關(guān)鍵詞】：大數(shù)據(jù) Hadoop Kerberos認證 PKI 授權(quán)管理
【學(xué)位授予單位】：山東財經(jīng)大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2015
【分類號】：TP393.08
【目錄】：

• 摘要5-6
• Abstract6-10
• 第1章 緒論10-15
• 1.1 論文背景10-11
• 1.2 研究意義11-12
• 1.3 國內(nèi)外研究現(xiàn)狀12-14
• 1.4 論文章節(jié)安排14
• 小結(jié)14-15
• 第2章 分布式數(shù)據(jù)處理平臺Hadoop2.015-24
• 2.1 分布式系統(tǒng)介紹15-16
• 2.2 HDFS框架介紹16-18
• 2.2.1 HDFS的體系結(jié)構(gòu)16-17
• 2.2.2 HDFS的工作原理17-18
• 2.3 YARN框架介紹18-23
• 2.3.1YARN的起源18-19
• 2.3.2 YARN基本組成結(jié)構(gòu)19-21
• 2.3.3 YARN的工作流程21-23
• 小結(jié)23-24
• 第3章Hadoop的安全現(xiàn)狀24-37
• 3.1 Kerberos認證機制25
• 3.2 HDFS中基于Kerberos和Token的認證過程25-29
• 3.2.1 Client與NameNode的服務(wù)認證過程25-27
• 3.2.2 HDFS中Token的生成及Token的認證方式27-29
• 3.3 YARN中基于Kerberos和Token的認證過程29-35
• 3.3.1 YARN MR2 第一個工作流程中的認證29-31
• 3.3.2 YARN中Token的生成及Token的認證方式31-35
• 3.4 Hadoop中的授權(quán)機制35-36
• 小結(jié)36-37
• 第4章 Hadoop2.0 現(xiàn)有安全框架的缺陷分析37-40
• 4.1 基于Kerberos和Token認證機制的缺陷分析37-39
• 4.2 Hadoop2.0 授權(quán)管理的缺陷分析39
• 小結(jié)39-40
• 第5章 基于PKI的Hadoop2.0 安全機制設(shè)計40-56
• 5.1 PKI及CA數(shù)字證書介紹40-42
• 5.2 HDFS中基于PKI和Token的認證過程42-47
• 5.2.1 HDFS認證的初始化42
• 5.2.2 Client在NameNode上進行身份注冊與身份注銷42-43
• 5.2.3 NameNode與DataNode之間的通信認證過程43-44
• 5.2.4 Client進行文件讀過程中的認證與加密過程44-45
• 5.2.5 Client進行文件寫過程中的認證與加密過程45-46
• 5.2.6 基于PKI的HDFS Token設(shè)計46-47
• 5.3 YARN中基于PKI和Token的認證過程47-54
• 5.3.1 YARN作業(yè)流程中基于PKI的安全認證47-49
• 5.3.2 基于PKI的YARN Token設(shè)計49-54
• 5.4 基于角色的自主訪問控制54-55
• 小結(jié)55-56
• 第6章 本文安全設(shè)計方案的優(yōu)勢分析56-58
• 6.1 基于PKI的安全認證機制優(yōu)勢分析56-57
• 6.2 基于角色的自主訪問控制機制優(yōu)勢分析57
• 小結(jié)57-58
• 總結(jié)與展望58-60
• 參考文獻60-62
• 攻讀碩士學(xué)位期間取得的學(xué)術(shù)成果62-63
• 致謝63

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前3條

1 邵偉;;基于MapReduce模型的并行計算平臺設(shè)計[J];計算機光盤軟件與應(yīng)用;2013年09期

2 張克君,金瑋,楊炳儒;基于角色的自主訪問控制的構(gòu)建[J];計算機工程;2005年05期

3 封富君;李俊山;;新型網(wǎng)絡(luò)環(huán)境下的訪問控制技術(shù)[J];軟件學(xué)報;2007年04期

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前2條

1 孫亞楠;安全操作系統(tǒng)自主訪問控制機制的研究與實現(xiàn)[D];中國科學(xué)院研究生院（軟件研究所）;2004年

2 鄧自立;云計算中的網(wǎng)絡(luò)拓撲設(shè)計和Hadoop平臺研究[D];中國科學(xué)技術(shù)大學(xué);2009年

  本文關(guān)鍵詞：面向Hadoop的安全機制設(shè)計，，由筆耕文化傳播整理發(fā)布。

本文編號：314849