發(fā)布時(shí)間：2017-04-18 12:11

  本文關(guān)鍵詞：面向Hadoop的安全機(jī)制設(shè)計(jì)，由筆耕文化傳播整理發(fā)布。

【摘要】：近幾年,隨著信息的爆炸式增長(zhǎng),大數(shù)據(jù)時(shí)代來臨,作為海量數(shù)據(jù)存儲(chǔ)與計(jì)算的Hadoop技術(shù)逐漸成為熱門應(yīng)用,Hadoop是Apache軟件基金會(huì)旗下的一個(gè)開源分布式計(jì)算平臺(tái),相較于企業(yè)傳統(tǒng)的通過購(gòu)買昂貴的、高性能的大型服務(wù)器來對(duì)大量數(shù)據(jù)進(jìn)行處理,Hadoop更具性價(jià)比,因?yàn)樗梢源罱ㄟ\(yùn)行在廉價(jià)的商用機(jī)器集群上,通過分布式數(shù)據(jù)存儲(chǔ)和計(jì)算框架來完成對(duì)大數(shù)據(jù)的存儲(chǔ)計(jì)算。正是因?yàn)镠adoop自身所具有的高可靠性、高擴(kuò)展性、高效性、高容錯(cuò)性等優(yōu)點(diǎn),它逐漸成為大企業(yè)及研究機(jī)構(gòu)的研究焦點(diǎn)。但隨著Hadoop應(yīng)用的擴(kuò)大加深,其安全問題也日益凸顯,Hadoop在數(shù)據(jù)存儲(chǔ)及數(shù)據(jù)處理等技術(shù)領(lǐng)域存在的不安全因素,讓許多亟待使用它的企業(yè)望而卻步。本文從Hadoop2.0版本中的核心子項(xiàng)目HDFS和YARN入手,分析其在服務(wù)過程中的認(rèn)證和授權(quán)機(jī)制,對(duì)當(dāng)前所采用的基于Kerberos和基于非對(duì)稱加密的Token認(rèn)證機(jī)制、傳輸加密機(jī)制、基于Linux/Unix系統(tǒng)自帶的訪問控制機(jī)制進(jìn)行了詳細(xì)的分析,歸納這些安全措施在安全性及效率性兩方面存在的缺陷,并在此基礎(chǔ)上提出了新的安全框架。本文的創(chuàng)新點(diǎn):1、本文提出將基于PKI的數(shù)字證書認(rèn)證技術(shù)代替原有的Kerberos認(rèn)證,并利用基于非對(duì)稱加密的公私鑰原理設(shè)計(jì)全新的、更加安全、更加有效的認(rèn)證令牌。2、將基于數(shù)字信封的AES對(duì)稱加密技術(shù)應(yīng)用到Hadoop2.0安全傳輸加密中,兼顧了Hadoop數(shù)據(jù)傳輸過程中的安全性和效率性。3、針對(duì)Hadoop集群多用戶、大數(shù)據(jù)、多線程的服務(wù)特點(diǎn),本文提出了更靈活、更嚴(yán)密的基于角色的自主訪問控制機(jī)制,并使用ACL技術(shù)實(shí)現(xiàn)。相比于原有的簡(jiǎn)單的授權(quán)管理,本文所提出的授權(quán)管理方案系統(tǒng)開銷更小、權(quán)限判定更加簡(jiǎn)潔、授權(quán)管理更加嚴(yán)密,并且更加適應(yīng)Hadoop2.0的安全策略。
【關(guān)鍵詞】：大數(shù)據(jù) Hadoop Kerberos認(rèn)證 PKI 授權(quán)管理
【學(xué)位授予單位】：山東財(cái)經(jīng)大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2015
【分類號(hào)】：TP393.08
【目錄】：

• 摘要5-6
• Abstract6-10
• 第1章 緒論10-15
• 1.1 論文背景10-11
• 1.2 研究意義11-12
• 1.3 國(guó)內(nèi)外研究現(xiàn)狀12-14
• 1.4 論文章節(jié)安排14
• 小結(jié)14-15
• 第2章 分布式數(shù)據(jù)處理平臺(tái)Hadoop2.015-24
• 2.1 分布式系統(tǒng)介紹15-16
• 2.2 HDFS框架介紹16-18
• 2.2.1 HDFS的體系結(jié)構(gòu)16-17
• 2.2.2 HDFS的工作原理17-18
• 2.3 YARN框架介紹18-23
• 2.3.1YARN的起源18-19
• 2.3.2 YARN基本組成結(jié)構(gòu)19-21
• 2.3.3 YARN的工作流程21-23
• 小結(jié)23-24
• 第3章Hadoop的安全現(xiàn)狀24-37
• 3.1 Kerberos認(rèn)證機(jī)制25
• 3.2 HDFS中基于Kerberos和Token的認(rèn)證過程25-29
• 3.2.1 Client與NameNode的服務(wù)認(rèn)證過程25-27
• 3.2.2 HDFS中Token的生成及Token的認(rèn)證方式27-29
• 3.3 YARN中基于Kerberos和Token的認(rèn)證過程29-35
• 3.3.1 YARN MR2 第一個(gè)工作流程中的認(rèn)證29-31
• 3.3.2 YARN中Token的生成及Token的認(rèn)證方式31-35
• 3.4 Hadoop中的授權(quán)機(jī)制35-36
• 小結(jié)36-37
• 第4章 Hadoop2.0 現(xiàn)有安全框架的缺陷分析37-40
• 4.1 基于Kerberos和Token認(rèn)證機(jī)制的缺陷分析37-39
• 4.2 Hadoop2.0 授權(quán)管理的缺陷分析39
• 小結(jié)39-40
• 第5章 基于PKI的Hadoop2.0 安全機(jī)制設(shè)計(jì)40-56
• 5.1 PKI及CA數(shù)字證書介紹40-42
• 5.2 HDFS中基于PKI和Token的認(rèn)證過程42-47
• 5.2.1 HDFS認(rèn)證的初始化42
• 5.2.2 Client在NameNode上進(jìn)行身份注冊(cè)與身份注銷42-43
• 5.2.3 NameNode與DataNode之間的通信認(rèn)證過程43-44
• 5.2.4 Client進(jìn)行文件讀過程中的認(rèn)證與加密過程44-45
• 5.2.5 Client進(jìn)行文件寫過程中的認(rèn)證與加密過程45-46
• 5.2.6 基于PKI的HDFS Token設(shè)計(jì)46-47
• 5.3 YARN中基于PKI和Token的認(rèn)證過程47-54
• 5.3.1 YARN作業(yè)流程中基于PKI的安全認(rèn)證47-49
• 5.3.2 基于PKI的YARN Token設(shè)計(jì)49-54
• 5.4 基于角色的自主訪問控制54-55
• 小結(jié)55-56
• 第6章 本文安全設(shè)計(jì)方案的優(yōu)勢(shì)分析56-58
• 6.1 基于PKI的安全認(rèn)證機(jī)制優(yōu)勢(shì)分析56-57
• 6.2 基于角色的自主訪問控制機(jī)制優(yōu)勢(shì)分析57
• 小結(jié)57-58
• 總結(jié)與展望58-60
• 參考文獻(xiàn)60-62
• 攻讀碩士學(xué)位期間取得的學(xué)術(shù)成果62-63
• 致謝63

【參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前3條

1 邵偉;;基于MapReduce模型的并行計(jì)算平臺(tái)設(shè)計(jì)[J];計(jì)算機(jī)光盤軟件與應(yīng)用;2013年09期

2 張克君,金瑋,楊炳儒;基于角色的自主訪問控制的構(gòu)建[J];計(jì)算機(jī)工程;2005年05期

3 封富君;李俊山;;新型網(wǎng)絡(luò)環(huán)境下的訪問控制技術(shù)[J];軟件學(xué)報(bào);2007年04期

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前2條

1 孫亞楠;安全操作系統(tǒng)自主訪問控制機(jī)制的研究與實(shí)現(xiàn)[D];中國(guó)科學(xué)院研究生院（軟件研究所）;2004年

2 鄧自立;云計(jì)算中的網(wǎng)絡(luò)拓?fù)湓O(shè)計(jì)和Hadoop平臺(tái)研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2009年

  本文關(guān)鍵詞：面向Hadoop的安全機(jī)制設(shè)計(jì)，，由筆耕文化傳播整理發(fā)布。

本文編號(hào)：314849