本文關(guān)鍵詞：基于HDFS安全云存儲模型的研究，由筆耕文化傳播整理發(fā)布。

【摘要】：由于互聯(lián)網(wǎng)技術(shù)和云服務的發(fā)展,網(wǎng)民數(shù)量不斷增長,使得各種信息也呈現(xiàn)爆炸式的增長。在這樣的趨勢下,傳統(tǒng)的存儲服務已經(jīng)滿足不了現(xiàn)在用戶的需求。不管是企業(yè)還是個人都需要一種新型的存儲服務。云存儲是云計算概念上發(fā)展而來。它是利用網(wǎng)絡,分布式文件系統(tǒng)等技術(shù)通過軟硬件結(jié)合的方式將網(wǎng)絡中的物理存儲連接在一起,并為用戶提供標準存儲接口,方便用戶使用。云存儲的發(fā)展,促使越來越多的用戶將自己的數(shù)據(jù)遷移到云端存儲上,同時關(guān)于云存儲安全也成為必不可少的關(guān)注焦點。當我們的數(shù)據(jù)遷移到云端,云存儲提供商就擁有我們數(shù)據(jù)的絕對控制權(quán),而我們也失去對數(shù)據(jù)絕對的控制。HDFS作為Hadoop底層分布式文件系統(tǒng),是當前云存儲構(gòu)建的主流方案之一。由于利用HDFS部署的云存儲平臺對數(shù)據(jù)擁有絕對控制問題,本文對團隊提出的自主可控安全云存儲模型ASOM (All Self-Organization Model)和HDFS內(nèi)部實現(xiàn)進行研究。針對HDFS的實現(xiàn)主要分析NameNode管理元數(shù)據(jù)和管理整個集群方式。通過分析DataNode與NameNode之間的有關(guān)數(shù)據(jù)塊交互過程,和NameNode中元數(shù)據(jù)組織流程,在ASOM中設(shè)計并實現(xiàn)了元數(shù)據(jù)子服務和設(shè)備管理服務器。在成功提取分離元數(shù)據(jù)后,設(shè)備管理服務器負責管理整個集群的正常運行,元數(shù)據(jù)子服務器負責命名空間和文件定位。在數(shù)據(jù)服務器向設(shè)備管理服務器上報數(shù)據(jù)時,設(shè)備管理服務器會根據(jù)需要轉(zhuǎn)發(fā)信息給元數(shù)據(jù)子服務器,完成元數(shù)據(jù)組織。而在整個集群運行過程中元數(shù)據(jù)子服務器和設(shè)備管理服務器又不斷進行信息交互,為了在交互過程中防止可能泄露敏感數(shù)據(jù),在實現(xiàn)時引入了隨機表機制。在這個交互的過程里,本文實現(xiàn)了Co-work算法保證這兩個服務器在數(shù)據(jù)交互時的一致性。Co-Work算法是在鎖的基礎(chǔ)上通過分析實際場景流程使得兩個服務器能保證數(shù)據(jù)的一致性。同時針對ASOM中小文件對應一個數(shù)據(jù)塊內(nèi)容的安全問題,進行研究和解決。通過對小文件中數(shù)據(jù)內(nèi)容部分細粒度數(shù)據(jù)加密,不僅保證數(shù)據(jù)的安全,還可以改進因全部數(shù)據(jù)加密而導致的效率低下。最后本文對該模型的安全性進行實驗,對性能,內(nèi)存使用進行對比分析,證明用戶可以對元數(shù)據(jù)的進行有效的控制與管理,也證明了云服務提供商平臺管理員很難對元數(shù)據(jù)進行可能的惡意操作而帶來的安全隱患。
【關(guān)鍵詞】：HDF ASOM 云存儲 自主可控 一致性
【學位授予單位】：廣東工業(yè)大學
【學位級別】：碩士
【學位授予年份】：2016
【分類號】：TP333
【目錄】：

• 摘要4-6
• ABSTRACT6-14
• 第一章 緒論14-20
• 1.1 研究背景與意義14-16
• 1.2 國內(nèi)外研究現(xiàn)狀16-18
• 1.2.1 云存儲安全16-17
• 1.2.2 Hadoop17
• 1.2.3 現(xiàn)狀分析17-18
• 1.3 研究內(nèi)容及主要工作18
• 1.4 論文結(jié)構(gòu)安排18-20
• 第二章 相關(guān)技術(shù)20-33
• 2.1 五種存儲模型20-21
• 2.2 Hadoop云計算平臺21-23
• 2.3 HDFS23-30
• 2.3.1 相關(guān)術(shù)語23-24
• 2.3.2 部分技術(shù)24-25
• 2.3.3 HDFS體系結(jié)構(gòu)與主要流程25-30
• 2.4 一致性介紹30-31
• 2.5 加密技術(shù)介紹31-32
• 2.6 本章小結(jié)32-33
• 第三章 自主可控安全管理云存儲模型33-45
• 3.1 相關(guān)術(shù)語33
• 3.2 Hadoop1.2.1身份認證與內(nèi)部實現(xiàn)33-37
• 3.2.1 身份認證33-35
• 3.2.2 內(nèi)部實現(xiàn)35-37
• 3.3 ASMM模型描述37-39
• 3.4 ASOM模型39-44
• 3.4.1 ASOM整體流程40-41
• 3.4.2 以讀寫操作說明ASOM內(nèi)部流程41-43
• 3.4.3 對比分析43-44
• 3.5 本章小結(jié)44-45
• 第四章 ASOM模型實現(xiàn)45-60
• 4.1 MDSS端元數(shù)據(jù)管理和操作45-48
• 4.2 DMS端數(shù)據(jù)處理48-50
• 4.3 一致性算法實現(xiàn)50-56
• 4.3.1 情景引入50-52
• 4.3.2 傳統(tǒng)方法實現(xiàn)52
• 4.3.3 傳統(tǒng)方法問題分析52-53
• 4.3.4 cowork算法53
• 4.3.5 算法分析53-54
• 4.3.6 行為一致性54-56
• 4.4 數(shù)據(jù)塊的安全研究56-59
• 4.4.1 HDFS讀寫數(shù)據(jù)塊過程56-57
• 4.4.2 數(shù)據(jù)塊部分加密實現(xiàn)57-59
• 4.5 本章小結(jié)59-60
• 第五章 實驗設(shè)計和結(jié)果分析60-70
• 5.1 實驗環(huán)境60-61
• 5.2 系統(tǒng)原型61-62
• 5.3 安全性測試和分析62-66
• 5.3.1 測試62-65
• 5.3.2 安全分析65-66
• 5.4 性能測試66-68
• 5.5 內(nèi)存需求測試68-69
• 5.6 本章小結(jié)69-70
• 總結(jié)和展望70-72
• 參考文獻72-76
• 攻讀碩士學位期間發(fā)表的學術(shù)論文76-78
• 致謝78-79

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前8條

1 徐俊;王慶華;趙云龍;;基于改進HDFS的冠字號小文件分布式存儲研究[J];電腦知識與技術(shù);2014年17期

2 徐藝境;欒鐘治;錢德沛;管剛;謝明;;HDFS集群中功率預測控制策略的設(shè)計與分析[J];計算機科學與探索;2013年05期

3 曹寧;吳中海;劉宏志;張齊勛;;HDFS下載效率的優(yōu)化[J];計算機應用;2010年08期

4 王永洲;茅蘇;;HDFS中的一種數(shù)據(jù)放置策略[J];計算機技術(shù)與發(fā)展;2013年05期

5 彭仁通;;Hadoop的核心技術(shù)研究或概述[J];科技廣場;2012年05期

6 蔣蘇蓉;藍江橋;楊玉海;;Hadoop框架下的情報分析大數(shù)據(jù)調(diào)度超時預測方法[J];計算機科學;2014年S1期

7 陳薇;楊昕;;基于HDFS的云存儲安全技術(shù)分析[J];計算機光盤軟件與應用;2014年08期

8 ;[J];;年期

中國碩士學位論文全文數(shù)據(jù)庫 前6條

1 霍振奇;基于HDFS的創(chuàng)新知識存儲及分發(fā)架構(gòu)的研究與設(shè)計[D];河北工業(yè)大學;2015年

2 袁國偉;HDFS高可用性方案的研究與設(shè)計[D];杭州電子科技大學;2015年

3 黃健;基于HDFS安全云存儲模型的研究[D];廣東工業(yè)大學;2016年

4 李夢楠;基于HDFS的名字節(jié)點的性能優(yōu)化技術(shù)研究[D];沈陽工業(yè)大學;2015年

5 儲雅;基于HDFS的氣象云存儲的副本管理策略研究[D];南京信息工程大學;2014年

6 韓佩;HDFS高可用性方案的研究與優(yōu)化[D];西北大學;2013年

  本文關(guān)鍵詞：基于HDFS安全云存儲模型的研究，，由筆耕文化傳播整理發(fā)布。

本文編號：425325