本文關(guān)鍵詞：基于Hadoop可公共審計(jì)云存儲(chǔ)的設(shè)計(jì)與實(shí)現(xiàn)，，由筆耕文化傳播整理發(fā)布。

【摘要】：隨著Web2.0的不斷發(fā)展,尤其是近年來移動(dòng)互聯(lián)網(wǎng)、電子商務(wù)和物聯(lián)網(wǎng)的爆炸式的發(fā)展,互聯(lián)網(wǎng)進(jìn)入了一個(gè)全新“云計(jì)算”時(shí)代。云存儲(chǔ)是伴隨云計(jì)算發(fā)展而出現(xiàn)的,擁有廣闊的發(fā)展前景。但是當(dāng)越來越多的數(shù)據(jù)被上傳到云存儲(chǔ),而云存儲(chǔ)無法保證數(shù)據(jù)百分之百安全的時(shí)候,用戶就會(huì)需要一種有效的手段來監(jiān)控?cái)?shù)據(jù)在云存儲(chǔ)上的安全。為了解決這個(gè)問題,本文提出了一種基于Hadoop的可公共審計(jì)的云存儲(chǔ)系統(tǒng),該系統(tǒng)可以被第三方的機(jī)構(gòu)所審計(jì),讓用戶在沒有本地備份文件的情況下,了解在云存儲(chǔ)中存儲(chǔ)的文件是不是完整的。本文首先對(duì)相關(guān)技術(shù)進(jìn)行了技術(shù)調(diào)研,全面分析了分布式存儲(chǔ)系統(tǒng)HDFS和公共審計(jì)模型,提出了HDFS系統(tǒng)小文件處理問題和公共審計(jì)模型跨平臺(tái)問題的解決方案。本文中提出的基于Hadoop的可公共審計(jì)云存儲(chǔ)系統(tǒng)被設(shè)計(jì)成由三個(gè)子系統(tǒng)組成,分別是云存儲(chǔ)系統(tǒng)、第三方審計(jì)者和客戶端。為了降低子系統(tǒng)之間的耦合度,提高系統(tǒng)自身的可擴(kuò)展性,每個(gè)子系統(tǒng)都采用了REST風(fēng)格架構(gòu)。另外還引入了消息隊(duì)列機(jī)制,使系統(tǒng)有了異步特性,提高了系統(tǒng)的整體性能。除此之外,本系統(tǒng)在借鑒“云計(jì)算”理念的基礎(chǔ)之上,還創(chuàng)新性地提出了數(shù)據(jù)完整性驗(yàn)證服務(wù)這個(gè)概念。其創(chuàng)新之處在于,數(shù)據(jù)的驗(yàn)證對(duì)用戶來說完全的透明,可以不受時(shí)間和空間的限制,另外也是最重要的一點(diǎn),用戶可以隨需使用本系統(tǒng)提供的數(shù)據(jù)完整性驗(yàn)證服務(wù)。通過對(duì)系統(tǒng)的分析和測(cè)試表明本本基于Hadoop的可公共審計(jì)云存儲(chǔ)系統(tǒng)結(jié)構(gòu)完善,功能清晰,能夠有效驗(yàn)證數(shù)據(jù)在云存儲(chǔ)中的完整性。
【關(guān)鍵詞】：Hadoop 數(shù)據(jù)完整性驗(yàn)證 公共審計(jì) 云存儲(chǔ)
【學(xué)位授予單位】：大連理工大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2015
【分類號(hào)】：TP333
【目錄】：

• 摘要4-5
• Abstract5-9
• 1 緒論9-13
• 1.1 研究背景9-10
• 1.2 云存儲(chǔ)現(xiàn)狀分析10-11
• 1.3 主要內(nèi)容11
• 1.4 本文結(jié)構(gòu)11-13
• 2 相關(guān)技術(shù)研究13-24
• 2.1 HDFS系統(tǒng)13-17
• 2.1.1 HDFS的設(shè)計(jì)目標(biāo)13-14
• 2.1.2 HDFS的體系結(jié)構(gòu)14-15
• 2.1.3 HDFS文件讀取流程15
• 2.1.4 HDFS文件寫入流程15-16
• 2.1.5 HDFS優(yōu)劣分析16-17
• 2.2 公共審計(jì)模型17-21
• 2.2.1 模型結(jié)構(gòu)17-18
• 2.2.2 Merkle Hash Tree介紹18-19
• 2.2.3 數(shù)據(jù)完整性驗(yàn)證算法19-20
• 2.2.4 模型分析20-21
• 2.3 REST架構(gòu)風(fēng)格21-22
• 2.3.1 REST架構(gòu)風(fēng)格的特征21-22
• 2.3.2 REST架構(gòu)風(fēng)格的優(yōu)勢(shì)22
• 2.4 Open Authorization22-24
• 3 系統(tǒng)分析24-27
• 3.1 需求分析24-25
• 3.2 現(xiàn)有模型存在的問題25
• 3.3 系統(tǒng)設(shè)計(jì)思路25-27
• 4 系統(tǒng)概要設(shè)計(jì)27-36
• 4.1 云存儲(chǔ)系統(tǒng)概要設(shè)計(jì)27-33
• 4.1.1 云存儲(chǔ)系統(tǒng)結(jié)構(gòu)27-29
• 4.1.2 完整性檢驗(yàn)支持29
• 4.1.3 小文件處理優(yōu)化29-32
• 4.1.4 高并發(fā)訪問和消息隊(duì)列32-33
• 4.2 第三方審計(jì)者概要設(shè)計(jì)33-36
• 4.2.1 第三方審計(jì)者的系統(tǒng)結(jié)構(gòu)33-34
• 4.2.2 完整性檢驗(yàn)支持34-35
• 4.2.3 存儲(chǔ)失信度評(píng)價(jià)設(shè)計(jì)35
• 4.2.4 挑戰(zhàn)信息發(fā)送設(shè)計(jì)35-36
• 5 系統(tǒng)詳細(xì)設(shè)計(jì)36-50
• 5.1 OAuth功能詳細(xì)設(shè)計(jì)36-38
• 5.2 文件上傳功能的詳細(xì)設(shè)計(jì)38-41
• 5.2.1 文件上傳流程設(shè)計(jì)38-39
• 5.2.2 小文件優(yōu)化設(shè)計(jì)39-41
• 5.3 文件下載功能的詳細(xì)設(shè)計(jì)41-42
• 5.4 文件完整性驗(yàn)證功能的詳細(xì)設(shè)計(jì)42-45
• 5.4.1 信息準(zhǔn)備階段42-44
• 5.4.2 數(shù)據(jù)完整性驗(yàn)證階段44-45
• 5.5 數(shù)據(jù)庫(kù)表設(shè)計(jì)45-50
• 5.5.1 數(shù)據(jù)庫(kù)概念結(jié)構(gòu)設(shè)計(jì)45-46
• 5.5.2 數(shù)據(jù)庫(kù)邏輯結(jié)構(gòu)設(shè)計(jì)46-50
• 6 系統(tǒng)實(shí)現(xiàn)和測(cè)試50-59
• 6.1 系統(tǒng)實(shí)現(xiàn)50-56
• 6.1.1 文件操作和管理模塊的實(shí)現(xiàn)50-51
• 6.1.2 完整性驗(yàn)證模塊的實(shí)現(xiàn)51-52
• 6.1.3 OAuth模塊的實(shí)現(xiàn)52
• 6.1.4 REST API的實(shí)現(xiàn)52-54
• 6.1.5 Web頁(yè)面的實(shí)現(xiàn)54-56
• 6.2 系統(tǒng)測(cè)試56-59
• 6.2.1 系統(tǒng)測(cè)試簡(jiǎn)介56-57
• 6.2.2 黑盒測(cè)試用例設(shè)計(jì)57-58
• 6.2.3 測(cè)試總結(jié)58-59
• 結(jié)論59-60
• 參考文獻(xiàn)60-62
• 致謝62-63

【參考文獻(xiàn)】

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前1條

1 李慧瑩;基于HDFS的小文件存儲(chǔ)方法的研究與優(yōu)化[D];西安電子科技大學(xué);2014年

  本文關(guān)鍵詞：基于Hadoop可公共審計(jì)云存儲(chǔ)的設(shè)計(jì)與實(shí)現(xiàn)，由筆耕文化傳播整理發(fā)布。

本文編號(hào)：265299