本文關鍵詞：云計算環(huán)境中分布式文件系統(tǒng)數(shù)據(jù)一致性問題研究

  更多相關文章： 數(shù)據(jù)一致性 HDFS 緩存 小文件 NWR

【摘要】：隨著各行各業(yè)信息化的程度不斷的提高和移動互聯(lián)網(wǎng)的飛速發(fā)展,傳統(tǒng)的計算模式和存儲模式已經(jīng)不能滿足日益增長的業(yè)務需求,云計算就是在這種背景下提出的一種計算模式,它是一種分布式計算、并行計算和網(wǎng)格計算的商業(yè)發(fā)展,提供了一種按需付費和彈性擴展的服務方式。云存儲是云計算服務架構中的重要組成部分,它提供了可擴展,高容錯的存儲服務。分布式文件系統(tǒng)則提供了對云存儲系統(tǒng)的支撐,其性能的好壞直接影響了云存儲服務能力。分布式文件系統(tǒng)為了提高系統(tǒng)的可靠性和性能一般都采用了副本和緩存的技術,然而復制和緩存卻帶了副本和緩存的數(shù)據(jù)一致性問題。為了解決一致性問題從不同的角度有多種一致性模型可以參考。HDFS是一種面向大數(shù)據(jù)集、高吞吐量應用的一種分布式文件系統(tǒng),在數(shù)據(jù)存儲節(jié)點上它提供了冗余存儲數(shù)據(jù)塊的機制來保證系統(tǒng)的可擴展性和可靠性,然而它采用的是基于管道流的副本數(shù)據(jù)塊更新機制,當面對交互式的應用場景時,它所采用的副本數(shù)據(jù)塊強一致性策略會造成服務性能的急劇下降。本文從分析面向個人用戶的云存儲服務的特點以及用戶使用云存儲服務的習慣出發(fā),在研究了HDFS的技術架構的基礎上設計并實現(xiàn)了基于HDFS的交互式云存儲系統(tǒng),使用了一種可配置的數(shù)據(jù)副本一致策略來提高系統(tǒng)的可用性,并采用了客戶端緩存和合并小文件的方案來提高系統(tǒng)的整體性能。本文的主要工作包括:分析和研究了解決分布式系統(tǒng)中一致性問題可以采用的數(shù)據(jù)同步模型;研究了HDFS所采用的數(shù)據(jù)同步模型,并指出其在提供面向個人的云存儲服務時的不足,提出并實現(xiàn)了一種基于NWR模型的可配置的數(shù)據(jù)副本讀寫同步方案;基于HDFS不提供客戶端緩存的事實,為了增強系統(tǒng)的可擴展性和減輕服務端的訪問壓力,在原生HDFS的客戶接口上增加客戶緩存模塊;針對HDFS在面臨大量小文件存儲時Namenode內(nèi)存利用率低下的情況設計并實現(xiàn)了一種能夠極大的提高小文件存取效率的方案。最后通過測試和分析證明了本系統(tǒng)的可用性以及服務性能的提高。
【關鍵詞】：數(shù)據(jù)一致性 HDFS 緩存 小文件 NWR
【學位授予單位】：電子科技大學
【學位級別】：碩士
【學位授予年份】：2014
【分類號】：TP333;TP316.4
【目錄】：

• 摘要5-6
• ABSTRACT6-10
• 第一章 緒論10-15
• 1.1 課題背景及研究現(xiàn)狀10-13
• 1.2 本文的主要工作13
• 1.3 本文的結構安排13-15
• 第二章 相關理論與技術概述15-27
• 2.1 云計算15-16
• 2.2 云存儲16-18
• 2.2.1 云存儲定義16-17
• 2.2.2 云存儲與傳統(tǒng)存儲的比較17-18
• 2.3 分布式文件系統(tǒng)18
• 2.4 復制與緩存18-19
• 2.5 Hadoop分布式文件系統(tǒng)19-25
• 2.5.1 HDFS的讀過程20-21
• 2.5.2 HDFS的寫過程21-22
• 2.5.3 HDFS的并發(fā)控制和副本同步22-23
• 2.5.4 HDFS的主要接.和存儲結構23-25
• 2.6 NWR模型25-26
• 2.7 本章小結26-27
• 第三章 數(shù)據(jù)一致性問題分析與研究27-33
• 3.1 一致性問題的由來27-28
• 3.2 一致性模型28-32
• 3.2.1 以數(shù)據(jù)為中心的一致性模型29-30
• 3.2.2 以客戶為中心的一致性模型30-32
• 3.3 分布式文件系統(tǒng)中的數(shù)據(jù)一致性問題32
• 3.3.1 客戶端緩存32
• 3.3.2 服務器端復制32
• 3.4 本章小結32-33
• 第四章 基于HDFS的交互式云存儲系統(tǒng)的設計33-50
• 4.1 系統(tǒng)需求分析33-35
• 4.1.1 系統(tǒng)功能需求分析33-34
• 4.1.2 系統(tǒng)性能需求分析34-35
• 4.2 系統(tǒng)整體架構35-37
• 4.3 系統(tǒng)的詳細設計37-49
• 4.3.1 小文件存儲設計37-42
• 4.3.2 基于NWR模型的讀寫同步設計42-47
• 4.3.3 本地緩存設計47-49
• 4.4 本章小結49-50
• 第五章 基于HDFS的交互式云存儲系統(tǒng)的實現(xiàn)50-68
• 5.1 小文件處理模塊的實現(xiàn)50-55
• 5.1.1 主要數(shù)據(jù)結構實現(xiàn)50-51
• 5.1.2 小文件讀寫處理過程51-53
• 5.1.3 小文件合并方法53-54
• 5.1.4 并發(fā)訪問控制54-55
• 5.2 基于NWR模型的讀寫同步模塊的實現(xiàn)55-64
• 5.2.1 數(shù)據(jù)塊簽名和Primary索引的實現(xiàn)55-56
• 5.2.2 Datanode與Namenode通信協(xié)議的實現(xiàn)56-61
• 5.2.3 Primary選取策略61
• 5.2.4 副本更新判定過程61-62
• 5.2.5 NWR讀寫方法62-64
• 5.3 本地緩存模塊的實現(xiàn)64-67
• 5.4 本章小結67-68
• 第六章 測試與分析68-73
• 6.1 測試環(huán)境安裝與部署68-69
• 6.2 測試結果分析與比較69-72
• 6.2.1 寫入文件對比測試69-70
• 6.2.2 小文件存儲性能測試70-72
• 6.3 本章小結72-73
• 第七章 總結與展望73-75
• 7.1 論文總結73-74
• 7.2 工作展望74-75
• 致謝75-76
• 參考文獻76-78

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前1條

1 吳吉義;平玲娣;潘雪增;李卓;;云計算:從概念到平臺[J];電信科學;2009年12期

中國碩士學位論文全文數(shù)據(jù)庫 前1條

1 陳光景;Hadoop小文件處理技術的研究和實現(xiàn)[D];南京郵電大學;2013年

，

本文編號：1068372