【摘要】：隨著存儲著海量數(shù)據(jù)的分布式文件系統(tǒng)的進一步發(fā)展,為了滿足各種企業(yè)、學術(shù)機構(gòu)等組織對數(shù)據(jù)存取速度的需求,誕生了內(nèi)存分布式文件系統(tǒng)這一概念。以開源的Alluxio為代表的內(nèi)存分布式文件系統(tǒng)的逐漸發(fā)展,被人們運用到了日常生活中的方方面面,但這也暴露出了不少問題。本文以海量數(shù)據(jù)系統(tǒng)的可用性為研究目標,對比分析其他系統(tǒng)上的確保數(shù)據(jù)可靠性的機制,結(jié)合Alluxio自身特性,就數(shù)據(jù)部署策略方面提出改進的措施,以此來提高Alluxio自身的可用性,并且確保對上層計算框架更好的支持。Alluxio系統(tǒng)作為大數(shù)據(jù)生態(tài)系統(tǒng)的中間層,鏈接著上層計算框架與底層存儲系統(tǒng)。當其正支持著上層計算框架對數(shù)據(jù)的讀取時,若底層存儲系統(tǒng)或者與之的通信網(wǎng)絡發(fā)生故障,Alluxio中的數(shù)據(jù)的可靠性將不能從底層存儲中獲得保障,便會使系統(tǒng)不可用。同時考慮到遠端調(diào)用在維護數(shù)據(jù)一致性的巨大消耗,建立或完善Alluxio內(nèi)部對數(shù)據(jù)可用性的保障機制是十分必要的。所有的冗余措施都會占用Alluxio本就不多的內(nèi)存存儲,本文對此提出了一種改進思想。其主要分為兩點,其一是將數(shù)據(jù)按熱度進行劃分,對熱點數(shù)據(jù)以Alluxio層次化存儲的方式固定到內(nèi)存來提高內(nèi)存空間的利用率進而提高系統(tǒng)整體的執(zhí)行效率;其二是以數(shù)據(jù)塊為粒度,通過設(shè)定合適的副本個數(shù)結(jié)合Alluxio并行化的讀取措施進一步提高熱點數(shù)據(jù)的讀取效率,降低冷門數(shù)據(jù)占用的存儲空間,也通過冗余措施確保了系統(tǒng)的可用性。這樣當Alluxio在面對底層存儲失聯(lián),自身節(jié)點故障等問題是仍能維持對上層計算框架的服務并堅持到故障被修復�；谏鲜龅膬�(yōu)化思想,在對Alluxio的源碼進行解讀后,本文在外部建立了一套按數(shù)據(jù)塊預測讀取頻率來分類的計算模塊與進行副本個數(shù)管理的動態(tài)調(diào)整模塊;在內(nèi)部改寫了其自帶的數(shù)據(jù)分配策略,添加了數(shù)據(jù)分層持久化的內(nèi)容,同時對異常進行了監(jiān)控,并以此實現(xiàn)了故障處理模塊。最后,本文以一種模仿實際數(shù)據(jù)訪問分布的讀取算法對完成的熱點數(shù)據(jù)分層部署策略和數(shù)據(jù)塊副本動態(tài)調(diào)整策略進行測試,在與其他策略對比分析后,成功驗證了本文策略的在提高系統(tǒng)響應效率、降低系統(tǒng)負載的有效性;在故障模擬后,通過分析任務的執(zhí)行情況,也成功驗證了本文策略對系統(tǒng)可用性提高上的有效性。
【學位授予單位】：哈爾濱工業(yè)大學
【學位級別】：碩士
【學位授予年份】：2018
【分類號】：TP333
【圖文】：

第 2 章 Alluxio 與副本冗余技術(shù)相關(guān)介紹本章首先介紹 Alluxio 的架構(gòu)及相關(guān)數(shù)據(jù)管理機制，然后分析了副本冗余的概念，結(jié)合其特性指出了設(shè)計上的要點。2.1 Alluxio 數(shù)據(jù)管理機制內(nèi)存分布式文件系統(tǒng) Alluxio，負責透明化底層存儲，提供統(tǒng)一的 API 給予不同的計算框架，處于大數(shù)據(jù)生態(tài)的中間層，鏈接著底層存儲與上層計算框架。如圖 2-1 所示，其加速了大數(shù)據(jù)計算框架中系統(tǒng)的數(shù)據(jù)讀寫速度。Allux用掛載或直接依賴的方式支持現(xiàn)有的大多數(shù)底層大數(shù)據(jù)存儲系統(tǒng)，然后提供包裝好的訪問接口給不同的上層計算框架，降低了海量數(shù)據(jù)存儲系統(tǒng)的遷移代價本節(jié)主要介紹 Alluxio 的架構(gòu)和各種對數(shù)據(jù)的管理機制。

圖 2-2 Alluxio 系統(tǒng)架構(gòu)圖主節(jié)點 Master 是 Alluxio 集群的主控節(jié)點，管理著整個文件系統(tǒng)的目錄該目錄下所有文件的元數(shù)據(jù)，也負責與集群中的所有 Worker 節(jié)點聯(lián)絡，通信以確保目錄與相關(guān)文件元數(shù)據(jù)的實時性。從節(jié)點 Worker 節(jié)點管理著本地數(shù)據(jù)層，一般可以分為內(nèi)存存儲與非內(nèi)儲，而非內(nèi)存存儲繼續(xù)按磁盤響應速度細分，則可劃分為 SSD 和 HDluxio 對其并未限制分層個數(shù)，但業(yè)界一般設(shè)為 3 層，即 MEM，SSD（固盤）與 HDD（硬盤驅(qū)動器）層。Worker 節(jié)點對自身的數(shù)據(jù)變更通過日志進本地目錄，同時通過心跳機制對 Master 發(fā)送自身狀態(tài)與存儲數(shù)據(jù)的信客戶端 Client 用于向用戶應用提供訪問接口，客戶只需要通過該接口來存儲于 Alluxio 中的數(shù)據(jù)，即做到了底層節(jié)點交互對上層應用操作透明的原則，從而簡化開發(fā)程序的復雜度。

Master 與 Worker 間存在心跳機制，周期性地互相通信以維護數(shù)據(jù)信息，保證數(shù)據(jù)與節(jié)點之間的映射關(guān)系。在 Alluxio 中，Master 首先將用戶對數(shù)據(jù)的請求進行劃分處理，根據(jù)保存于 Master 節(jié)點中的數(shù)據(jù)-節(jié)點映射關(guān)系，分別交予不同節(jié)點響應。因為統(tǒng)一命名空間的關(guān)系，如果用戶請求的是 Alluxio 內(nèi)部存儲外的文件，則會交予底層存儲 UFS 來對請求進行響應。2.1.2 底層存儲支持Alluxio 針對目前流行的底層存儲，諸如 GCS、S3、Ceph、Swift、HDFS等，都設(shè)計了相應的掛載接口。用戶即使是面對需要統(tǒng)合多種存儲系統(tǒng)中的數(shù)據(jù)才能進行計算的工作，通過 Alluxio 文件系統(tǒng)掛載多種不同的底層存儲系統(tǒng)就可輕易實現(xiàn)任務目標。底層存儲將數(shù)據(jù)從原先基于磁盤的存儲移動到Alluxio，同時自身的原數(shù)據(jù)能夠給 Alluxio 提供最后的可靠性保障。Alluxio通過掛載和透明命名機制管理自身存儲和底層存儲。

【參考文獻】

相關(guān)期刊論文 前7條

1 左方;何欣;;一種基于蟻群算法的云存儲副本動態(tài)選擇機制研究[J];計算機應用研究;2015年11期

2 陶永才;張寧寧;石磊;衛(wèi)琳;;異構(gòu)環(huán)境下云計算數(shù)據(jù)副本動態(tài)管理研究[J];小型微型計算機系統(tǒng);2013年07期

3 李新華;;淺談大數(shù)據(jù)時代的機遇與挑戰(zhàn)[J];通訊世界;2013年11期

4 趙洋;;淘寶TFS深度剖析[J];數(shù)字化用戶;2013年03期

5 祝家鈺;肖丹;;云計算架構(gòu)下的動態(tài)副本管理策略[J];計算機工程與設(shè)計;2012年09期

6 石劉;郭明陽;劉瀏;沈玉良;許魯;;基于反饋機制的動態(tài)副本數(shù)量預測方法[J];系統(tǒng)仿真學報;2011年S1期

7 周功業(yè);雷偉;陳進才;;基于對象存儲系統(tǒng)中的熱點數(shù)據(jù)平衡策略[J];華中科技大學學報(自然科學版);2007年12期

相關(guān)會議論文 前1條

1 胡忠平;;大數(shù)據(jù)時代背景下檔案管理探討[A];“決策論壇——企業(yè)管理模式創(chuàng)新學術(shù)研討會”論文集（上）[C];2017年

相關(guān)博士學位論文 前2條

1 郭力爭;云計算環(huán)境下資源部署與任務調(diào)度研究[D];東華大學;2015年

2 吳晨濤;對象存儲系統(tǒng)中熱點數(shù)據(jù)的研究[D];華中科技大學;2010年

相關(guān)碩士學位論文 前5條

1 董文菁;基于Alluxio的數(shù)據(jù)高可用管理技術(shù)的研究與優(yōu)化[D];哈爾濱工業(yè)大學;2017年

2 李聰;HDFS元數(shù)據(jù)管理的高可用性優(yōu)化技術(shù)研究[D];哈爾濱工業(yè)大學;2016年

3 張明;IaaS中基于熱點數(shù)據(jù)的存儲系統(tǒng)研究與實現(xiàn)[D];哈爾濱工業(yè)大學;2015年

4 周小玉;HDFS分布式文件系統(tǒng)存儲策略研究[D];電子科技大學;2015年

5 蔣浩;分布式文件存儲系統(tǒng)副本管理方法研究[D];浙江大學;2013年

本文編號：2749613