【摘要】：隨著存儲(chǔ)著海量數(shù)據(jù)的分布式文件系統(tǒng)的進(jìn)一步發(fā)展,為了滿足各種企業(yè)、學(xué)術(shù)機(jī)構(gòu)等組織對(duì)數(shù)據(jù)存取速度的需求,誕生了內(nèi)存分布式文件系統(tǒng)這一概念。以開源的Alluxio為代表的內(nèi)存分布式文件系統(tǒng)的逐漸發(fā)展,被人們運(yùn)用到了日常生活中的方方面面,但這也暴露出了不少問題。本文以海量數(shù)據(jù)系統(tǒng)的可用性為研究目標(biāo),對(duì)比分析其他系統(tǒng)上的確保數(shù)據(jù)可靠性的機(jī)制,結(jié)合Alluxio自身特性,就數(shù)據(jù)部署策略方面提出改進(jìn)的措施,以此來提高Alluxio自身的可用性,并且確保對(duì)上層計(jì)算框架更好的支持。Alluxio系統(tǒng)作為大數(shù)據(jù)生態(tài)系統(tǒng)的中間層,鏈接著上層計(jì)算框架與底層存儲(chǔ)系統(tǒng)。當(dāng)其正支持著上層計(jì)算框架對(duì)數(shù)據(jù)的讀取時(shí),若底層存儲(chǔ)系統(tǒng)或者與之的通信網(wǎng)絡(luò)發(fā)生故障,Alluxio中的數(shù)據(jù)的可靠性將不能從底層存儲(chǔ)中獲得保障,便會(huì)使系統(tǒng)不可用。同時(shí)考慮到遠(yuǎn)端調(diào)用在維護(hù)數(shù)據(jù)一致性的巨大消耗,建立或完善Alluxio內(nèi)部對(duì)數(shù)據(jù)可用性的保障機(jī)制是十分必要的。所有的冗余措施都會(huì)占用Alluxio本就不多的內(nèi)存存儲(chǔ),本文對(duì)此提出了一種改進(jìn)思想。其主要分為兩點(diǎn),其一是將數(shù)據(jù)按熱度進(jìn)行劃分,對(duì)熱點(diǎn)數(shù)據(jù)以Alluxio層次化存儲(chǔ)的方式固定到內(nèi)存來提高內(nèi)存空間的利用率進(jìn)而提高系統(tǒng)整體的執(zhí)行效率;其二是以數(shù)據(jù)塊為粒度,通過設(shè)定合適的副本個(gè)數(shù)結(jié)合Alluxio并行化的讀取措施進(jìn)一步提高熱點(diǎn)數(shù)據(jù)的讀取效率,降低冷門數(shù)據(jù)占用的存儲(chǔ)空間,也通過冗余措施確保了系統(tǒng)的可用性。這樣當(dāng)Alluxio在面對(duì)底層存儲(chǔ)失聯(lián),自身節(jié)點(diǎn)故障等問題是仍能維持對(duì)上層計(jì)算框架的服務(wù)并堅(jiān)持到故障被修復(fù)�；谏鲜龅膬�(yōu)化思想,在對(duì)Alluxio的源碼進(jìn)行解讀后,本文在外部建立了一套按數(shù)據(jù)塊預(yù)測(cè)讀取頻率來分類的計(jì)算模塊與進(jìn)行副本個(gè)數(shù)管理的動(dòng)態(tài)調(diào)整模塊;在內(nèi)部改寫了其自帶的數(shù)據(jù)分配策略,添加了數(shù)據(jù)分層持久化的內(nèi)容,同時(shí)對(duì)異常進(jìn)行了監(jiān)控,并以此實(shí)現(xiàn)了故障處理模塊。最后,本文以一種模仿實(shí)際數(shù)據(jù)訪問分布的讀取算法對(duì)完成的熱點(diǎn)數(shù)據(jù)分層部署策略和數(shù)據(jù)塊副本動(dòng)態(tài)調(diào)整策略進(jìn)行測(cè)試,在與其他策略對(duì)比分析后,成功驗(yàn)證了本文策略的在提高系統(tǒng)響應(yīng)效率、降低系統(tǒng)負(fù)載的有效性;在故障模擬后,通過分析任務(wù)的執(zhí)行情況,也成功驗(yàn)證了本文策略對(duì)系統(tǒng)可用性提高上的有效性。
【學(xué)位授予單位】：哈爾濱工業(yè)大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2018
【分類號(hào)】：TP333
【圖文】：

第 2 章 Alluxio 與副本冗余技術(shù)相關(guān)介紹本章首先介紹 Alluxio 的架構(gòu)及相關(guān)數(shù)據(jù)管理機(jī)制，然后分析了副本冗余的概念，結(jié)合其特性指出了設(shè)計(jì)上的要點(diǎn)。2.1 Alluxio 數(shù)據(jù)管理機(jī)制內(nèi)存分布式文件系統(tǒng) Alluxio，負(fù)責(zé)透明化底層存儲(chǔ)，提供統(tǒng)一的 API 給予不同的計(jì)算框架，處于大數(shù)據(jù)生態(tài)的中間層，鏈接著底層存儲(chǔ)與上層計(jì)算框架。如圖 2-1 所示，其加速了大數(shù)據(jù)計(jì)算框架中系統(tǒng)的數(shù)據(jù)讀寫速度。Allux用掛載或直接依賴的方式支持現(xiàn)有的大多數(shù)底層大數(shù)據(jù)存儲(chǔ)系統(tǒng)，然后提供包裝好的訪問接口給不同的上層計(jì)算框架，降低了海量數(shù)據(jù)存儲(chǔ)系統(tǒng)的遷移代價(jià)本節(jié)主要介紹 Alluxio 的架構(gòu)和各種對(duì)數(shù)據(jù)的管理機(jī)制。

圖 2-2 Alluxio 系統(tǒng)架構(gòu)圖主節(jié)點(diǎn) Master 是 Alluxio 集群的主控節(jié)點(diǎn)，管理著整個(gè)文件系統(tǒng)的目錄該目錄下所有文件的元數(shù)據(jù)，也負(fù)責(zé)與集群中的所有 Worker 節(jié)點(diǎn)聯(lián)絡(luò)，通信以確保目錄與相關(guān)文件元數(shù)據(jù)的實(shí)時(shí)性。從節(jié)點(diǎn) Worker 節(jié)點(diǎn)管理著本地?cái)?shù)據(jù)層，一般可以分為內(nèi)存存儲(chǔ)與非內(nèi)儲(chǔ)，而非內(nèi)存存儲(chǔ)繼續(xù)按磁盤響應(yīng)速度細(xì)分，則可劃分為 SSD 和 HDluxio 對(duì)其并未限制分層個(gè)數(shù)，但業(yè)界一般設(shè)為 3 層，即 MEM，SSD（固盤）與 HDD（硬盤驅(qū)動(dòng)器）層。Worker 節(jié)點(diǎn)對(duì)自身的數(shù)據(jù)變更通過日志進(jìn)本地目錄，同時(shí)通過心跳機(jī)制對(duì) Master 發(fā)送自身狀態(tài)與存儲(chǔ)數(shù)據(jù)的信客戶端 Client 用于向用戶應(yīng)用提供訪問接口，客戶只需要通過該接口來存儲(chǔ)于 Alluxio 中的數(shù)據(jù)，即做到了底層節(jié)點(diǎn)交互對(duì)上層應(yīng)用操作透明的原則，從而簡(jiǎn)化開發(fā)程序的復(fù)雜度。

Master 與 Worker 間存在心跳機(jī)制，周期性地互相通信以維護(hù)數(shù)據(jù)信息，保證數(shù)據(jù)與節(jié)點(diǎn)之間的映射關(guān)系。在 Alluxio 中，Master 首先將用戶對(duì)數(shù)據(jù)的請(qǐng)求進(jìn)行劃分處理，根據(jù)保存于 Master 節(jié)點(diǎn)中的數(shù)據(jù)-節(jié)點(diǎn)映射關(guān)系，分別交予不同節(jié)點(diǎn)響應(yīng)。因?yàn)榻y(tǒng)一命名空間的關(guān)系，如果用戶請(qǐng)求的是 Alluxio 內(nèi)部存儲(chǔ)外的文件，則會(huì)交予底層存儲(chǔ) UFS 來對(duì)請(qǐng)求進(jìn)行響應(yīng)。2.1.2 底層存儲(chǔ)支持Alluxio 針對(duì)目前流行的底層存儲(chǔ)，諸如 GCS、S3、Ceph、Swift、HDFS等，都設(shè)計(jì)了相應(yīng)的掛載接口。用戶即使是面對(duì)需要統(tǒng)合多種存儲(chǔ)系統(tǒng)中的數(shù)據(jù)才能進(jìn)行計(jì)算的工作，通過 Alluxio 文件系統(tǒng)掛載多種不同的底層存儲(chǔ)系統(tǒng)就可輕易實(shí)現(xiàn)任務(wù)目標(biāo)。底層存儲(chǔ)將數(shù)據(jù)從原先基于磁盤的存儲(chǔ)移動(dòng)到Alluxio，同時(shí)自身的原數(shù)據(jù)能夠給 Alluxio 提供最后的可靠性保障。Alluxio通過掛載和透明命名機(jī)制管理自身存儲(chǔ)和底層存儲(chǔ)。

【參考文獻(xiàn)】

相關(guān)期刊論文 前7條

1 左方;何欣;;一種基于蟻群算法的云存儲(chǔ)副本動(dòng)態(tài)選擇機(jī)制研究[J];計(jì)算機(jī)應(yīng)用研究;2015年11期

2 陶永才;張寧寧;石磊;衛(wèi)琳;;異構(gòu)環(huán)境下云計(jì)算數(shù)據(jù)副本動(dòng)態(tài)管理研究[J];小型微型計(jì)算機(jī)系統(tǒng);2013年07期

3 李新華;;淺談大數(shù)據(jù)時(shí)代的機(jī)遇與挑戰(zhàn)[J];通訊世界;2013年11期

4 趙洋;;淘寶TFS深度剖析[J];數(shù)字化用戶;2013年03期

5 祝家鈺;肖丹;;云計(jì)算架構(gòu)下的動(dòng)態(tài)副本管理策略[J];計(jì)算機(jī)工程與設(shè)計(jì);2012年09期

6 石劉;郭明陽;劉瀏;沈玉良;許魯;;基于反饋機(jī)制的動(dòng)態(tài)副本數(shù)量預(yù)測(cè)方法[J];系統(tǒng)仿真學(xué)報(bào);2011年S1期

7 周功業(yè);雷偉;陳進(jìn)才;;基于對(duì)象存儲(chǔ)系統(tǒng)中的熱點(diǎn)數(shù)據(jù)平衡策略[J];華中科技大學(xué)學(xué)報(bào)(自然科學(xué)版);2007年12期

相關(guān)會(huì)議論文 前1條

1 胡忠平;;大數(shù)據(jù)時(shí)代背景下檔案管理探討[A];“決策論壇——企業(yè)管理模式創(chuàng)新學(xué)術(shù)研討會(huì)”論文集（上）[C];2017年

相關(guān)博士學(xué)位論文 前2條

1 郭力爭(zhēng);云計(jì)算環(huán)境下資源部署與任務(wù)調(diào)度研究[D];東華大學(xué);2015年

2 吳晨濤;對(duì)象存儲(chǔ)系統(tǒng)中熱點(diǎn)數(shù)據(jù)的研究[D];華中科技大學(xué);2010年

相關(guān)碩士學(xué)位論文 前5條

1 董文菁;基于Alluxio的數(shù)據(jù)高可用管理技術(shù)的研究與優(yōu)化[D];哈爾濱工業(yè)大學(xué);2017年

2 李聰;HDFS元數(shù)據(jù)管理的高可用性優(yōu)化技術(shù)研究[D];哈爾濱工業(yè)大學(xué);2016年

3 張明;IaaS中基于熱點(diǎn)數(shù)據(jù)的存儲(chǔ)系統(tǒng)研究與實(shí)現(xiàn)[D];哈爾濱工業(yè)大學(xué);2015年

4 周小玉;HDFS分布式文件系統(tǒng)存儲(chǔ)策略研究[D];電子科技大學(xué);2015年

5 蔣浩;分布式文件存儲(chǔ)系統(tǒng)副本管理方法研究[D];浙江大學(xué);2013年

本文編號(hào)：2749613