發(fā)布時(shí)間：2017-10-07 20:18

  本文關(guān)鍵詞：基于范德蒙碼的HDFS優(yōu)化存儲(chǔ)策略研究

  更多相關(guān)文章： 大數(shù)據(jù) HDFS 范德蒙碼 分散式動(dòng)態(tài)副本 優(yōu)化存儲(chǔ)

【摘要】：隨著大數(shù)據(jù)時(shí)代的到來,新型文件系統(tǒng)HDFS(Hadoop分布式文件系統(tǒng))的應(yīng)用越來越廣泛.但其本身也存在著整體存儲(chǔ)成本過高、可擴(kuò)展性低、節(jié)點(diǎn)負(fù)載均衡能力不足等問題.因此,該文提出了一種基于范德蒙碼的HDFS分散式動(dòng)態(tài)副本存儲(chǔ)優(yōu)化策略,針對HDFS大多部署在大量的廉價(jià)硬件集群上的實(shí)際情況,在范德蒙碼優(yōu)化策略的基礎(chǔ)上,采用分散式動(dòng)態(tài)副本控制的思想對HDFS文件操作的計(jì)算過程、計(jì)算模式以及譯碼觸發(fā)策略進(jìn)行系統(tǒng)的改進(jìn),并通過校驗(yàn)碼動(dòng)態(tài)設(shè)置的方式將容錯(cuò)度控制在一個(gè)理想的范圍之內(nèi),此外,結(jié)合伽羅華有限域理論對范德蒙碼的編譯碼操作及計(jì)算方法進(jìn)行全面優(yōu)化,在不影響HDFS存儲(chǔ)結(jié)構(gòu)的前提下,降低了范德蒙碼編譯碼的時(shí)間代價(jià)和計(jì)算的內(nèi)存壓力,節(jié)約了HDFS約30%的存儲(chǔ)開銷,數(shù)據(jù)可靠性提高了約200%,均衡HDFS系統(tǒng)節(jié)點(diǎn)負(fù)載能力,譯碼恢復(fù)效率平均提升約40%,形成了一套完整的、系統(tǒng)的優(yōu)化方案,為未來HDFS的發(fā)展提供了一條有效途徑.
【作者單位】： 遼寧大學(xué)信息科學(xué)與技術(shù)學(xué)院;
【關(guān)鍵詞】： 大數(shù)據(jù) HDFS 范德蒙碼 分散式動(dòng)態(tài)副本 優(yōu)化存儲(chǔ)
【基金】：國家自然科學(xué)基金(61472169,60873068) 遼寧省教育廳優(yōu)秀人才支持計(jì)劃項(xiàng)目基金(LR201017)資助~~
【分類號(hào)】：TP333
【正文快照】： 目的是對大量數(shù)據(jù)的吞吐應(yīng)用進(jìn)行優(yōu)化[11].同時(shí),1　引　言與磁盤存儲(chǔ)默認(rèn)的數(shù)據(jù)塊概念類似,HDFS上的文件被劃分為多個(gè)Block分塊[12],且每個(gè)Block分塊隨著IT技術(shù)迅猛發(fā)展以及信息化的深入,數(shù)都作為獨(dú)立的存儲(chǔ)單元,以多副本備份策略進(jìn)行存據(jù)的生成量大約每兩年就會(huì)上翻一倍,幾乎

【參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前7條

1 羅象宏;舒繼武;;存儲(chǔ)系統(tǒng)中的糾刪碼研究綜述[J];計(jì)算機(jī)研究與發(fā)展;2012年01期

2 朱媛媛;王曉京;;基于GE碼的HDFS優(yōu)化方案[J];計(jì)算機(jī)應(yīng)用;2013年03期

3 史英杰;孟小峰;;云數(shù)據(jù)管理系統(tǒng)中查詢技術(shù)研究綜述[J];計(jì)算機(jī)學(xué)報(bào);2013年02期

4 李曉愷;代翔;李文杰;崔U，

本文編號(hào)：989857