本文關(guān)鍵詞：面向海量小文件的分布式存儲系統(tǒng)設(shè)計與實現(xiàn)

  更多相關(guān)文章： 分布式存儲 小文件 海量數(shù)據(jù) Protobuf 并發(fā)性

【摘要】：針對當(dāng)前大數(shù)據(jù)環(huán)境下急速增長的小文件的保存和管理問題,提出一種基于分布式海量小文件存儲系統(tǒng)的設(shè)計和實現(xiàn)方案。采用IO復(fù)用和異步調(diào)用技術(shù)開發(fā)分布式系統(tǒng),保證良好的并發(fā)性能和擴(kuò)展性,使用Redis系統(tǒng)提高元數(shù)據(jù)存儲和檢索效率,采用Google Protobuf設(shè)計一套消息傳遞和分發(fā)機(jī)制,通過塊存儲方案提高大量小文件在單機(jī)存儲系統(tǒng)上的IO效率并降低磁盤碎片化。實驗結(jié)果表明,該系統(tǒng)在并發(fā)性、吞吐率測試上都有良好表現(xiàn),是一個較為穩(wěn)定高效的海量小文件分布式存儲系統(tǒng)。
【作者單位】： 中國石油大學(xué)地球物理與信息工程學(xué)院;中國石油大學(xué)油氣數(shù)據(jù)挖掘北京市重點實驗室;
【關(guān)鍵詞】： 分布式存儲 小文件 海量數(shù)據(jù) Protobuf 并發(fā)性
【分類號】：TP333
【正文快照】： 0引言主流存儲系統(tǒng)大都面向于TB級別的大型數(shù)據(jù),小文件的存儲效率不高[1-3]。根據(jù)HDFS設(shè)計,文件采用元數(shù)據(jù)作為記錄的最小單位,當(dāng)大量的小文件存儲到HDFS中時,NameNode會耗盡大部分內(nèi)存,造成存儲效率低下,限制了文件的訪問速度[4]。Dong Bo等在BlueSky中使用文件合并和預(yù)讀機(jī)

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 何公明;張元濤;;面向數(shù)字媒體的高性能分布式存儲系統(tǒng)的研究與應(yīng)用[J];廣播電視信息;2009年10期

2 范劍波,郭建康;分布式存儲系統(tǒng)性能模型的建立與應(yīng)用[J];計算機(jī)工程與應(yīng)用;2001年13期

3 范劍波,徐利浩;分布式存儲系統(tǒng)可靠性的研究[J];計算機(jī)工程;2001年06期

4 吳英;謝廣軍;劉t，

本文編號：714438