分級存儲系統(tǒng)通常根據(jù)訪問頻率將數(shù)據(jù)分層:將訪問頻率最高的數(shù)據(jù)放在快速存儲設備中(熱數(shù)據(jù)層),將訪問頻率最低的數(shù)據(jù)存儲在慢速存儲設備中(冷數(shù)據(jù)層),將訪問頻率介于兩者之間的數(shù)據(jù)放在中速存儲設備中(溫數(shù)據(jù)層)。分布式文件系統(tǒng)通常使用多副本技術來保證系統(tǒng)的可靠性和可用性,比如在集群的不同節(jié)點上保存數(shù)據(jù)的三個副本,多副本技術通常在熱數(shù)據(jù)層被使用。類似于Reed Solomon的糾刪碼技術(Erasure Code)正越來越多被使用,因為糾刪碼技術能夠進一步地減小存儲開銷,但是其提供了較低性能的I/O和可用性。所以糾刪碼技術被更多地用來存儲冷數(shù)據(jù)(比如冷存儲層)�，F(xiàn)有系統(tǒng)使用三副本復制,糾刪碼技術或將兩者融合合來實現(xiàn)異構存儲系統(tǒng)。在這些實現(xiàn)中,多副本技術和糾刪碼技術的融合表明:兩種技術在I/O性能和存儲成本方面存在著巨大差距,這導致將數(shù)據(jù)從一種形式遷移到另一種形式將產大巨大的系統(tǒng)開銷。因此,現(xiàn)有的方法不適用于溫數(shù)據(jù)層實現(xiàn),特別是在分層存儲系統(tǒng)中。為了解決這個問題,在本文中我們引入了Warm Cache,一種用于存儲溫數(shù)據(jù)的新數(shù)據(jù)層:將一個副本通過糾刪碼技術存儲,另一個副本則存儲在主存儲數(shù)據(jù)層中。... 

【文章來源】：上海交通大學上海市 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：67 頁

【學位級別】：碩士

【文章目錄】：
摘要
ABSTRACT
Symbols definition
Chapter 1 Introduction
    1.1 Research Background
    1.2 Value of our research
    1.3 Research goal
    1.4 Organization
Chapter 2 Related work
    2.1 Replication
    2.2 Erasure coding
    2.3 Comprehensive solutions by combining replication and ECs
    2.4 Caching in DFS
    2.5 Prefetching and cache warm-up
    2.6 Motivation of our idea
Chapter 3 Design of Warm Cache
    3.1 Key Idea
    3.2 Identify data temperature and data layer threshold
    3.3 Data allocation and burst algorithm
    3.4 Warm data layer fault recovery
    3.5 Scalability
    3.6 Read and write operations
    3.7 Burst scenario analysis
Chapter 4 Evaluation
    4.1 Methodology
    4.2 Setup
    4.3 Defining parameters
    4.4 Experimental results
    4.5 Analysis
    4.6 Conclusion
Summary
REFERENCES
Acknowledgement
Academic papers published during degree study



本文編號：2910318