分布式并行文件系統(tǒng)和副本的管理策略是目前比較熱門的研究內(nèi)容,近年來,美國、加拿大、澳大利亞等很多國家的一些大學和科研小組都在進行并行文件系統(tǒng)的研究,研制出一批各具特色的并行文件系統(tǒng)模型;一些計算機廠家也開發(fā)出一批專用并行文件系統(tǒng),這些系統(tǒng)多為運行在UNIX操作系統(tǒng)的網(wǎng)絡工作站或?qū)Ｓ貌⑿袡C上運行,包括商用并行文件系統(tǒng)、用于研究的并行文件系統(tǒng)以及公開源代碼的并行文件系統(tǒng)。還有為運行Linux操作系統(tǒng)的機群設(shè)計的,HDFS作為一種新興的并行文件系統(tǒng),它既有通用并行文件的特點,同時又有自己不同的需求和設(shè)計目標,它支持海量的大文件存儲,文件大小一般都以GB為單位,有效地支持跑在其上的應用程序批處理和具有高吞吐量的作業(yè)。 副本的管理策略研究是分布是并行文件系統(tǒng)中的熱門研究內(nèi)容,本文提出了基于HDFS的動態(tài)副本管理模型,包括副本放置策略、動態(tài)副本創(chuàng)建策略和動態(tài)副本刪除策略,這些策略動態(tài)的對HDFS中的副本進行管理,優(yōu)化了系統(tǒng)的性能。

【文章頁數(shù)】：57 頁

【學位級別】：碩士

【部分圖文】：

圖4.1動態(tài)副本管理模型

圖4.1動態(tài)副本管理模型4.3副本管理技術(shù)的基本概念本節(jié)基于分布式文件系統(tǒng)領(lǐng)域，給出HDFS動態(tài)副本管理的基本概念。定義4.1.數(shù)據(jù)塊數(shù)據(jù)塊是HDFS中數(shù)據(jù)存儲的基本單位，保存在HDFS中的文件除了最后一個數(shù)塊外，其他的被默認的分為64M大小的數(shù)據(jù)塊，這....

本文編號：3919387