本文關(guān)鍵詞：分布式文件系統(tǒng)元數(shù)據(jù)擴(kuò)展管理研究與實(shí)現(xiàn)

  更多相關(guān)文章： 分布式文件系統(tǒng) 元數(shù)據(jù)擴(kuò)展管理系統(tǒng) 域 負(fù)載均衡

【摘要】：隨著互聯(lián)網(wǎng)的高速發(fā)展,各個(gè)行業(yè)數(shù)據(jù)規(guī)模越來越大,海量的數(shù)據(jù)和文件需要被存儲(chǔ),給分布式文件系統(tǒng)帶來了巨大的挑戰(zhàn)。分布式文件系統(tǒng)中元數(shù)據(jù)和數(shù)據(jù)分開存儲(chǔ)。元數(shù)據(jù)管理系統(tǒng)管理元數(shù)據(jù),是分布式文件系統(tǒng)中的最關(guān)鍵部分,但是目前的元數(shù)據(jù)管理系統(tǒng)的管理機(jī)制并不能解決當(dāng)前面臨的挑戰(zhàn)�；诖�,本文提出了一種基于域的元數(shù)據(jù)擴(kuò)展管理系統(tǒng),其中域是元數(shù)據(jù)的組織單位,是元數(shù)據(jù)的分割粒度。元數(shù)據(jù)分割粒度直接影響元數(shù)據(jù)擴(kuò)展管理系統(tǒng)的可擴(kuò)展性.、并發(fā)性能、數(shù)據(jù)一致性和負(fù)載均衡。本文通過分析傳統(tǒng)的元數(shù)據(jù)分割技術(shù),認(rèn)為域作為分割粒度最為合適。 本文提出了與基于域(zone)的元數(shù)據(jù)分割策略匹配的負(fù)載均衡策略,解決域在元數(shù)據(jù)服務(wù)器集群中的分布問題和熱點(diǎn)出現(xiàn)時(shí)域的遷移問題。當(dāng)一個(gè)新的域需要被分配時(shí),該策略通過哈希分布策略將域隨機(jī)分布到一臺(tái)元數(shù)據(jù)服務(wù)器上,保證了域的分布是均勻的。當(dāng)一臺(tái)元數(shù)據(jù)服務(wù)器成為訪問熱點(diǎn)時(shí),該策略會(huì)將該臺(tái)元數(shù)據(jù)服務(wù)器上的元數(shù)據(jù)按域遷移到負(fù)載較低的元數(shù)據(jù)服務(wù)器上,通過遷移元數(shù)據(jù),改變用戶的訪問目的地,充分利用空閑元數(shù)據(jù)服務(wù)器集群的系統(tǒng)資源,進(jìn)而達(dá)到負(fù)載均衡的效果。 除此之外,本文還提出了元數(shù)據(jù)擴(kuò)展管理系統(tǒng)的可用性保障機(jī)制,通過雙機(jī)熱備份機(jī)制和基于日志的故障恢復(fù)機(jī)制保證元數(shù)據(jù)擴(kuò)展管理系統(tǒng)的平穩(wěn)運(yùn)行。 最后,本文實(shí)現(xiàn)了一個(gè)基于域(zone)的元數(shù)據(jù)擴(kuò)展管理系統(tǒng)原型,并以此實(shí)現(xiàn)一個(gè)分布式文件系統(tǒng),通過對(duì)系統(tǒng)的測(cè)試,證明了基于域的元數(shù)據(jù)擴(kuò)展管理系統(tǒng)具有容易擴(kuò)展、支持高并發(fā)以及負(fù)載均衡的優(yōu)點(diǎn)。
【關(guān)鍵詞】：分布式文件系統(tǒng) 元數(shù)據(jù)擴(kuò)展管理系統(tǒng) 域 負(fù)載均衡
【學(xué)位授予單位】：北京郵電大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2014
【分類號(hào)】：TP333
【目錄】：

• 摘要4-6
• ABSTRACT6-10
• 第一章 緒論10-20
• 1.1 研究背景10-11
• 1.2 國(guó)內(nèi)外現(xiàn)狀11-17
• 1.2.1 分布式文件系統(tǒng)現(xiàn)狀11-15
• 1.2.2 元數(shù)據(jù)管理系統(tǒng)的架構(gòu)演變15-16
• 1.2.3 元數(shù)據(jù)擴(kuò)展管理技術(shù)16-17
• 1.3 本文主要研究?jī)?nèi)容17-18
• 1.4 本文的組織18-20
• 第二章 元數(shù)據(jù)管理系統(tǒng)技術(shù)研究20-32
• 2.1 元數(shù)據(jù)管理策略20-25
• 2.1.1 元數(shù)據(jù)無分割策略20-21
• 2.1.2 元數(shù)據(jù)擴(kuò)展管理策略21-25
• 2.2 元數(shù)據(jù)分割粒度分析25-27
• 2.3 元數(shù)據(jù)服務(wù)器集群的負(fù)載均衡策略27-29
• 2.3.1 負(fù)載均衡面臨的主要問題27-28
• 2.3.2 常用的負(fù)載均衡問題解決方法28
• 2.3.3 負(fù)載均衡評(píng)價(jià)指標(biāo)28-29
• 2.4 元數(shù)據(jù)管理的可用性研究29-30
• 2.5 元數(shù)據(jù)數(shù)據(jù)一致性保障策略30
• 2.6 本章小結(jié)30-32
• 第三章 基于域(zone)的元數(shù)據(jù)擴(kuò)展管理系統(tǒng)32-48
• 3.1 基于域(zone)元數(shù)據(jù)分割策略32-34
• 3.2 基于域(zone)的負(fù)載均衡策略34-37
• 3.3 可用性保障策略37-39
• 3.4 基于域(zone)的元數(shù)據(jù)擴(kuò)展管理系統(tǒng)的基本架構(gòu)39-41
• 3.5 基于域(zone)的元數(shù)據(jù)擴(kuò)展管理系統(tǒng)中的元數(shù)據(jù)類型41-43
• 3.6 基于域(zone)的元數(shù)據(jù)擴(kuò)展管理系統(tǒng)的工作流程43-47
• 3.6.1 元數(shù)據(jù)的讀寫流程43-45
• 3.6.2 負(fù)載均衡流程45-46
• 3.6.3 故障恢復(fù)流程46-47
• 3.7 本章小結(jié)47-48
• 第四章 基于域(zone)的元數(shù)據(jù)擴(kuò)展管理系統(tǒng)的實(shí)現(xiàn)48-61
• 4.1 SandBox的原型架構(gòu)48-49
• 4.2 軟件設(shè)計(jì)49-60
• 4.2.1 元數(shù)據(jù)服務(wù)器49-56
• 4.2.2 域(zone)服務(wù)器56-57
• 4.2.3 客戶端57-58
• 4.2.4 數(shù)據(jù)服務(wù)器58-59
• 4.2.5 備份服務(wù)器59-60
• 4.3 本章小結(jié)60-61
• 第五章 基于域(zone)的元數(shù)據(jù)擴(kuò)展管理系統(tǒng)的測(cè)試61-67
• 5.1 測(cè)試環(huán)境61
• 5.2 測(cè)試內(nèi)容61-65
• 5.2.1 吞吐量測(cè)試62-64
• 5.2.2 負(fù)載均衡測(cè)試64-65
• 5.3 本章小結(jié)65-67
• 第六章 總結(jié)與展望67-69
• 6.1 總結(jié)67-68
• 6.2 展望68-69
• 參考文獻(xiàn)69-73
• 附錄73-74
• 致謝74-75
• 作者攻讀學(xué)位期間發(fā)表的學(xué)術(shù)論文目錄75

【參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前9條

1 王征;劉心松;李美安;;一種高效的基于可復(fù)制資源的分布式負(fù)載均衡策略[J];電子學(xué)報(bào);2006年08期

2 熊勁,范志華,馬捷,唐榮鋒,李暉,孟丹;DCFS2的元數(shù)據(jù)一致性策略[J];計(jì)算機(jī)研究與發(fā)展;2005年06期

3 胡進(jìn)鋒;洪春輝;鄭緯民;;一種面向?qū)ο蟮腎nternet存儲(chǔ)服務(wù)系統(tǒng)Granary[J];計(jì)算機(jī)研究與發(fā)展;2007年06期

4 田穎,許魯;分布式文件系統(tǒng)中的負(fù)載平衡技術(shù)[J];計(jì)算機(jī)工程;2003年19期

5 劉曉潔;黃永佳;;基于Linux的雙機(jī)熱備系統(tǒng)的實(shí)現(xiàn)技術(shù)[J];計(jì)算機(jī)應(yīng)用研究;2007年04期

6 廖彬;于炯;錢育蓉;楊興耀;;基于可用性度量的分布式文件系統(tǒng)節(jié)點(diǎn)失效恢復(fù)算法[J];計(jì)算機(jī)科學(xué);2013年01期

7 郭莉;劉偉;黃海;;大型分布式存儲(chǔ)系統(tǒng)高效元數(shù)據(jù)管理[J];微計(jì)算機(jī)信息;2008年09期

8 陳志剛,李登,曾志文;分布式系統(tǒng)中一種動(dòng)態(tài)負(fù)載均衡策略、相關(guān)模型及算法研究[J];小型微型計(jì)算機(jī)系統(tǒng);2002年12期

9 陳志剛,李登,曾志文;分布式系統(tǒng)中動(dòng)態(tài)負(fù)載均衡實(shí)現(xiàn)模型[J];中南工業(yè)大學(xué)學(xué)報(bào)(自然科學(xué)版);2001年06期

，

本文編號(hào)：1001897