發(fā)布時(shí)間：2017-09-03 21:16

  本文關(guān)鍵詞：分布式存儲(chǔ)系統(tǒng)優(yōu)化技術(shù)研究

  更多相關(guān)文章： 分布式存儲(chǔ) 數(shù)據(jù)存儲(chǔ)安全 存儲(chǔ)效率優(yōu)化

【摘要】：近年來,由于信息技術(shù)的發(fā)展,科學(xué)技術(shù)和商業(yè)計(jì)算等眾多應(yīng)用領(lǐng)域產(chǎn)生了規(guī)模巨大的數(shù)據(jù),并且數(shù)據(jù)量仍在快速增加。為了提高存儲(chǔ)效率,通常將一個(gè)大的文件分散存儲(chǔ)為多個(gè)小的數(shù)據(jù)塊,因此必須采用高可靠的數(shù)據(jù)放置和副本冗余策略保證每個(gè)小數(shù)據(jù)塊的存儲(chǔ)安全,以免因小數(shù)據(jù)塊丟失發(fā)生用戶文件失效的災(zāi)難性后果。目前主流的大規(guī)模分布式存儲(chǔ)系統(tǒng)通常利用多個(gè)數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)分擔(dān)存儲(chǔ)處理的負(fù)荷,具有成本低、數(shù)據(jù)安全、可用性高、易擴(kuò)展和易管理等優(yōu)勢(shì),已經(jīng)成為未來存儲(chǔ)發(fā)展的一種趨勢(shì)。本文針對(duì)大規(guī)模分布式存儲(chǔ)系統(tǒng)I/O路徑復(fù)雜和存儲(chǔ)節(jié)點(diǎn)故障常態(tài)等問題,在開源的Ceph系統(tǒng)基礎(chǔ)上提出了基于層級(jí)映射方式的數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)組織和選擇過程算法優(yōu)化模型,通過重新定義不同的層級(jí)容器數(shù)據(jù)結(jié)構(gòu)和選擇算法處理存儲(chǔ)節(jié)點(diǎn)增加或移除導(dǎo)致的數(shù)據(jù)遷移問題,降低總體計(jì)算復(fù)雜度。根據(jù)現(xiàn)代數(shù)據(jù)中心常用的數(shù)據(jù)存儲(chǔ)安全策略,本文還研究了分布式存儲(chǔ)系統(tǒng)中數(shù)據(jù)放置和副本冗余策略對(duì)數(shù)據(jù)安全性的影響,提出3種能夠兼顧存儲(chǔ)效率和數(shù)據(jù)安全的存儲(chǔ)模型,在保證數(shù)據(jù)可靠的前提下提供高效的數(shù)據(jù)讀寫速度。利用IOZONE仿真實(shí)驗(yàn)軟件對(duì)提出的存儲(chǔ)模型進(jìn)行數(shù)據(jù)存儲(chǔ)讀寫速率測(cè)試評(píng)估,并與Ceph系統(tǒng)默認(rèn)的算法性能進(jìn)行對(duì)比。實(shí)驗(yàn)結(jié)果表明,當(dāng)冗余副本為3份時(shí),本文提出的第3種算法結(jié)構(gòu)優(yōu)化組合模型(即root、rack、host存儲(chǔ)節(jié)點(diǎn)的算法結(jié)構(gòu)分別為staw、tree、uniform)數(shù)據(jù)讀寫性能表現(xiàn)最好。本文在考慮數(shù)據(jù)分布算法、數(shù)理副本放置策略和存儲(chǔ)效率優(yōu)化前提下構(gòu)建了具體的測(cè)試環(huán)境,并對(duì)其性能進(jìn)行了詳細(xì)的評(píng)估。最后,總結(jié)了全文的主要工作,并對(duì)下一步研究工作進(jìn)行了展望。
【關(guān)鍵詞】：分布式存儲(chǔ) 數(shù)據(jù)存儲(chǔ)安全 存儲(chǔ)效率優(yōu)化
【學(xué)位授予單位】：湖南大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2015
【分類號(hào)】：TP333
【目錄】：

• 摘要5-6
• Abstract6-11
• 第1章 緒論11-16
• 1.1 研究背景及意義11-12
• 1.2 國(guó)內(nèi)外研究現(xiàn)狀12-13
• 1.3 主要研究?jī)?nèi)容13-14
• 1.4 本文結(jié)構(gòu)與組織14-16
• 第2章 分布式存儲(chǔ)相關(guān)研究16-24
• 2.1 數(shù)據(jù)存儲(chǔ)可靠性原則16-17
• 2.2 典型的分布式存儲(chǔ)系統(tǒng)17-21
• 2.2.1 Google File System17-18
• 2.2.2 Hadoop Disturbed File System18-19
• 2.2.3 Ceph File System19-20
• 2.2.4 Amazon S320-21
• 2.3 主要存在的問題21-23
• 2.4 小結(jié)23-24
• 第3章 數(shù)據(jù)分布算法優(yōu)化24-32
• 3.1 Ceph的分布式存儲(chǔ)算法模型及問題24-25
• 3.2 數(shù)據(jù)分布算法優(yōu)化25-28
• 3.2.1 層級(jí)映射組織及算法優(yōu)化25-26
• 3.2.2 Bucket容器數(shù)據(jù)結(jié)構(gòu)改進(jìn)26-27
• 3.2.3 副本分布操作模型27-28
• 3.2.4 處理存儲(chǔ)沖突、故障、超載28
• 3.3 算法流程28-30
• 3.4 小結(jié)30-32
• 第4章 數(shù)據(jù)副本放置策略及存儲(chǔ)效率優(yōu)化32-43
• 4.1 數(shù)據(jù)存儲(chǔ)的安全性32-34
• 4.2 數(shù)據(jù)組織結(jié)構(gòu)及放置策略34-35
• 4.3 存儲(chǔ)算法分析及優(yōu)化35-39
• 4.4 性能測(cè)試分析39-42
• 4.5 小結(jié)42-43
• 第5章 基于Ceph的分布式存儲(chǔ)系統(tǒng)方案及性能測(cè)試43-50
• 5.1 系統(tǒng)總體架構(gòu)43-44
• 5.2 系統(tǒng)功能結(jié)構(gòu)44-45
• 5.3 分布式存儲(chǔ)系統(tǒng)方案測(cè)試環(huán)境45-46
• 5.4 性能測(cè)試46-49
• 5.5 小結(jié)49-50
• 結(jié)論50-52
• 參考文獻(xiàn)52-56
• 致謝56

【參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫 前8條

1 劉正偉;文中領(lǐng);張海濤;;云計(jì)算和云數(shù)據(jù)管理技術(shù)[J];計(jì)算機(jī)研究與發(fā)展;2012年S1期

2 張維琪;閆瑾;邊根慶;;基于權(quán)值跳表的分布式數(shù)據(jù)定位策略與實(shí)現(xiàn)[J];西安郵電學(xué)院學(xué)報(bào);2012年01期

3 劉少偉;孔令梅;任開軍;宋君強(qiáng);鄧科峰;冷洪澤;;云環(huán)境下優(yōu)化科學(xué)工作流執(zhí)行性能的兩階段數(shù)據(jù)放置與任務(wù)調(diào)度策略[J];計(jì)算機(jī)學(xué)報(bào);2011年11期

4 楊振賢;;基于云計(jì)算的安全數(shù)據(jù)存儲(chǔ)研究與設(shè)計(jì)[J];信息安全與技術(shù);2011年10期

5 唐箭;;云存儲(chǔ)系統(tǒng)的分析與應(yīng)用研究[J];電腦知識(shí)與技術(shù);2009年20期

6 劉翔;汪海玲;;分布式存儲(chǔ)中的一種數(shù)據(jù)放置策略[J];計(jì)算機(jī)與數(shù)字工程;2009年05期

7 蘇勇;周敬利;余勝生;姜明華;劉鋼;;基于共享存儲(chǔ)池的元數(shù)據(jù)服務(wù)器機(jī)群的設(shè)計(jì)研究[J];小型微型計(jì)算機(jī)系統(tǒng);2007年04期

8 張薇;馬建峰;;LPCA——分布式存儲(chǔ)中的數(shù)據(jù)分離算法[J];系統(tǒng)工程與電子技術(shù);2007年03期

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫 前1條

1 梁興輝;云存儲(chǔ)環(huán)境下數(shù)據(jù)副本技術(shù)研究[D];南京郵電大學(xué);2013年

，

本文編號(hào)：787374