發(fā)布時(shí)間：2017-05-18 06:07

  本文關(guān)鍵詞：云存儲(chǔ)中數(shù)據(jù)的分發(fā)與遷移機(jī)制的研究，由筆耕文化傳播整理發(fā)布。

【摘要】：隨著云時(shí)代的來(lái)臨,大數(shù)據(jù)(Big data)也吸引了越來(lái)越多行業(yè)以及學(xué)術(shù)界的關(guān)注。近些年中,數(shù)據(jù)以指數(shù)級(jí)的速度增長(zhǎng),為了保證數(shù)據(jù)中心的對(duì)外提供服務(wù)的質(zhì)量,實(shí)現(xiàn)更好的分布式文件存儲(chǔ),大多數(shù)企業(yè)在云計(jì)算(或云模型)使用特定形式的和服務(wù)來(lái)訪問(wèn)或存儲(chǔ)各種資源來(lái)對(duì)外服務(wù),動(dòng)態(tài)數(shù)據(jù)遷移技術(shù)能夠把訪問(wèn)量高的數(shù)據(jù)遷移到其他服務(wù)器中,從而有效的緩解了I/O瓶頸的問(wèn)題,并且減少他們的運(yùn)營(yíng)成本。動(dòng)態(tài)遷移技術(shù)把分散在各個(gè)物理主機(jī)中的數(shù)據(jù)進(jìn)行遷移,并以各種不同的方式存儲(chǔ)在服務(wù)器中,使得數(shù)據(jù)的存儲(chǔ)位置具有很大的靈活性。因此,“云提供商”提供的服務(wù),通過(guò)使用動(dòng)態(tài)數(shù)據(jù)遷移技術(shù),以實(shí)現(xiàn)多重目標(biāo),包括收入最大化,運(yùn)營(yíng)成本降低,以及綠色I(xiàn)T,或者保證不同地理位置的用戶的服務(wù)需求。因此,最近的一些研究更側(cè)重于如何設(shè)計(jì)或者改進(jìn)動(dòng)態(tài)數(shù)據(jù)遷移的算法。在大數(shù)據(jù)分析以及非結(jié)構(gòu)化數(shù)據(jù)蔓延的背景下,Hadoop受到了前所未有的關(guān)注,分布式文件系統(tǒng)HDFS(Hadoop Distributed File System)作為其中的一個(gè)項(xiàng)目,作為一個(gè)分布式文件存儲(chǔ)系統(tǒng),它可以進(jìn)行文件的操作,例如,創(chuàng)建、刪除、移動(dòng)或重命名等。但是HDFS的架構(gòu)是基于一組特定的節(jié)點(diǎn)構(gòu)建的,這是由它自身的特點(diǎn)決定的。這些節(jié)點(diǎn)包括NameNode(僅一個(gè)),它在HDFS內(nèi)部提供元數(shù)據(jù)服務(wù);DataNode為HDFS提供存儲(chǔ)塊。雖然Data Node會(huì)周期性地將所有存在的Block信息發(fā)送給NameNode,但是NameNode之間并不知道其他NameNode內(nèi)部所存儲(chǔ)的數(shù)據(jù)信息情況。因此,本文進(jìn)一步研究的HDFS的系統(tǒng)架構(gòu)和節(jié)點(diǎn)之間的關(guān)系,設(shè)計(jì)出一種高效,動(dòng)態(tài)的數(shù)據(jù)遷移算法進(jìn)而優(yōu)化遷移性能。在本文中,研究了多個(gè)NameNode節(jié)點(diǎn)之間信息副本同步性和數(shù)據(jù)的動(dòng)態(tài)游走的問(wèn)題。首先本文提出了多個(gè)NameNode之間創(chuàng)建mapping-table表,把數(shù)據(jù)遷移的具體信息寫(xiě)入到該表中,使得數(shù)據(jù)在節(jié)點(diǎn)之間的一致性和動(dòng)態(tài)遷移,實(shí)現(xiàn)了高效實(shí)時(shí)的分布式的數(shù)據(jù)遷移機(jī)制。然后,基于貝葉斯算法對(duì)“冷”數(shù)據(jù)進(jìn)行合理的刪除。在傳統(tǒng)的貝葉斯定理的應(yīng)用中是基于一個(gè)事件,隨后計(jì)算其概率,但是在本算法中,通過(guò)對(duì)數(shù)據(jù)分析,最后基于數(shù)據(jù)訪問(wèn)的數(shù)量和周圍主機(jī)中存在的數(shù)據(jù)數(shù)量作為數(shù)據(jù)刪除的兩項(xiàng)條件,因此,通過(guò)應(yīng)用貝葉斯公式的擴(kuò)展,計(jì)算出的刪除概率更加的合理、科學(xué)、準(zhǔn)確。同時(shí)通過(guò)使用得出的概率,對(duì)此進(jìn)行概率從高到低的排列,對(duì)“冷”數(shù)據(jù)進(jìn)行刪除。
【關(guān)鍵詞】：數(shù)據(jù)遷移 大數(shù)據(jù) 分布式文件存儲(chǔ) 貝葉斯公式的推廣
【學(xué)位授予單位】：長(zhǎng)春工業(yè)大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：TP333
【目錄】：

• 摘要3-4
• Abstract4-7
• 第一章 緒論7-12
• 1.1 課題研究背景及意義7-8
• 1.1.1 課題研究背景7
• 1.1.2 課題研究意義7-8
• 1.2 課題的創(chuàng)新性成果8-10
• 1.3 課題研究?jī)?nèi)容的結(jié)構(gòu)10
• 1.4 論文章節(jié)安排10-12
• 第二章 數(shù)據(jù)遷移技術(shù)概述12-18
• 2.1 數(shù)據(jù)遷移的意義12-13
• 2.2 數(shù)據(jù)遷移的現(xiàn)狀13-15
• 2.3 數(shù)據(jù)遷移的方法15
• 2.4 數(shù)據(jù)遷移的分類15-18
• 2.4.1 數(shù)據(jù)庫(kù)遷移15-16
• 2.4.2 虛擬機(jī)遷移16-18
• 第三章 數(shù)據(jù)遷移相關(guān)技術(shù)分析18-24
• 3.1 數(shù)據(jù)存儲(chǔ)技術(shù)18-19
• 3.1.1 表格存儲(chǔ)（Table Store）18
• 3.1.2 FastDFS18-19
• 3.1.3 Spectrum Storage19
• 3.2 HDFS系統(tǒng)的分析19-22
• 3.2.1 HDFS體系架構(gòu)19-20
• 3.2.2 HDFS運(yùn)行機(jī)制20-22
• 3.3 服務(wù)質(zhì)量（QOS）22-24
• 3.3.1 QOS的意義22-23
• 3.3.2 QOS的模型23-24
• 第四章 數(shù)據(jù)遷移系統(tǒng)（DDI）的設(shè)計(jì)與實(shí)現(xiàn)24-35
• 4.1 DDI算法的系統(tǒng)架構(gòu)24
• 4.2 DDI算法的形式化24-26
• 4.3 DDI算法的實(shí)現(xiàn)步驟26-28
• 4.4 DDI算法偽代碼的實(shí)現(xiàn)28-29
• 4.5 Mapping-table表的設(shè)計(jì)29-32
• 4.6 貝葉斯定理的推廣32-35
• 第五章 算法性能測(cè)試35-39
• 5.1 實(shí)驗(yàn)環(huán)境35
• 5.2 算法性能分析與測(cè)試35-38
• 5.2.1 數(shù)據(jù)刪除的合理性36
• 5.2.2 內(nèi)存的消耗36-37
• 5.2.3 數(shù)據(jù)傳輸?shù)耐掏铝?/span>37-38
• 5.3 實(shí)驗(yàn)總結(jié)38-39
• 第六章 本文的總結(jié)39-40
• 致謝40-41
• 參考文獻(xiàn)41-45
• 作者簡(jiǎn)介45
• 攻讀碩士學(xué)位期間研究成果45

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 王春靖;FAT32的優(yōu)點(diǎn)[J];電腦愛(ài)好者;1998年03期

2 何文才;鄭釗;劉培鶴;杜敏;;一種基于目錄數(shù)據(jù)分離存儲(chǔ)的文件存儲(chǔ)方法的研究與實(shí)現(xiàn)[J];網(wǎng)絡(luò)安全技術(shù)與應(yīng)用;2014年01期

3 飛雪散花;;手機(jī)文件存儲(chǔ)看我的[J];電腦迷;2012年05期

4 孫有軍;張大興;;海量圖片文件存儲(chǔ)去重技術(shù)研究[J];計(jì)算機(jī)應(yīng)用與軟件;2014年04期

5 ;金剛指——計(jì)算機(jī)文件存儲(chǔ)的保護(hù)神[J];信息安全與通信保密;2001年12期

6 趙躍龍;謝曉玲;蔡詠才;王國(guó)華;劉霖;;一種性能優(yōu)化的小文件存儲(chǔ)訪問(wèn)策略的研究[J];計(jì)算機(jī)研究與發(fā)展;2012年07期

7 周國(guó)安;李強(qiáng);陳新;胡旭;;云環(huán)境下海量小文件存儲(chǔ)技術(shù)研究綜述[J];信息網(wǎng)絡(luò)安全;2014年06期

8 張美芳;電子文件存儲(chǔ)方式的研究[J];數(shù)字與縮微影像;2005年02期

9 陶慧;于守謙;劉夏;;適于測(cè)控系統(tǒng)的文件存儲(chǔ)結(jié)構(gòu)研究[J];計(jì)算機(jī)應(yīng)用與軟件;2010年11期

10 方勇;史躍輝;;淺談減少地形圖電子文件存儲(chǔ)冗余的幾種方法[J];江西測(cè)繪;2006年02期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前6條

1 任勇;朱立谷;張雷;彭建峰;;新型虛擬文件存儲(chǔ)系統(tǒng)的設(shè)計(jì)[A];第15屆全國(guó)信息存儲(chǔ)技術(shù)學(xué)術(shù)會(huì)議論文集[C];2008年

2 李浩;;基于制播分離的文件存儲(chǔ)和傳輸方式的探討[A];中國(guó)新聞技術(shù)工作者聯(lián)合會(huì)五屆二次理事會(huì)暨學(xué)術(shù)年會(huì)論文集（上篇）[C];2010年

3 陳海波;侯建衛(wèi);;針對(duì)海量詳單快速存儲(chǔ)檢索的實(shí)現(xiàn)方法[A];2011年通信與信息技術(shù)新進(jìn)展——第八屆中國(guó)通信學(xué)會(huì)學(xué)術(shù)年會(huì)論文集[C];2011年

4 陳海波;侯建衛(wèi);;針對(duì)海量詳單快速存儲(chǔ)檢索的實(shí)現(xiàn)方法[A];2011全國(guó)無(wú)線及移動(dòng)通信學(xué)術(shù)大會(huì)論文集[C];2011年

5 袁旦;張智君;;預(yù)覽時(shí)間對(duì)顏色判斷任務(wù)下客體文件存儲(chǔ)的影響[A];第十一屆全國(guó)心理學(xué)學(xué)術(shù)會(huì)議論文摘要集[C];2007年

6 黃步根;黃政;劉建軍;;SANYO數(shù)碼相機(jī)中被刪除視頻的恢復(fù)[A];第26次全國(guó)計(jì)算機(jī)安全學(xué)術(shù)交流會(huì)論文集[C];2011年

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫(kù) 前9條

1 本報(bào)記者 郭平;Isilon擴(kuò)充文件存儲(chǔ)產(chǎn)品線[N];計(jì)算機(jī)世界;2009年

2 本報(bào)記者 郭平;容量與性能 一樣都不能少[N];計(jì)算機(jī)世界;2010年

3 張峰;統(tǒng)一存儲(chǔ) 業(yè)務(wù)連續(xù)[N];網(wǎng)絡(luò)世界;2006年

4 清水　編譯;基于文件存儲(chǔ)大行其道[N];計(jì)算機(jī)世界;2011年

5 本報(bào)記者 郭濤;HCP Anywhere：為HDS內(nèi)容云錦上添花[N];中國(guó)計(jì)算機(jī)報(bào);2013年

6 于翔;讓IT如業(yè)務(wù)般運(yùn)營(yíng)的應(yīng)用路徑[N];網(wǎng)絡(luò)世界;2009年

7 劉一冰;IBM SoNAS專攻高端存儲(chǔ)客戶[N];電腦商報(bào);2010年

8 清水　編譯;云存儲(chǔ)：機(jī)遇下暗藏挑戰(zhàn)[N];計(jì)算機(jī)世界;2010年

9 沈建苗;互聯(lián)網(wǎng)存儲(chǔ) 你信得過(guò)嗎[N];計(jì)算機(jī)世界;2007年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 廖家趙;面向城軌線網(wǎng)的海量小文件存儲(chǔ)方法的研究與實(shí)現(xiàn)[D];華南理工大學(xué);2015年

2 李長(zhǎng)平;基于FastDFS架構(gòu)的小文件存儲(chǔ)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];哈爾濱工業(yè)大學(xué);2015年

3 葉道平;基于HADOOP的海量錄音文件存儲(chǔ)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2014年

4 張振猛;基于Hadoop的海量文件存儲(chǔ)系統(tǒng)的分析與設(shè)計(jì)[D];北京工業(yè)大學(xué);2015年

5 何高峰;基于HDFS的多租戶小文件存儲(chǔ)系統(tǒng)的研究與設(shè)計(jì)[D];浙江大學(xué);2016年

6 武奇;云存儲(chǔ)中數(shù)據(jù)的分發(fā)與遷移機(jī)制的研究[D];長(zhǎng)春工業(yè)大學(xué);2016年

7 宮海林;支持事務(wù)的文件存儲(chǔ)技術(shù)研究與系統(tǒng)實(shí)現(xiàn)[D];國(guó)防科學(xué)技術(shù)大學(xué);2006年

8 曹挹芬;分布式文件存儲(chǔ)與檢索平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[D];湖南大學(xué);2009年

9 黃斌;并行文件存儲(chǔ)系統(tǒng)關(guān)鍵技術(shù)的研究[D];華南理工大學(xué);2012年

10 蔣浩;分布式文件存儲(chǔ)系統(tǒng)副本管理方法研究[D];浙江大學(xué);2013年

  本文關(guān)鍵詞：云存儲(chǔ)中數(shù)據(jù)的分發(fā)與遷移機(jī)制的研究，由筆耕文化傳播整理發(fā)布。

，

本文編號(hào)：375246