本文關鍵詞：云存儲中數(shù)據(jù)的分發(fā)與遷移機制的研究，由筆耕文化傳播整理發(fā)布。

【摘要】：隨著云時代的來臨,大數(shù)據(jù)(Big data)也吸引了越來越多行業(yè)以及學術(shù)界的關注。近些年中,數(shù)據(jù)以指數(shù)級的速度增長,為了保證數(shù)據(jù)中心的對外提供服務的質(zhì)量,實現(xiàn)更好的分布式文件存儲,大多數(shù)企業(yè)在云計算(或云模型)使用特定形式的和服務來訪問或存儲各種資源來對外服務,動態(tài)數(shù)據(jù)遷移技術(shù)能夠把訪問量高的數(shù)據(jù)遷移到其他服務器中,從而有效的緩解了I/O瓶頸的問題,并且減少他們的運營成本。動態(tài)遷移技術(shù)把分散在各個物理主機中的數(shù)據(jù)進行遷移,并以各種不同的方式存儲在服務器中,使得數(shù)據(jù)的存儲位置具有很大的靈活性。因此,“云提供商”提供的服務,通過使用動態(tài)數(shù)據(jù)遷移技術(shù),以實現(xiàn)多重目標,包括收入最大化,運營成本降低,以及綠色IT,或者保證不同地理位置的用戶的服務需求。因此,最近的一些研究更側(cè)重于如何設計或者改進動態(tài)數(shù)據(jù)遷移的算法。在大數(shù)據(jù)分析以及非結(jié)構(gòu)化數(shù)據(jù)蔓延的背景下,Hadoop受到了前所未有的關注,分布式文件系統(tǒng)HDFS(Hadoop Distributed File System)作為其中的一個項目,作為一個分布式文件存儲系統(tǒng),它可以進行文件的操作,例如,創(chuàng)建、刪除、移動或重命名等。但是HDFS的架構(gòu)是基于一組特定的節(jié)點構(gòu)建的,這是由它自身的特點決定的。這些節(jié)點包括NameNode(僅一個),它在HDFS內(nèi)部提供元數(shù)據(jù)服務;DataNode為HDFS提供存儲塊。雖然Data Node會周期性地將所有存在的Block信息發(fā)送給NameNode,但是NameNode之間并不知道其他NameNode內(nèi)部所存儲的數(shù)據(jù)信息情況。因此,本文進一步研究的HDFS的系統(tǒng)架構(gòu)和節(jié)點之間的關系,設計出一種高效,動態(tài)的數(shù)據(jù)遷移算法進而優(yōu)化遷移性能。在本文中,研究了多個NameNode節(jié)點之間信息副本同步性和數(shù)據(jù)的動態(tài)游走的問題。首先本文提出了多個NameNode之間創(chuàng)建mapping-table表,把數(shù)據(jù)遷移的具體信息寫入到該表中,使得數(shù)據(jù)在節(jié)點之間的一致性和動態(tài)遷移,實現(xiàn)了高效實時的分布式的數(shù)據(jù)遷移機制。然后,基于貝葉斯算法對“冷”數(shù)據(jù)進行合理的刪除。在傳統(tǒng)的貝葉斯定理的應用中是基于一個事件,隨后計算其概率,但是在本算法中,通過對數(shù)據(jù)分析,最后基于數(shù)據(jù)訪問的數(shù)量和周圍主機中存在的數(shù)據(jù)數(shù)量作為數(shù)據(jù)刪除的兩項條件,因此,通過應用貝葉斯公式的擴展,計算出的刪除概率更加的合理、科學、準確。同時通過使用得出的概率,對此進行概率從高到低的排列,對“冷”數(shù)據(jù)進行刪除。
【關鍵詞】：數(shù)據(jù)遷移 大數(shù)據(jù) 分布式文件存儲 貝葉斯公式的推廣
【學位授予單位】：長春工業(yè)大學
【學位級別】：碩士
【學位授予年份】：2016
【分類號】：TP333
【目錄】：

• 摘要3-4
• Abstract4-7
• 第一章 緒論7-12
• 1.1 課題研究背景及意義7-8
• 1.1.1 課題研究背景7
• 1.1.2 課題研究意義7-8
• 1.2 課題的創(chuàng)新性成果8-10
• 1.3 課題研究內(nèi)容的結(jié)構(gòu)10
• 1.4 論文章節(jié)安排10-12
• 第二章 數(shù)據(jù)遷移技術(shù)概述12-18
• 2.1 數(shù)據(jù)遷移的意義12-13
• 2.2 數(shù)據(jù)遷移的現(xiàn)狀13-15
• 2.3 數(shù)據(jù)遷移的方法15
• 2.4 數(shù)據(jù)遷移的分類15-18
• 2.4.1 數(shù)據(jù)庫遷移15-16
• 2.4.2 虛擬機遷移16-18
• 第三章 數(shù)據(jù)遷移相關技術(shù)分析18-24
• 3.1 數(shù)據(jù)存儲技術(shù)18-19
• 3.1.1 表格存儲（Table Store）18
• 3.1.2 FastDFS18-19
• 3.1.3 Spectrum Storage19
• 3.2 HDFS系統(tǒng)的分析19-22
• 3.2.1 HDFS體系架構(gòu)19-20
• 3.2.2 HDFS運行機制20-22
• 3.3 服務質(zhì)量（QOS）22-24
• 3.3.1 QOS的意義22-23
• 3.3.2 QOS的模型23-24
• 第四章 數(shù)據(jù)遷移系統(tǒng)（DDI）的設計與實現(xiàn)24-35
• 4.1 DDI算法的系統(tǒng)架構(gòu)24
• 4.2 DDI算法的形式化24-26
• 4.3 DDI算法的實現(xiàn)步驟26-28
• 4.4 DDI算法偽代碼的實現(xiàn)28-29
• 4.5 Mapping-table表的設計29-32
• 4.6 貝葉斯定理的推廣32-35
• 第五章 算法性能測試35-39
• 5.1 實驗環(huán)境35
• 5.2 算法性能分析與測試35-38
• 5.2.1 數(shù)據(jù)刪除的合理性36
• 5.2.2 內(nèi)存的消耗36-37
• 5.2.3 數(shù)據(jù)傳輸?shù)耐掏铝?/span>37-38
• 5.3 實驗總結(jié)38-39
• 第六章 本文的總結(jié)39-40
• 致謝40-41
• 參考文獻41-45
• 作者簡介45
• 攻讀碩士學位期間研究成果45

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 王春靖;FAT32的優(yōu)點[J];電腦愛好者;1998年03期

2 何文才;鄭釗;劉培鶴;杜敏;;一種基于目錄數(shù)據(jù)分離存儲的文件存儲方法的研究與實現(xiàn)[J];網(wǎng)絡安全技術(shù)與應用;2014年01期

3 飛雪散花;;手機文件存儲看我的[J];電腦迷;2012年05期

4 孫有軍;張大興;;海量圖片文件存儲去重技術(shù)研究[J];計算機應用與軟件;2014年04期

5 ;金剛指——計算機文件存儲的保護神[J];信息安全與通信保密;2001年12期

6 趙躍龍;謝曉玲;蔡詠才;王國華;劉霖;;一種性能優(yōu)化的小文件存儲訪問策略的研究[J];計算機研究與發(fā)展;2012年07期

7 周國安;李強;陳新;胡旭;;云環(huán)境下海量小文件存儲技術(shù)研究綜述[J];信息網(wǎng)絡安全;2014年06期

8 張美芳;電子文件存儲方式的研究[J];數(shù)字與縮微影像;2005年02期

9 陶慧;于守謙;劉夏;;適于測控系統(tǒng)的文件存儲結(jié)構(gòu)研究[J];計算機應用與軟件;2010年11期

10 方勇;史躍輝;;淺談減少地形圖電子文件存儲冗余的幾種方法[J];江西測繪;2006年02期

中國重要會議論文全文數(shù)據(jù)庫 前6條

1 任勇;朱立谷;張雷;彭建峰;;新型虛擬文件存儲系統(tǒng)的設計[A];第15屆全國信息存儲技術(shù)學術(shù)會議論文集[C];2008年

2 李浩;;基于制播分離的文件存儲和傳輸方式的探討[A];中國新聞技術(shù)工作者聯(lián)合會五屆二次理事會暨學術(shù)年會論文集（上篇）[C];2010年

3 陳海波;侯建衛(wèi);;針對海量詳單快速存儲檢索的實現(xiàn)方法[A];2011年通信與信息技術(shù)新進展——第八屆中國通信學會學術(shù)年會論文集[C];2011年

4 陳海波;侯建衛(wèi);;針對海量詳單快速存儲檢索的實現(xiàn)方法[A];2011全國無線及移動通信學術(shù)大會論文集[C];2011年

5 袁旦;張智君;;預覽時間對顏色判斷任務下客體文件存儲的影響[A];第十一屆全國心理學學術(shù)會議論文摘要集[C];2007年

6 黃步根;黃政;劉建軍;;SANYO數(shù)碼相機中被刪除視頻的恢復[A];第26次全國計算機安全學術(shù)交流會論文集[C];2011年

中國重要報紙全文數(shù)據(jù)庫 前9條

1 本報記者 郭平;Isilon擴充文件存儲產(chǎn)品線[N];計算機世界;2009年

2 本報記者 郭平;容量與性能 一樣都不能少[N];計算機世界;2010年

3 張峰;統(tǒng)一存儲 業(yè)務連續(xù)[N];網(wǎng)絡世界;2006年

4 清水　編譯;基于文件存儲大行其道[N];計算機世界;2011年

5 本報記者 郭濤;HCP Anywhere：為HDS內(nèi)容云錦上添花[N];中國計算機報;2013年

6 于翔;讓IT如業(yè)務般運營的應用路徑[N];網(wǎng)絡世界;2009年

7 劉一冰;IBM SoNAS專攻高端存儲客戶[N];電腦商報;2010年

8 清水　編譯;云存儲：機遇下暗藏挑戰(zhàn)[N];計算機世界;2010年

9 沈建苗;互聯(lián)網(wǎng)存儲 你信得過嗎[N];計算機世界;2007年

中國碩士學位論文全文數(shù)據(jù)庫 前10條

1 廖家趙;面向城軌線網(wǎng)的海量小文件存儲方法的研究與實現(xiàn)[D];華南理工大學;2015年

2 李長平;基于FastDFS架構(gòu)的小文件存儲系統(tǒng)的設計與實現(xiàn)[D];哈爾濱工業(yè)大學;2015年

3 葉道平;基于HADOOP的海量錄音文件存儲系統(tǒng)的設計與實現(xiàn)[D];電子科技大學;2014年

4 張振猛;基于Hadoop的海量文件存儲系統(tǒng)的分析與設計[D];北京工業(yè)大學;2015年

5 何高峰;基于HDFS的多租戶小文件存儲系統(tǒng)的研究與設計[D];浙江大學;2016年

6 武奇;云存儲中數(shù)據(jù)的分發(fā)與遷移機制的研究[D];長春工業(yè)大學;2016年

7 宮海林;支持事務的文件存儲技術(shù)研究與系統(tǒng)實現(xiàn)[D];國防科學技術(shù)大學;2006年

8 曹挹芬;分布式文件存儲與檢索平臺的設計與實現(xiàn)[D];湖南大學;2009年

9 黃斌;并行文件存儲系統(tǒng)關鍵技術(shù)的研究[D];華南理工大學;2012年

10 蔣浩;分布式文件存儲系統(tǒng)副本管理方法研究[D];浙江大學;2013年

  本文關鍵詞：云存儲中數(shù)據(jù)的分發(fā)與遷移機制的研究，由筆耕文化傳播整理發(fā)布。

，

本文編號：375246