本文關(guān)鍵詞：基于HDFS的云存儲(chǔ)系統(tǒng)性能與安全性研究，由筆耕文化傳播整理發(fā)布。

【摘要】：相比于傳統(tǒng)的計(jì)算機(jī)集群運(yùn)算,Hadoop集群更容易維護(hù)和擴(kuò)展,且Hadoop集群在執(zhí)行大規(guī)模運(yùn)算時(shí)都是基于大量的廉價(jià)機(jī)器實(shí)現(xiàn)的。OpenStack是一種開(kāi)源的基礎(chǔ)設(shè)施云服務(wù),使用虛擬機(jī)管理調(diào)度計(jì)算機(jī)集群可以使得負(fù)載均衡、彈性運(yùn)算等操作的成本更低,無(wú)需管理員手動(dòng)維護(hù)。本文對(duì)OpenStack云計(jì)算平臺(tái)作出了簡(jiǎn)要介紹,并基于此嘗試搭建了HDFS分布式文件存儲(chǔ)系統(tǒng)。隨著網(wǎng)絡(luò)信息吞吐量的極速膨脹,HDFS在很多情況下是被做為海量數(shù)據(jù)的云儲(chǔ)存系統(tǒng)使用的,在保證存儲(chǔ)效率的同時(shí),對(duì)數(shù)據(jù)的可靠性要求也非常高。目前的HDFS系統(tǒng)是通過(guò)副本數(shù)據(jù)冗余的方法來(lái)提高存儲(chǔ)過(guò)程中的容錯(cuò)性,該方法實(shí)現(xiàn)簡(jiǎn)單,但效率較低,且最大的問(wèn)題在于每個(gè)副本文件中的內(nèi)容與原數(shù)據(jù)全部一致,難以保證文件的安全性。本文基于HDFS系統(tǒng),通過(guò)隨機(jī)線性網(wǎng)絡(luò)編碼實(shí)現(xiàn)數(shù)據(jù)冗余,再將編碼后的數(shù)據(jù)分散存儲(chǔ)在副本文件中,結(jié)合多節(jié)點(diǎn)讀取并行解碼的機(jī)制,在大幅度提升了數(shù)據(jù)讀取效率的同時(shí),也充分保證了數(shù)據(jù)在傳輸和存儲(chǔ)過(guò)程中的安全性。即使整個(gè)副本文件都被第三方截獲,第三方也不能得到單個(gè)完整的編碼后的數(shù)據(jù),更不可能通過(guò)解碼還原出原始數(shù)據(jù),因此,幾乎杜絕了數(shù)據(jù)泄露的可能性。傳統(tǒng)的介質(zhì)存儲(chǔ)設(shè)備已經(jīng)不能滿足人們對(duì)于大數(shù)據(jù)量存儲(chǔ)的需求,云存儲(chǔ)服務(wù)的發(fā)展將很好地緩解這一現(xiàn)象,各式各樣的云儲(chǔ)存系統(tǒng)在近些年中被開(kāi)發(fā)出來(lái)。但基于HDFS的應(yīng)用卻很少,我們基于HDFS開(kāi)發(fā)了VISG云同步軟件,這是一個(gè)可以實(shí)現(xiàn)將本地文件和HDFS系統(tǒng)中的文件同步的軟件,操作簡(jiǎn)單,使用方便。本文從系統(tǒng)結(jié)構(gòu),運(yùn)算過(guò)程,算法分析,使用說(shuō)明等角度介紹了軟件的開(kāi)發(fā)與編寫(xiě)過(guò)程。
【關(guān)鍵詞】：云計(jì)算 虛擬機(jī) HDFS OpenStack 隨機(jī)線性網(wǎng)絡(luò)編碼 多節(jié)點(diǎn)讀取 VISG云同步軟件
【學(xué)位授予單位】：南京大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2015
【分類號(hào)】：TP333;TP309
【目錄】：

• 摘要4-5
• Abstract5-12
• 第一章 緒論12-25
• 1.1 研究背景12-14
• 1.2 云計(jì)算的優(yōu)勢(shì)及發(fā)展前景14-15
• 1.3 OpenStack簡(jiǎn)介15-19
• 1.3.1 什么是OpenStack15-16
• 1.3.2 計(jì)算平臺(tái)的技術(shù)支撐16-18
• 1.3.3 OpenStack概念架構(gòu)18-19
• 1.4 HDFS的特點(diǎn)及架構(gòu)組成19-23
• 1.4.1 數(shù)據(jù)的高容錯(cuò)性與高可靠性20
• 1.4.2 大數(shù)據(jù)集與可移植性20
• 1.4.3 HDFS的架構(gòu)20-23
• 1.5 本文的工作和組織結(jié)構(gòu)23-25
• 第二章 OpenStack云計(jì)算平臺(tái)搭建過(guò)程中的技術(shù)難點(diǎn)25-34
• 2.1 云計(jì)算系統(tǒng)的關(guān)鍵技術(shù)25-28
• 2.1.1 VMware25-27
• 2.1.2 Xen簡(jiǎn)介27-28
• 2.2 實(shí)驗(yàn)環(huán)境和技術(shù)選擇28-29
• 2.3 使用物理機(jī)和虛擬機(jī)部署云計(jì)算的差異29-30
• 2.3.1 使用虛擬機(jī)部署平臺(tái)的優(yōu)勢(shì)29-30
• 2.3.2 使用虛擬機(jī)部署平臺(tái)的劣勢(shì)30
• 2.4 OpenStack云計(jì)算平臺(tái)的部署30-33
• 2.5 本章小結(jié)33-34
• 第三章 HDFS文件傳輸安全性和讀取效率研究34-48
• 3.1 相關(guān)背景介紹34-35
• 3.2 網(wǎng)絡(luò)編碼原理與可能性分析35-42
• 3.2.1 網(wǎng)絡(luò)編碼介紹36
• 3.2.2 隨機(jī)線性網(wǎng)絡(luò)編碼的優(yōu)勢(shì)36-39
• 3.2.3 HDFS中技術(shù)革新部分39-40
• 3.2.4 多節(jié)點(diǎn)讀取系統(tǒng)40-41
• 3.2.5 防竊取機(jī)制41-42
• 3.3 編解碼過(guò)程42-45
• 3.3.1 基于隨機(jī)線性網(wǎng)絡(luò)編碼的過(guò)程示例42-43
• 3.3.2 多節(jié)點(diǎn)讀取過(guò)程示例43-44
• 3.3.3 數(shù)據(jù)修復(fù)機(jī)制44-45
• 3.4 實(shí)驗(yàn)結(jié)果與性能分析45-46
• 3.4.1 讀性能結(jié)果與分析45-46
• 3.4.2 寫(xiě)性能結(jié)果與分析46
• 3.5 本章小結(jié)46-48
• 第四章 云同步軟件VISG的設(shè)計(jì)48-58
• 4.1 相關(guān)工作與系統(tǒng)架構(gòu)設(shè)計(jì)50-52
• 4.1.1 相關(guān)工作50
• 4.1.2 軟件結(jié)構(gòu)分析50-52
• 4.2 軟件算法介紹52-53
• 4.3 文件同步的具體過(guò)程53-55
• 4.4 軟件界面與使用說(shuō)明55-56
• 4.5 本章小結(jié)56-58
• 第五章 總結(jié)與展望58-61
• 5.1 本文的工作與創(chuàng)新點(diǎn)58-59
• 5.1.1 創(chuàng)新點(diǎn)58
• 5.1.2 本文的工作58-59
• 5.2 展望59-61
• 參考文獻(xiàn)61-63
• 簡(jiǎn)歷與科研成果63-64
• 致謝64-65

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 曹曉剛;;Java虛擬機(jī)的10年[J];程序員;2005年07期

2 宋韜;盤細(xì)平;羅元柯;倪國(guó)軍;;Java虛擬機(jī)在嵌入式DSP系統(tǒng)上的實(shí)現(xiàn)[J];計(jì)算機(jī)應(yīng)用與軟件;2007年04期

3 劉黎波;;Java虛擬機(jī)攔截原理研究[J];科技風(fēng);2008年21期

4 劉治波;;Java虛擬機(jī)簡(jiǎn)析[J];濟(jì)南職業(yè)學(xué)院學(xué)報(bào);2008年01期

5 郝帥;;Java虛擬機(jī)中相關(guān)技術(shù)的探討[J];成功(教育);2008年08期

6 李霞;;系統(tǒng)虛擬機(jī)關(guān)鍵技術(shù)研究[J];微型電腦應(yīng)用;2010年03期

7 鄭曉瓏;孔挺;;虛擬機(jī)的安全風(fēng)險(xiǎn)與管理[J];硅谷;2010年16期

8 李學(xué)昌;平淡;;為速度而戰(zhàn),虛擬機(jī)內(nèi)外兼修[J];電腦愛(ài)好者;2010年18期

9 王惠萍;張海龍;馮帆;王建華;;Java虛擬機(jī)使用及優(yōu)化[J];計(jì)算機(jī)與網(wǎng)絡(luò);2010年21期

10 鄭婷婷;武延軍;賀也平;;云計(jì)算環(huán)境下的虛擬機(jī)快速克隆技術(shù)[J];計(jì)算機(jī)工程與應(yīng)用;2011年13期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前10條

1 孟廣平;;虛擬機(jī)漂移網(wǎng)絡(luò)連接方法探討[A];中國(guó)計(jì)量協(xié)會(huì)冶金分會(huì)2011年會(huì)論文集[C];2011年

2 段翼真;王曉程;;可信安全虛擬機(jī)平臺(tái)的研究[A];第26次全國(guó)計(jì)算機(jī)安全學(xué)術(shù)交流會(huì)論文集[C];2011年

3 李明宇;張倩;呂品;;網(wǎng)絡(luò)流量感知的虛擬機(jī)高可用動(dòng)態(tài)部署研究[A];2014第二屆中國(guó)指揮控制大會(huì)論文集（上）[C];2014年

4 林紅;;Java虛擬機(jī)面向數(shù)字媒體的應(yīng)用研究[A];計(jì)算機(jī)技術(shù)與應(yīng)用進(jìn)展——全國(guó)第17屆計(jì)算機(jī)科學(xué)與技術(shù)應(yīng)用（CACIS）學(xué)術(shù)會(huì)議論文集（上冊(cè)）[C];2006年

5 楊旭;彭一明;刑承杰;李若淼;;基于VMware vSphere 5虛擬機(jī)的備份系統(tǒng)實(shí)現(xiàn)[A];中國(guó)高等教育學(xué)會(huì)教育信息化分會(huì)第十二次學(xué)術(shù)年會(huì)論文集[C];2014年

6 沈敏虎;查德平;劉百祥;趙澤宇;;虛擬機(jī)網(wǎng)絡(luò)部署與管理研究[A];中國(guó)高等教育學(xué)會(huì)教育信息化分會(huì)第十次學(xué)術(shù)年會(huì)論文集[C];2010年

7 李英壯;廖培騰;孫夢(mèng);李先毅;;基于云計(jì)算的數(shù)據(jù)中心虛擬機(jī)管理平臺(tái)的設(shè)計(jì)[A];中國(guó)高等教育學(xué)會(huì)教育信息化分會(huì)第十次學(xué)術(shù)年會(huì)論文集[C];2010年

8 朱欣焰;蘇科華;毛繼國(guó);龔健雅;;GIS符號(hào)虛擬機(jī)及實(shí)現(xiàn)方法研究[A];《測(cè)繪通報(bào)》測(cè)繪科學(xué)前沿技術(shù)論壇摘要集[C];2008年

9 于洋;陳曉東;俞承芳;李旦;;基于FPGA平臺(tái)的虛擬機(jī)建模與仿真[A];2007'儀表，自動(dòng)化及先進(jìn)集成技術(shù)大會(huì)論文集（一）[C];2007年

10 丁濤;郝沁汾;張冰;;內(nèi)核虛擬機(jī)調(diào)度策略的研究與分析[A];'2010系統(tǒng)仿真技術(shù)及其應(yīng)用學(xué)術(shù)會(huì)議論文集[C];2010年

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫(kù) 前10條

1 ;虛擬機(jī)的生與死[N];網(wǎng)絡(luò)世界;2008年

2 本報(bào)記者 卜娜;高性能Java虛擬機(jī)將在中國(guó)云市場(chǎng)釋能[N];中國(guó)計(jì)算機(jī)報(bào);2012年

3 本報(bào)記者 邱燕娜;如何告別虛擬機(jī)管理煩惱[N];中國(guó)計(jì)算機(jī)報(bào);2012年

4 ;首批通過(guò)云計(jì)算產(chǎn)品虛擬機(jī)管理測(cè)評(píng)名單[N];中國(guó)電子報(bào);2014年

5 申琳;虛擬機(jī)泛濫 系統(tǒng)安全怎么辦[N];中國(guó)計(jì)算機(jī)報(bào);2008年

6 Tom Henderson邋沈建苗 編譯;虛擬機(jī)管理的五大問(wèn)題[N];計(jì)算機(jī)世界;2008年

7 盆盆;真實(shí)的虛擬機(jī)[N];中國(guó)電腦教育報(bào);2004年

8 本版編輯　綜合 編譯整理 田夢(mèng);管理好虛擬機(jī)的全生命周期[N];計(jì)算機(jī)世界;2008年

9 李婷;中國(guó)研制出全球最快反病毒虛擬機(jī)[N];人民郵電;2009年

10 張弛;虛擬機(jī)遷移走向真正自由[N];網(wǎng)絡(luò)世界;2010年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 宋翔;多核虛擬環(huán)境的性能及可伸縮性研究[D];復(fù)旦大學(xué);2014年

2 王桂平;云環(huán)境下面向可信的虛擬機(jī)異常檢測(cè)關(guān)鍵技術(shù)研究[D];重慶大學(xué);2015年

3 周真;云平臺(tái)下運(yùn)行環(huán)境感知的虛擬機(jī)異常檢測(cè)策略及算法研究[D];重慶大學(xué);2015年

4 郭芬;面向虛擬機(jī)的云平臺(tái)資源部署與調(diào)度研究[D];華南理工大學(xué);2015年

5 周傲;高可靠云服務(wù)供應(yīng)關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2015年

6 陳彬;分布環(huán)境下虛擬機(jī)按需部署關(guān)鍵技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2010年

7 劉海坤;虛擬機(jī)在線遷移性能優(yōu)化關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2012年

8 劉謙;面向云計(jì)算的虛擬機(jī)系統(tǒng)安全研究[D];上海交通大學(xué);2012年

9 趙佳;虛擬機(jī)動(dòng)態(tài)遷移的關(guān)鍵問(wèn)題研究[D];吉林大學(xué);2013年

10 鄧?yán)?基于虛擬機(jī)遷移的動(dòng)態(tài)資源配置研究[D];華中科技大學(xué);2013年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 潘飛;負(fù)載相關(guān)的虛擬機(jī)放置策略研究[D];杭州電子科技大學(xué);2011年

2 王建一;混合型桌面云高可用性研究與實(shí)現(xiàn)[D];華南理工大學(xué);2015年

3 周衡;云計(jì)算環(huán)境下虛擬機(jī)優(yōu)化調(diào)度策略研究[D];河北大學(xué);2015年

4 羅仲皓;基于OpenStack的私有云計(jì)算平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[D];華南理工大學(xué);2015年

5 李子堂;面向負(fù)載均衡的虛擬機(jī)動(dòng)態(tài)遷移優(yōu)化研究[D];遼寧大學(xué);2015年

6 張煜;基于OpenStack的“實(shí)驗(yàn)云”平臺(tái)的研究與開(kāi)發(fā)[D];西南交通大學(xué);2015年

7 曾文琦;面向應(yīng)用服務(wù)的云規(guī)模虛似機(jī)性能監(jiān)控與負(fù)載分析技術(shù)研究[D];復(fù)旦大學(xué);2013年

8 施繼成;面向多核處理器的虛擬機(jī)性能優(yōu)化[D];復(fù)旦大學(xué);2014年

9 游井輝;基于虛擬機(jī)動(dòng)態(tài)遷移的資源調(diào)度策略研究[D];華南理工大學(xué);2015年

10 方良英;云平臺(tái)的資源優(yōu)化管理研究與實(shí)現(xiàn)[D];南京師范大學(xué);2015年

  本文關(guān)鍵詞：基于HDFS的云存儲(chǔ)系統(tǒng)性能與安全性研究，，由筆耕文化傳播整理發(fā)布。

本文編號(hào)：302485