本文關(guān)鍵詞：基于隨機(jī)線性網(wǎng)絡(luò)編碼的云存儲(chǔ)系統(tǒng)研究，，由筆耕文化傳播整理發(fā)布。

【摘要】：與傳統(tǒng)計(jì)算機(jī)集群相比,基礎(chǔ)設(shè)施云在彈性運(yùn)算,負(fù)載均衡等方面有諸多優(yōu)勢,而且基礎(chǔ)設(shè)施云可以在性能比較低的機(jī)器上運(yùn)行,這就使得基于基礎(chǔ)設(shè)施云的服務(wù)有良好的可擴(kuò)展性。OpenStack是與EC2類似的開源基礎(chǔ)設(shè)施云服務(wù),它借用了虛擬化技術(shù)管理來大規(guī)模的計(jì)算機(jī)集群。本文會(huì)先介紹OpenStack云計(jì)算平臺(tái)的部署流程,并基于該云計(jì)算平臺(tái)搭建HDFS云存儲(chǔ)系統(tǒng)。 HDFS是一種分布式云存儲(chǔ)系統(tǒng),屬于Hadoop項(xiàng)目的子項(xiàng)目,它提供了高吞吐率的數(shù)據(jù)讀取,適用于那些需要大數(shù)據(jù)量的應(yīng)用。HDFS適合在廉價(jià)的機(jī)器上運(yùn)行,因此在HDFS上存儲(chǔ)數(shù)據(jù)時(shí)要更加關(guān)注數(shù)據(jù)的可靠性。目前HDFS通過副本冗余的方式實(shí)現(xiàn)高容錯(cuò)性,該方法最大壞處在于占用的磁盤空間過大。本文將提供一種基于隨機(jī)線性網(wǎng)絡(luò)編碼的數(shù)據(jù)冗余方案,該方案適用于分布式存儲(chǔ)系統(tǒng),其最大的優(yōu)點(diǎn)在于保證相同數(shù)據(jù)可靠性的前提下,能大幅降低數(shù)據(jù)的冗余。使用隨機(jī)線性網(wǎng)絡(luò)編碼,即使部分?jǐn)?shù)據(jù)在傳輸途中被第三方劫持,第三方也難以通過這些被劫持的數(shù)據(jù)恢復(fù)原始數(shù)據(jù),因此數(shù)據(jù)的安全性也可以得到保證。 云存儲(chǔ)可以為用戶提供良好的服務(wù),比如現(xiàn)如今風(fēng)靡全球的文件同步服務(wù)的后端一般使用云存儲(chǔ)服務(wù)。HDFS作為分布式存儲(chǔ)系統(tǒng)中的佼佼者,同樣可以給用戶提供優(yōu)質(zhì)的服務(wù),不過基于HDFS的應(yīng)用少之又少。我們基于HDFS開發(fā)了VISG云同步軟件,它可以將多種文件系統(tǒng)和HDFS系統(tǒng)中的文件進(jìn)行同步,而且操作簡易,用戶無需了解HDFS即可快速上手。本文將會(huì)對(duì)該軟件的設(shè)計(jì)過程,軟件應(yīng)用到主要算法以及軟件的使用方法做詳細(xì)的說明。
【關(guān)鍵詞】：基礎(chǔ)設(shè)施云 OpenStack HDFS 隨機(jī)線性網(wǎng)絡(luò)編碼 數(shù)據(jù)冗余 VISG云同步軟件
【學(xué)位授予單位】：南京大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2014
【分類號(hào)】：TP333
【目錄】：

• 摘要4-5
• Abstract5-11
• 第一章 緒論11-19
• 1.1 研究背景11-12
• 1.2 OpenStack 介紹12-14
• 1.3 HDFS的優(yōu)勢及其應(yīng)用場合14-15
• 1.3.1 適合大規(guī)模數(shù)據(jù)14
• 1.3.2 數(shù)據(jù)的高可靠性14-15
• 1.3.3 擴(kuò)展性強(qiáng)15
• 1.4 HDFS 架構(gòu)15-17
• 1.5 本文工作及組織結(jié)構(gòu)17-19
• 第二章 基于OpenStack的云計(jì)算實(shí)驗(yàn)平臺(tái)設(shè)計(jì)19-31
• 2.1 實(shí)驗(yàn)平臺(tái)硬件環(huán)境19
• 2.2 實(shí)驗(yàn)平臺(tái)系統(tǒng)架構(gòu)19-20
• 2.3 實(shí)驗(yàn)平臺(tái)技術(shù)細(xì)節(jié)20-28
• 2.3.1 虛擬化技術(shù)選擇20-22
• 2.3.2 網(wǎng)絡(luò)類型選擇22-24
• 2.3.3 虛擬機(jī)調(diào)度算法24-28
• 2.4 Hadoop在云計(jì)算實(shí)驗(yàn)平臺(tái)的部署28-30
• 2.4.1 虛擬機(jī)與物理機(jī)上部署Hadoop的差異28
• 2.4.2 在虛擬機(jī)部署Hadoop的優(yōu)勢和劣勢28-29
• 2.4.3 Hadoop在云計(jì)算實(shí)驗(yàn)平臺(tái)的部署步驟29-30
• 2.5 本章小結(jié)30-31
• 第三章 基于網(wǎng)絡(luò)編碼和多節(jié)點(diǎn)讀取的分布式文件存儲(chǔ)系統(tǒng)方案31-44
• 3.1 相關(guān)工作31
• 3.2 網(wǎng)絡(luò)編碼與HDFS中的數(shù)據(jù)冗余方案31-35
• 3.2.1 網(wǎng)絡(luò)編碼介紹32
• 3.2.2 隨機(jī)線性網(wǎng)絡(luò)編碼32-34
• 3.2.3 HDFS中副本放置方案和副本選擇方案34-35
• 3.3 系統(tǒng)編解碼方案設(shè)計(jì)35-37
• 3.4 系統(tǒng)詳細(xì)架構(gòu)設(shè)計(jì)37-40
• 3.4.1 寫文件操作37-38
• 3.4.2 讀文件操作38-40
• 3.4.3 數(shù)據(jù)修復(fù)操作40
• 3.5 實(shí)驗(yàn)結(jié)果與性能分析40-42
• 3.5.1 文件讀性能比較40-42
• 3.5.2 文件寫性能比較42
• 3.6 本章小結(jié)42-44
• 第四章 VISG云同步軟件設(shè)計(jì)44-57
• 4.1 相關(guān)工作44
• 4.2 軟件架構(gòu)設(shè)計(jì)44-47
• 4.3 詳細(xì)技術(shù)細(xì)節(jié)47-53
• 4.3.1 使用Maven解決依賴關(guān)系47-48
• 4.3.2 文件同步算法48-50
• 4.3.3 HDFS文件操作接口50-53
• 4.4 VISG云同步軟件使用說明53-55
• 4.4.1 登錄53
• 4.4.2 同步文件53-55
• 4.4.3 收藏55
• 4.4.4 關(guān)于55
• 4.5 本章小結(jié)55-57
• 第五章 總結(jié)與展望57-60
• 5.1 本文的創(chuàng)新點(diǎn)57-58
• 5.2 展望58-60
• 附錄A 相關(guān)代碼60-64
• A.1 使用Maven解決依賴關(guān)系的XML配置文件60-64
• 參考文獻(xiàn)64-66
• 致謝66-67

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 夏凱銓;;《信號(hào)與線性網(wǎng)絡(luò)分析》中一個(gè)例題解答的探討[J];高等學(xué)校電工課程教學(xué)工作通訊;1984年Z1期

2 李春明;含有零泛器的線性網(wǎng)絡(luò)的稀疏表分析法[J];內(nèi)蒙古工業(yè)大學(xué)學(xué)報(bào)(自然科學(xué)版);1994年04期

3 黃汝激;一般線性網(wǎng)絡(luò)的混合分析法[J];電子學(xué)通訊;1982年04期

4 李國吉;等值電路法列寫線性網(wǎng)絡(luò)的狀態(tài)方程[J];國防科技大學(xué)學(xué)報(bào);1983年03期

5 李竹英;陳崇源;;線性網(wǎng)絡(luò)分析中動(dòng)態(tài)元件的初始條件用奇異函數(shù)描述的必要性——對(duì)電工教學(xué)中一疑點(diǎn)的剖析[J];工科電工教學(xué);1984年04期

6 劉衛(wèi)紅;;線性網(wǎng)絡(luò)直、交流與頻譜的計(jì)算機(jī)分析[J];華東地質(zhì)學(xué)院學(xué)報(bào);1988年03期

7 邱東明;新穎的甚低頻線性網(wǎng)絡(luò)頻率響應(yīng)測量方法[J];儀器儀表學(xué)報(bào);1994年03期

8 鈕王杰;線性網(wǎng)絡(luò)分析方法教學(xué)之我見[J];運(yùn)城高專學(xué)報(bào);1996年04期

9 王建成,蘇武潯,陳年;場論說對(duì)含互感線性網(wǎng)絡(luò)的迭加定理的證明[J];電子學(xué)報(bào);1998年03期

10 康巨珍;線性網(wǎng)絡(luò)研究[J];天津職業(yè)技術(shù)師范學(xué)院學(xué)報(bào);1998年01期

中國重要會(huì)議論文全文數(shù)據(jù)庫 前1條

1 鄭應(yīng)文;;線性網(wǎng)絡(luò)故障診斷的定向激勵(lì)方法[A];1994中國控制與決策學(xué)術(shù)年會(huì)論文集[C];1994年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前1條

1 司菁菁;面向異構(gòu)網(wǎng)絡(luò)的網(wǎng)絡(luò)編碼技術(shù)研究[D];北京郵電大學(xué);2010年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前9條

1 陳濤;網(wǎng)絡(luò)組播中線性網(wǎng)絡(luò)編碼研究[D];武漢理工大學(xué);2009年

2 李海濤;多主體線性網(wǎng)絡(luò)系統(tǒng)的魯棒同步性[D];華中科技大學(xué);2013年

3 李江濤;一種線性網(wǎng)絡(luò)動(dòng)態(tài)分析的新方法[D];華北電力大學(xué)（北京）;2007年

4 張益明;線性網(wǎng)絡(luò)編碼研究[D];揚(yáng)州大學(xué);2009年

5 蔣銘勛;隨機(jī)線性網(wǎng)絡(luò)編碼中安全性問題研究[D];復(fù)旦大學(xué);2010年

6 孫杰英;基于滑動(dòng)窗口的隨機(jī)線性網(wǎng)絡(luò)編碼研究[D];中南大學(xué);2012年

7 湯文杰;基于隨機(jī)線性網(wǎng)絡(luò)編碼的云存儲(chǔ)系統(tǒng)研究[D];南京大學(xué);2014年

8 劉柏江;基于線性網(wǎng)絡(luò)特性系統(tǒng)穩(wěn)態(tài)運(yùn)行控制的潮流算法研究[D];廣西大學(xué);2014年

9 韓旭;線性網(wǎng)絡(luò)編碼相關(guān)性分析及其在傳染路由中的應(yīng)用研究[D];南京理工大學(xué);2012年

  本文關(guān)鍵詞：基于隨機(jī)線性網(wǎng)絡(luò)編碼的云存儲(chǔ)系統(tǒng)研究，由筆耕文化傳播整理發(fā)布。

本文編號(hào)：481745