【摘要】：在云計算的時代大潮中,海量數(shù)據(jù)的存儲與數(shù)據(jù)分析成為了IT行業(yè)巨頭角逐的競技場,云計算基礎(chǔ)設(shè)施之一的分布式文件系統(tǒng)受到了廣泛的關(guān)注與研究應(yīng)用。而目前,最流行的分布式文件系統(tǒng)容錯機(jī)制的多副本機(jī)制,雖然在大規(guī)模并行計算上有好的表現(xiàn),但在控制冗余開銷、提高系統(tǒng)的容錯等級上的表現(xiàn)遠(yuǎn)遠(yuǎn)不及糾刪碼容錯機(jī)制,糾刪碼在這方面則有著不可比擬的優(yōu)勢。設(shè)計并實現(xiàn)一個編碼容錯的分布式文件系統(tǒng),支持不同的編碼方案與容錯機(jī)制,使得用戶與應(yīng)用開發(fā)者能夠根據(jù)情況選擇最合適的策略與機(jī)制,在數(shù)據(jù)爆發(fā)時代節(jié)省數(shù)據(jù)存儲量,提高系統(tǒng)運行效率,具有非常重要的意義。為了研究編碼容錯云存儲系統(tǒng)的性能,本文以開源云存儲平臺HDFS為基礎(chǔ),通過融合信息論編碼技術(shù),設(shè)計并實現(xiàn)了一個編碼容錯的云存儲系統(tǒng),該系統(tǒng)支持不同的容錯策略與編碼方案,支持盡可能多的文件基礎(chǔ)操作以滿足用戶的需求,并對文件切分方案進(jìn)行了研究,建立粒度可控的優(yōu)化機(jī)制,大大提高了文件隨機(jī)讀和文件追加的性能。本文的工作內(nèi)容與研究成果有1.設(shè)計并實現(xiàn)了編碼通用的分布式文件系統(tǒng)。不同的容錯機(jī)制在不同的指標(biāo)上有著各自獨有的優(yōu)勢,不同的編碼方案有著不同的編解碼效率與冗余開銷,而不同的應(yīng)用則有著不同的存儲需求,因此,本文針對大規(guī)模數(shù)據(jù)應(yīng)用設(shè)計并實現(xiàn)了一個編碼普適容錯的分布式文件系統(tǒng),該系統(tǒng)運行在普通的商用存儲服務(wù)器上,有著很好的容錯性,并能夠?qū)⒍喔北镜娜蒎e機(jī)制作為編碼的一種特殊情況包含進(jìn)來,并支持各種不同的編碼方案,使得用戶與應(yīng)用能夠選擇最適合其存儲需求的方案。2.設(shè)計了一個基于傳輸單位的細(xì)粒度文件切分方案�；诙喔北救蒎e機(jī)制的GFS和基于糾刪碼的HDFS Raid等系統(tǒng)都采用了基于文件存儲單位的粗粒度文件切分方案,該方案在編碼文件系統(tǒng)中會造成很多文件基礎(chǔ)操作,如隨機(jī)讀、文件追加的低效。對此,本文設(shè)計并實現(xiàn)了基于文件傳輸單位的細(xì)粒度文件切分方案,實驗數(shù)據(jù)與理論分析表明,該方案在各種文件基礎(chǔ)操作表現(xiàn)出不低于粗粒度文件切分方案的性能。3.在細(xì)粒度的文件切分方案的基礎(chǔ)上,實現(xiàn)了高效的文件隨機(jī)讀和文件追加操作。在大數(shù)據(jù)的應(yīng)用場景下,很多分布式文件系統(tǒng)設(shè)計理念為數(shù)據(jù)文件往往是一次寫入、多次串行的只讀。本文注意到隨機(jī)讀和文件追加也是很多應(yīng)用的基礎(chǔ),細(xì)粒度文件切分方案能夠高效的支持以上兩種文件操作。因此本文的最后部分實現(xiàn)了高效的文件隨機(jī)讀和文件追加操作,并對比粗粒度切分方案予以分析其操作效率。
[Abstract]:In the era of cloud computing, mass data storage and data analysis has become the competition arena of the IT industry giants. Distributed file system, one of the cloud computing infrastructure, has received extensive attention and research and application. At present, the most popular multi-replica mechanism of distributed file system fault-tolerant mechanism, although it has a good performance in large-scale parallel computing, but in the control of redundant overhead, improve the fault-tolerance level of the system performance is far less than erasure code fault-tolerant mechanism. Erasure codes have incomparable advantages in this respect. A distributed file system with coding fault tolerance is designed and implemented to support different coding schemes and fault-tolerant mechanisms so that users and application developers can choose the most appropriate strategies and mechanisms according to the situation. It is of great significance to save data storage and improve system efficiency in the era of data burst. In order to study the performance of coding fault-tolerant cloud storage system, this paper designs and implements a coding fault-tolerant cloud storage system based on open source cloud storage platform HDFS. The system supports different fault-tolerant strategies and coding schemes, supports as many file infrastructure operations as possible to meet the needs of users, and studies the file segmentation scheme to establish an optimization mechanism with controllable granularity. It greatly improves the performance of random reading and file appending. The contents and research results of this paper are 1. A general distributed file system is designed and implemented. Different fault-tolerant mechanisms have their own unique advantages in different indexes, different coding schemes have different coding and decoding efficiency and redundant overhead, and different applications have different storage requirements. In this paper, we design and implement a distributed file system with universal coding fault tolerance for large-scale data applications. The system runs on a common commercial storage server and has good fault tolerance. The fault-tolerant mechanism of multiple replicas can be included as a special case of coding, and various coding schemes can be supported, so that users and applications can choose the scheme that is most suitable for their storage requirements. A fine-grained file segmentation scheme based on transport unit is designed. Systems such as GFS based on multi-replica fault-tolerant mechanism and HDFS Raid based on erasure code adopt coarse-grained file segmentation scheme based on file storage unit. This scheme will cause a lot of file basic operations in the coding file system, such as random reading. Inefficient file append. In this paper, a fine grained file segmentation scheme based on file transfer unit is designed and implemented. The experimental data and theoretical analysis show that the performance of this scheme is no less than that of coarse-grained file segmentation scheme. On the basis of fine-grained file segmentation scheme, efficient file random reading and file appending operation are realized. In big data's application scenario, many distributed file system design idea is that data file is always written once and read only serially. This paper notes that random reading and file appending are also the basis of many applications. The fine-grained file segmentation scheme can efficiently support the above two file operations. Therefore, in the last part of this paper, efficient random reading and file appending are realized, and the operation efficiency is analyzed by comparing coarse-grained segmentation scheme.
【學(xué)位授予單位】：南京大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2013
【分類號】：TP333

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 李紅;藍(lán)光存儲系統(tǒng) 光盤容量高達(dá)23G[J];信息記錄材料;2004年01期

2 ;存儲系統(tǒng) 金融行業(yè)應(yīng)用卓越獎 醫(yī)療行業(yè)應(yīng)用卓越獎[J];每周電腦報;2004年20期

3 諾拉;EMC Symmetrix DMX-3存儲系統(tǒng) 超大容量 高速存取[J];中國計算機(jī)用戶;2005年31期

4 謝世誠;;浪潮推出4Gb光纖存儲系統(tǒng)[J];微型機(jī)與應(yīng)用;2006年07期

5 ;昆騰分級存儲系統(tǒng)[J];軟件世界;2009年11期

6 ;超低功耗云存儲系統(tǒng)或被地方政府看好[J];中國有線電視;2013年08期

7 湯赫男;;云存儲系統(tǒng)的分析與應(yīng)用研究[J];計算機(jī)光盤軟件與應(yīng)用;2013年24期

8 諶偉;;云存儲系統(tǒng)的分析與應(yīng)用探討[J];數(shù)字技術(shù)與應(yīng)用;2013年10期

9 雅君;跟上企業(yè)的匆匆腳步——利用HP SureStoreEXP256構(gòu)筑企業(yè)存儲系統(tǒng)[J];中國計算機(jī)用戶;2000年08期

10 賈莉;;Symmetrix8000實現(xiàn)19TB存儲[J];每周電腦報;2000年18期

相關(guān)會議論文 前10條

1 趙志剛;;存儲系統(tǒng)在企業(yè)信息化中的應(yīng)用[A];2005年安徽通信論文集[C];2006年

2 黃曉峰;張杰;;礦井信息中心存儲系統(tǒng)設(shè)計[A];安全高效礦井機(jī)電裝備及信息化技術(shù)——陜西省煤炭學(xué)會學(xué)術(shù)年會論文集（2011）[C];2011年

3 孫哲;李昌銀;;構(gòu)建核電高可用云存儲系統(tǒng)[A];2012電力行業(yè)信息化年會優(yōu)秀論文專輯[C];2012年

4 焦超;周天彤;李祥學(xué);李建華;;面向災(zāi)備的高性能可信存儲系統(tǒng)設(shè)計[A];第十一屆保密通信與信息安全現(xiàn)狀研討會論文集[C];2009年

5 汪位龍;;設(shè)計院存儲系統(tǒng)建設(shè)初探[A];中國公路學(xué)會計算機(jī)應(yīng)用分會2004年年會學(xué)術(shù)論文集[C];2004年

6 梅松竹;李宗伯;;Storage 7000系列混合存儲系統(tǒng)分析[A];2009年中國高校通信類院系學(xué)術(shù)研討會論文集[C];2009年

7 王克敏;張璽;胡江凱;王毅濤;;NWP資料歸檔方法及其存儲系統(tǒng)的應(yīng)用[A];中國氣象學(xué)會2006年年會“中尺度天氣動力學(xué)、數(shù)值模擬和預(yù)測”分會場論文集[C];2006年

8 孫哲;李昌銀;;DeDu:基于云計算的冗余刪除存儲系統(tǒng)[A];電力行業(yè)新一代信息技術(shù)研討會論文集[C];2011年

9 高小伍;黨齊民;林晨;;校園網(wǎng)存儲系統(tǒng)的研究與實現(xiàn)[A];中國高等教育學(xué)會教育信息化分會第十次學(xué)術(shù)年會論文集[C];2010年

10 宮海林;郭長國;苑洪亮;王懷民;;支持事務(wù)的非結(jié)構(gòu)化數(shù)據(jù)聚合存儲系統(tǒng)GSL[A];2006年全國開放式分布與并行計算機(jī)學(xué)術(shù)會議論文集（三）[C];2006年

相關(guān)重要報紙文章 前10條

1 ;第三季度中國存儲系統(tǒng)市場達(dá)19.1億元[N];中國高新技術(shù)產(chǎn)業(yè)導(dǎo)報;2005年

2 本報記者 薛斐;服務(wù)：存儲系統(tǒng)的靈魂[N];計算機(jī)世界;2002年

3 單群一;惠普推出全新一體化存儲系統(tǒng)[N];中國稅務(wù)報;2007年

4 ;浪潮推出4Gb光纖存儲系統(tǒng)[N];人民郵電;2006年

5 ;今年第二季度 存儲系統(tǒng)市場價值達(dá)12.6億元[N];人民郵電;2006年

6 郭;日立推出普及型存儲系統(tǒng)[N];計算機(jī)世界;2007年

7 陳耀光;朗登 扛起存儲系統(tǒng)設(shè)計院的大旗[N];中國企業(yè)報;2001年

8 ;富士通存儲系統(tǒng)全面升級[N];網(wǎng)絡(luò)世界;2009年

9 ;EMC亞洲生產(chǎn)制造中心落戶深圳[N];網(wǎng)絡(luò)世界;2009年

10 臨履;存儲系統(tǒng)有了“設(shè)計院”[N];網(wǎng)絡(luò)世界;2001年

相關(guān)博士學(xué)位論文 前10條

1 趙雨虹;云存儲系統(tǒng)資源調(diào)度技術(shù)研究[D];華中科技大學(xué);2015年

2 陸承濤;存儲系統(tǒng)性能管理問題的研究[D];華中科技大學(xué);2010年

3 聶雪軍;內(nèi)容感知存儲系統(tǒng)中信息信息生命周期管理關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2011年

4 羅東健;大規(guī)模存儲系統(tǒng)高可靠性關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2011年

5 聶雪軍;內(nèi)容感知存儲系統(tǒng)中信息生命周期管理關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2010年

6 王鵬;低密度奇偶校驗碼應(yīng)用于存儲系統(tǒng)的關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2013年

7 刁瑩;用數(shù)學(xué)建模方法評價存儲系統(tǒng)性能[D];哈爾濱工程大學(xué);2013年

8 符青云;面向大規(guī)模流媒體服務(wù)的高性能存儲系統(tǒng)研究[D];電子科技大學(xué);2009年

9 王玉林;多節(jié)點容錯存儲系統(tǒng)的數(shù)據(jù)與緩存組織研究[D];電子科技大學(xué);2010年

10 田敬;對等存儲系統(tǒng)中的數(shù)據(jù)可用性與安全性研究[D];北京大學(xué);2007年

相關(guān)碩士學(xué)位論文 前10條

1 馮漢超;基于Hadoop的分布式副本策略研究[D];河北工程大學(xué);2015年

2 張明;IaaS中基于熱點數(shù)據(jù)的存儲系統(tǒng)研究與實現(xiàn)[D];哈爾濱工業(yè)大學(xué);2015年

3 蔣靜遠(yuǎn);基于數(shù)據(jù)通道的非結(jié)構(gòu)化數(shù)據(jù)多存儲系統(tǒng)[D];浙江大學(xué);2015年

4 郭暉;面向高清視頻監(jiān)控的流存儲系統(tǒng)設(shè)計與實現(xiàn)[D];電子科技大學(xué);2015年

5 許孟杰;嵌入式快速存儲模塊的研究與實現(xiàn)[D];中國艦船研究院;2015年

6 何潔和;面向POI的分布式結(jié)構(gòu)化存儲系統(tǒng)存儲引擎設(shè)計與實現(xiàn)[D];電子科技大學(xué);2014年

7 王曉;混合存儲系統(tǒng)高效快照技術(shù)研究[D];北京理工大學(xué);2015年

8 邱登峰;基于Hadoop可公共審計云存儲的設(shè)計與實現(xiàn)[D];大連理工大學(xué);2015年

9 張致元;電子商品存儲系統(tǒng)設(shè)計與研究[D];復(fù)旦大學(xué);2014年

10 劉秉煦;云存儲環(huán)境下的混合存儲算法研究與實現(xiàn)[D];上海交通大學(xué);2015年

，

本文編號：2251666