【摘要】：在云計算的時代大潮中,海量數(shù)據(jù)的存儲與數(shù)據(jù)分析成為了IT行業(yè)巨頭角逐的競技場,云計算基礎設施之一的分布式文件系統(tǒng)受到了廣泛的關注與研究應用。而目前,最流行的分布式文件系統(tǒng)容錯機制的多副本機制,雖然在大規(guī)模并行計算上有好的表現(xiàn),但在控制冗余開銷、提高系統(tǒng)的容錯等級上的表現(xiàn)遠遠不及糾刪碼容錯機制,糾刪碼在這方面則有著不可比擬的優(yōu)勢。設計并實現(xiàn)一個編碼容錯的分布式文件系統(tǒng),支持不同的編碼方案與容錯機制,使得用戶與應用開發(fā)者能夠根據(jù)情況選擇最合適的策略與機制,在數(shù)據(jù)爆發(fā)時代節(jié)省數(shù)據(jù)存儲量,提高系統(tǒng)運行效率,具有非常重要的意義。為了研究編碼容錯云存儲系統(tǒng)的性能,本文以開源云存儲平臺HDFS為基礎,通過融合信息論編碼技術,設計并實現(xiàn)了一個編碼容錯的云存儲系統(tǒng),該系統(tǒng)支持不同的容錯策略與編碼方案,支持盡可能多的文件基礎操作以滿足用戶的需求,并對文件切分方案進行了研究,建立粒度可控的優(yōu)化機制,大大提高了文件隨機讀和文件追加的性能。本文的工作內容與研究成果有1.設計并實現(xiàn)了編碼通用的分布式文件系統(tǒng)。不同的容錯機制在不同的指標上有著各自獨有的優(yōu)勢,不同的編碼方案有著不同的編解碼效率與冗余開銷,而不同的應用則有著不同的存儲需求,因此,本文針對大規(guī)模數(shù)據(jù)應用設計并實現(xiàn)了一個編碼普適容錯的分布式文件系統(tǒng),該系統(tǒng)運行在普通的商用存儲服務器上,有著很好的容錯性,并能夠將多副本的容錯機制作為編碼的一種特殊情況包含進來,并支持各種不同的編碼方案,使得用戶與應用能夠選擇最適合其存儲需求的方案。2.設計了一個基于傳輸單位的細粒度文件切分方案�；诙喔北救蒎e機制的GFS和基于糾刪碼的HDFS Raid等系統(tǒng)都采用了基于文件存儲單位的粗粒度文件切分方案,該方案在編碼文件系統(tǒng)中會造成很多文件基礎操作,如隨機讀、文件追加的低效。對此,本文設計并實現(xiàn)了基于文件傳輸單位的細粒度文件切分方案,實驗數(shù)據(jù)與理論分析表明,該方案在各種文件基礎操作表現(xiàn)出不低于粗粒度文件切分方案的性能。3.在細粒度的文件切分方案的基礎上,實現(xiàn)了高效的文件隨機讀和文件追加操作。在大數(shù)據(jù)的應用場景下,很多分布式文件系統(tǒng)設計理念為數(shù)據(jù)文件往往是一次寫入、多次串行的只讀。本文注意到隨機讀和文件追加也是很多應用的基礎,細粒度文件切分方案能夠高效的支持以上兩種文件操作。因此本文的最后部分實現(xiàn)了高效的文件隨機讀和文件追加操作,并對比粗粒度切分方案予以分析其操作效率。
[Abstract]:In the era of cloud computing, mass data storage and data analysis has become the competition arena of the IT industry giants. Distributed file system, one of the cloud computing infrastructure, has received extensive attention and research and application. At present, the most popular multi-replica mechanism of distributed file system fault-tolerant mechanism, although it has a good performance in large-scale parallel computing, but in the control of redundant overhead, improve the fault-tolerance level of the system performance is far less than erasure code fault-tolerant mechanism. Erasure codes have incomparable advantages in this respect. A distributed file system with coding fault tolerance is designed and implemented to support different coding schemes and fault-tolerant mechanisms so that users and application developers can choose the most appropriate strategies and mechanisms according to the situation. It is of great significance to save data storage and improve system efficiency in the era of data burst. In order to study the performance of coding fault-tolerant cloud storage system, this paper designs and implements a coding fault-tolerant cloud storage system based on open source cloud storage platform HDFS. The system supports different fault-tolerant strategies and coding schemes, supports as many file infrastructure operations as possible to meet the needs of users, and studies the file segmentation scheme to establish an optimization mechanism with controllable granularity. It greatly improves the performance of random reading and file appending. The contents and research results of this paper are 1. A general distributed file system is designed and implemented. Different fault-tolerant mechanisms have their own unique advantages in different indexes, different coding schemes have different coding and decoding efficiency and redundant overhead, and different applications have different storage requirements. In this paper, we design and implement a distributed file system with universal coding fault tolerance for large-scale data applications. The system runs on a common commercial storage server and has good fault tolerance. The fault-tolerant mechanism of multiple replicas can be included as a special case of coding, and various coding schemes can be supported, so that users and applications can choose the scheme that is most suitable for their storage requirements. A fine-grained file segmentation scheme based on transport unit is designed. Systems such as GFS based on multi-replica fault-tolerant mechanism and HDFS Raid based on erasure code adopt coarse-grained file segmentation scheme based on file storage unit. This scheme will cause a lot of file basic operations in the coding file system, such as random reading. Inefficient file append. In this paper, a fine grained file segmentation scheme based on file transfer unit is designed and implemented. The experimental data and theoretical analysis show that the performance of this scheme is no less than that of coarse-grained file segmentation scheme. On the basis of fine-grained file segmentation scheme, efficient file random reading and file appending operation are realized. In big data's application scenario, many distributed file system design idea is that data file is always written once and read only serially. This paper notes that random reading and file appending are also the basis of many applications. The fine-grained file segmentation scheme can efficiently support the above two file operations. Therefore, in the last part of this paper, efficient random reading and file appending are realized, and the operation efficiency is analyzed by comparing coarse-grained segmentation scheme.
【學位授予單位】：南京大學
【學位級別】：碩士
【學位授予年份】：2013
【分類號】：TP333

【相似文獻】

相關期刊論文 前10條

1 李紅;藍光存儲系統(tǒng) 光盤容量高達23G[J];信息記錄材料;2004年01期

2 ;存儲系統(tǒng) 金融行業(yè)應用卓越獎 醫(yī)療行業(yè)應用卓越獎[J];每周電腦報;2004年20期

3 諾拉;EMC Symmetrix DMX-3存儲系統(tǒng) 超大容量 高速存取[J];中國計算機用戶;2005年31期

4 謝世誠;;浪潮推出4Gb光纖存儲系統(tǒng)[J];微型機與應用;2006年07期

5 ;昆騰分級存儲系統(tǒng)[J];軟件世界;2009年11期

6 ;超低功耗云存儲系統(tǒng)或被地方政府看好[J];中國有線電視;2013年08期

7 湯赫男;;云存儲系統(tǒng)的分析與應用研究[J];計算機光盤軟件與應用;2013年24期

8 諶偉;;云存儲系統(tǒng)的分析與應用探討[J];數(shù)字技術與應用;2013年10期

9 雅君;跟上企業(yè)的匆匆腳步——利用HP SureStoreEXP256構筑企業(yè)存儲系統(tǒng)[J];中國計算機用戶;2000年08期

10 賈莉;;Symmetrix8000實現(xiàn)19TB存儲[J];每周電腦報;2000年18期

相關會議論文 前10條

1 趙志剛;;存儲系統(tǒng)在企業(yè)信息化中的應用[A];2005年安徽通信論文集[C];2006年

2 黃曉峰;張杰;;礦井信息中心存儲系統(tǒng)設計[A];安全高效礦井機電裝備及信息化技術——陜西省煤炭學會學術年會論文集（2011）[C];2011年

3 孫哲;李昌銀;;構建核電高可用云存儲系統(tǒng)[A];2012電力行業(yè)信息化年會優(yōu)秀論文專輯[C];2012年

4 焦超;周天彤;李祥學;李建華;;面向災備的高性能可信存儲系統(tǒng)設計[A];第十一屆保密通信與信息安全現(xiàn)狀研討會論文集[C];2009年

5 汪位龍;;設計院存儲系統(tǒng)建設初探[A];中國公路學會計算機應用分會2004年年會學術論文集[C];2004年

6 梅松竹;李宗伯;;Storage 7000系列混合存儲系統(tǒng)分析[A];2009年中國高校通信類院系學術研討會論文集[C];2009年

7 王克敏;張璽;胡江凱;王毅濤;;NWP資料歸檔方法及其存儲系統(tǒng)的應用[A];中國氣象學會2006年年會“中尺度天氣動力學、數(shù)值模擬和預測”分會場論文集[C];2006年

8 孫哲;李昌銀;;DeDu:基于云計算的冗余刪除存儲系統(tǒng)[A];電力行業(yè)新一代信息技術研討會論文集[C];2011年

9 高小伍;黨齊民;林晨;;校園網(wǎng)存儲系統(tǒng)的研究與實現(xiàn)[A];中國高等教育學會教育信息化分會第十次學術年會論文集[C];2010年

10 宮海林;郭長國;苑洪亮;王懷民;;支持事務的非結構化數(shù)據(jù)聚合存儲系統(tǒng)GSL[A];2006年全國開放式分布與并行計算機學術會議論文集（三）[C];2006年

相關重要報紙文章 前10條

1 ;第三季度中國存儲系統(tǒng)市場達19.1億元[N];中國高新技術產(chǎn)業(yè)導報;2005年

2 本報記者 薛斐;服務：存儲系統(tǒng)的靈魂[N];計算機世界;2002年

3 單群一;惠普推出全新一體化存儲系統(tǒng)[N];中國稅務報;2007年

4 ;浪潮推出4Gb光纖存儲系統(tǒng)[N];人民郵電;2006年

5 ;今年第二季度 存儲系統(tǒng)市場價值達12.6億元[N];人民郵電;2006年

6 郭;日立推出普及型存儲系統(tǒng)[N];計算機世界;2007年

7 陳耀光;朗登 扛起存儲系統(tǒng)設計院的大旗[N];中國企業(yè)報;2001年

8 ;富士通存儲系統(tǒng)全面升級[N];網(wǎng)絡世界;2009年

9 ;EMC亞洲生產(chǎn)制造中心落戶深圳[N];網(wǎng)絡世界;2009年

10 臨履;存儲系統(tǒng)有了“設計院”[N];網(wǎng)絡世界;2001年

相關博士學位論文 前10條

1 趙雨虹;云存儲系統(tǒng)資源調度技術研究[D];華中科技大學;2015年

2 陸承濤;存儲系統(tǒng)性能管理問題的研究[D];華中科技大學;2010年

3 聶雪軍;內容感知存儲系統(tǒng)中信息信息生命周期管理關鍵技術研究[D];華中科技大學;2011年

4 羅東健;大規(guī)模存儲系統(tǒng)高可靠性關鍵技術研究[D];華中科技大學;2011年

5 聶雪軍;內容感知存儲系統(tǒng)中信息生命周期管理關鍵技術研究[D];華中科技大學;2010年

6 王鵬;低密度奇偶校驗碼應用于存儲系統(tǒng)的關鍵技術研究[D];華中科技大學;2013年

7 刁瑩;用數(shù)學建模方法評價存儲系統(tǒng)性能[D];哈爾濱工程大學;2013年

8 符青云;面向大規(guī)模流媒體服務的高性能存儲系統(tǒng)研究[D];電子科技大學;2009年

9 王玉林;多節(jié)點容錯存儲系統(tǒng)的數(shù)據(jù)與緩存組織研究[D];電子科技大學;2010年

10 田敬;對等存儲系統(tǒng)中的數(shù)據(jù)可用性與安全性研究[D];北京大學;2007年

相關碩士學位論文 前10條

1 馮漢超;基于Hadoop的分布式副本策略研究[D];河北工程大學;2015年

2 張明;IaaS中基于熱點數(shù)據(jù)的存儲系統(tǒng)研究與實現(xiàn)[D];哈爾濱工業(yè)大學;2015年

3 蔣靜遠;基于數(shù)據(jù)通道的非結構化數(shù)據(jù)多存儲系統(tǒng)[D];浙江大學;2015年

4 郭暉;面向高清視頻監(jiān)控的流存儲系統(tǒng)設計與實現(xiàn)[D];電子科技大學;2015年

5 許孟杰;嵌入式快速存儲模塊的研究與實現(xiàn)[D];中國艦船研究院;2015年

6 何潔和;面向POI的分布式結構化存儲系統(tǒng)存儲引擎設計與實現(xiàn)[D];電子科技大學;2014年

7 王曉;混合存儲系統(tǒng)高效快照技術研究[D];北京理工大學;2015年

8 邱登峰;基于Hadoop可公共審計云存儲的設計與實現(xiàn)[D];大連理工大學;2015年

9 張致元;電子商品存儲系統(tǒng)設計與研究[D];復旦大學;2014年

10 劉秉煦;云存儲環(huán)境下的混合存儲算法研究與實現(xiàn)[D];上海交通大學;2015年

，

本文編號：2251666