【摘要】：當今的人們生活在IT技術(shù)日新月異的信息數(shù)字時代,Internet技術(shù)得到了前所未有的迅速發(fā)展與廣泛應(yīng)用�；ヂ�(lián)網(wǎng)的發(fā)展重心由硬件設(shè)備和軟件應(yīng)用轉(zhuǎn)向海量數(shù)據(jù)存儲,消費數(shù)據(jù)存儲服務(wù)的主體漸漸由企業(yè)用戶轉(zhuǎn)向個人用戶,個體所產(chǎn)生的絕大部分數(shù)據(jù)均為圖片、文檔、視頻等非結(jié)構(gòu)化數(shù)據(jù)。在可擴展性,高可用性,容錯處理以及延時訪問方面的限制,使得傳統(tǒng)的IT存儲技術(shù)不能適應(yīng)海量存儲的需求。云存儲使得存儲容量可以通過低成本節(jié)點單位擴展來增加,再加上其高可用性和可靠性,安全存儲等特性,越來越多的大公司開始將目光轉(zhuǎn)向以分布式存儲為基礎(chǔ)的云存儲這一新興市場的爭奪,比較出名的商業(yè)云存儲服務(wù)有Apache對GFS的開源實現(xiàn)Hadoop,微軟的Live Skydrive和Dropbox, Amazon高可用和可伸縮的分布式數(shù)據(jù)存儲系統(tǒng)Dynamo等。其中HDFS (Hadoop Distributed File System)由于其良好特性和開源實現(xiàn),漸漸成為云存儲基本支撐平臺的主流應(yīng)用文件系統(tǒng)。HDFS采用多副本的復(fù)制冗余技術(shù),存儲空間和帶寬傳輸資源有一定的浪費,在數(shù)據(jù)海量增長的情況下,這種資源消耗會呈線性方式增加,這樣一個文件操作頻繁的系統(tǒng)長期運行后,后期的維護成本會比較高。針對該問題,我們以HDFS為基礎(chǔ),通過融入信息論數(shù)據(jù)容錯編碼相關(guān)技術(shù),建立了一個基于網(wǎng)絡(luò)編碼的分布式云存儲系統(tǒng)NC-HDFS,在有效降低冗余度的基礎(chǔ)上提高了系統(tǒng)容錯能力。本文以支持系統(tǒng)資源監(jiān)控和負載均衡調(diào)度為目標,對NC-HDFS中的性能優(yōu)化技術(shù)開展了研究,加入一定的負載均衡機制來優(yōu)化讀寫,主要貢獻有以下三點：(1)針對基于網(wǎng)絡(luò)編碼的分布式存儲系統(tǒng)NC-HDFS的新特征和HDFS僅對磁盤容量相關(guān)參數(shù)進行監(jiān)控這一缺陷,設(shè)計并實現(xiàn)了資源監(jiān)控模塊,支持對CPU、內(nèi)存、磁盤I/O利用率等參數(shù)的實時收集與管理,為動態(tài)負載均衡優(yōu)化設(shè)計提供了決策依據(jù)。(2)針對資源狀態(tài)信息的實時更新問題,進一步優(yōu)化了HDFS的心跳協(xié)議及名稱節(jié)點端保存數(shù)據(jù)節(jié)點性能狀態(tài)的相關(guān)數(shù)據(jù)結(jié)構(gòu),使新加入的節(jié)點參考數(shù)據(jù)能及時通過協(xié)議由名稱節(jié)點接受并處理,在支持多維信息更新的同時,為名稱節(jié)點了解數(shù)據(jù)節(jié)點的動態(tài)變化信息提供支持。(3)針對NC-HDFS的數(shù)據(jù)讀寫需求,建立了基于多屬性約束的動態(tài)請求調(diào)度機制,實現(xiàn)寫文件時n個文件塊所在數(shù)據(jù)節(jié)點的選擇和讀文件時n個數(shù)據(jù)節(jié)點中k個的選擇,有效提高了讀寫文件的效率,并達到了系統(tǒng)內(nèi)資源使用的均衡。
[Abstract]:Nowadays, IT technology has been developed rapidly and widely used in the information digital age, which is characterized by the rapid development of IT technology. The focus of the development of the Internet has shifted from hardware equipment and software applications to massive data storage, and the main body of consumer data storage services has gradually shifted from enterprise users to individual users. Most of the data generated by individuals are pictures and documents. Unstructured data such as video. Due to the limitations of scalability, high availability, fault-tolerant processing and delayed access, the traditional IT storage technology can not meet the needs of mass storage. Cloud storage allows storage capacity to be increased through low-cost node unit expansion, plus its high availability and reliability, secure storage, etc. A growing number of big companies are turning to the emerging market of cloud storage based on distributed storage. The well-known commercial cloud storage services include Apache's open source implementation of GFS, Hadoop, Microsoft's Live Skydrive and Dropbox, Amazon's highly available and scalable distributed data storage system, Dynamo, and so on. Because of its good characteristics and open source implementation, HDFS (Hadoop Distributed File System) has gradually become the mainstream application file system. HDFS, which is the basic support platform of cloud storage, uses multi-copy duplication redundancy technology, and the storage space and bandwidth transfer resources are wasted to a certain extent. In the case of massive increase of data, the consumption of this kind of resources will increase linearly. After a system with frequent file operation runs for a long time, the later maintenance cost will be higher. To solve this problem, we build a distributed cloud storage system (NC-HDFS,) based on network coding, which is based on HDFS and integrates information theory data fault-tolerant coding technology, and improves the system's fault-tolerant ability on the basis of reducing redundancy effectively. Aiming at supporting system resource monitoring and load balancing scheduling, this paper studies the performance optimization technology in NC-HDFS, and adds a certain load balancing mechanism to optimize reading and writing. The main contributions are as follows: (1) aiming at the new features of distributed storage system (NC-HDFS) based on network coding and the defect that HDFS only monitors the relevant parameters of disk capacity, a resource monitoring module is designed and implemented to support the memory of CPU,. The real-time collection and management of disk I / O utilization ratio and other parameters provide a decision basis for dynamic load balancing optimization design. (2) aiming at the real-time update of resource status information, Furthermore, the heartbeat protocol of HDFS and the data structure related to the storage of the performance state of the data node at the name node end are optimized, so that the new node reference data can be received and processed by the name node in time through the protocol. At the same time, it provides support for the name node to know the dynamic change information of the data node. (3) aiming at the data reading and writing requirement of NC-HDFS, a dynamic request scheduling mechanism based on multi-attribute constraint is established. The selection of data nodes in n file blocks and k in reading files is realized, which effectively improves the efficiency of reading and writing files, and achieves the balance of resource utilization in the system.
【學(xué)位授予單位】：南京大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2013
【分類號】：TP333

【相似文獻】

相關(guān)期刊論文 前10條

1 李紅;藍光存儲系統(tǒng) 光盤容量高達23G[J];信息記錄材料;2004年01期

2 ;存儲系統(tǒng) 金融行業(yè)應(yīng)用卓越獎 醫(yī)療行業(yè)應(yīng)用卓越獎[J];每周電腦報;2004年20期

3 諾拉;EMC Symmetrix DMX-3存儲系統(tǒng) 超大容量 高速存取[J];中國計算機用戶;2005年31期

4 謝世誠;;浪潮推出4Gb光纖存儲系統(tǒng)[J];微型機與應(yīng)用;2006年07期

5 ;昆騰分級存儲系統(tǒng)[J];軟件世界;2009年11期

6 ;超低功耗云存儲系統(tǒng)或被地方政府看好[J];中國有線電視;2013年08期

7 湯赫男;;云存儲系統(tǒng)的分析與應(yīng)用研究[J];計算機光盤軟件與應(yīng)用;2013年24期

8 諶偉;;云存儲系統(tǒng)的分析與應(yīng)用探討[J];數(shù)字技術(shù)與應(yīng)用;2013年10期

9 雅君;跟上企業(yè)的匆匆腳步——利用HP SureStoreEXP256構(gòu)筑企業(yè)存儲系統(tǒng)[J];中國計算機用戶;2000年08期

10 賈莉;;Symmetrix8000實現(xiàn)19TB存儲[J];每周電腦報;2000年18期

相關(guān)會議論文 前10條

1 趙志剛;;存儲系統(tǒng)在企業(yè)信息化中的應(yīng)用[A];2005年安徽通信論文集[C];2006年

2 黃曉峰;張杰;;礦井信息中心存儲系統(tǒng)設(shè)計[A];安全高效礦井機電裝備及信息化技術(shù)——陜西省煤炭學(xué)會學(xué)術(shù)年會論文集（2011）[C];2011年

3 孫哲;李昌銀;;構(gòu)建核電高可用云存儲系統(tǒng)[A];2012電力行業(yè)信息化年會優(yōu)秀論文專輯[C];2012年

4 焦超;周天彤;李祥學(xué);李建華;;面向災(zāi)備的高性能可信存儲系統(tǒng)設(shè)計[A];第十一屆保密通信與信息安全現(xiàn)狀研討會論文集[C];2009年

5 汪位龍;;設(shè)計院存儲系統(tǒng)建設(shè)初探[A];中國公路學(xué)會計算機應(yīng)用分會2004年年會學(xué)術(shù)論文集[C];2004年

6 梅松竹;李宗伯;;Storage 7000系列混合存儲系統(tǒng)分析[A];2009年中國高校通信類院系學(xué)術(shù)研討會論文集[C];2009年

7 王克敏;張璽;胡江凱;王毅濤;;NWP資料歸檔方法及其存儲系統(tǒng)的應(yīng)用[A];中國氣象學(xué)會2006年年會“中尺度天氣動力學(xué)、數(shù)值模擬和預(yù)測”分會場論文集[C];2006年

8 孫哲;李昌銀;;DeDu:基于云計算的冗余刪除存儲系統(tǒng)[A];電力行業(yè)新一代信息技術(shù)研討會論文集[C];2011年

9 高小伍;黨齊民;林晨;;校園網(wǎng)存儲系統(tǒng)的研究與實現(xiàn)[A];中國高等教育學(xué)會教育信息化分會第十次學(xué)術(shù)年會論文集[C];2010年

10 宮海林;郭長國;苑洪亮;王懷民;;支持事務(wù)的非結(jié)構(gòu)化數(shù)據(jù)聚合存儲系統(tǒng)GSL[A];2006年全國開放式分布與并行計算機學(xué)術(shù)會議論文集（三）[C];2006年

相關(guān)重要報紙文章 前10條

1 ;第三季度中國存儲系統(tǒng)市場達19.1億元[N];中國高新技術(shù)產(chǎn)業(yè)導(dǎo)報;2005年

2 本報記者 薛斐;服務(wù)：存儲系統(tǒng)的靈魂[N];計算機世界;2002年

3 單群一;惠普推出全新一體化存儲系統(tǒng)[N];中國稅務(wù)報;2007年

4 ;浪潮推出4Gb光纖存儲系統(tǒng)[N];人民郵電;2006年

5 ;今年第二季度 存儲系統(tǒng)市場價值達12.6億元[N];人民郵電;2006年

6 郭;日立推出普及型存儲系統(tǒng)[N];計算機世界;2007年

7 陳耀光;朗登 扛起存儲系統(tǒng)設(shè)計院的大旗[N];中國企業(yè)報;2001年

8 ;富士通存儲系統(tǒng)全面升級[N];網(wǎng)絡(luò)世界;2009年

9 ;EMC亞洲生產(chǎn)制造中心落戶深圳[N];網(wǎng)絡(luò)世界;2009年

10 臨履;存儲系統(tǒng)有了“設(shè)計院”[N];網(wǎng)絡(luò)世界;2001年

相關(guān)博士學(xué)位論文 前10條

1 趙雨虹;云存儲系統(tǒng)資源調(diào)度技術(shù)研究[D];華中科技大學(xué);2015年

2 陸承濤;存儲系統(tǒng)性能管理問題的研究[D];華中科技大學(xué);2010年

3 聶雪軍;內(nèi)容感知存儲系統(tǒng)中信息信息生命周期管理關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2011年

4 羅東健;大規(guī)模存儲系統(tǒng)高可靠性關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2011年

5 聶雪軍;內(nèi)容感知存儲系統(tǒng)中信息生命周期管理關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2010年

6 王鵬;低密度奇偶校驗碼應(yīng)用于存儲系統(tǒng)的關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2013年

7 刁瑩;用數(shù)學(xué)建模方法評價存儲系統(tǒng)性能[D];哈爾濱工程大學(xué);2013年

8 符青云;面向大規(guī)模流媒體服務(wù)的高性能存儲系統(tǒng)研究[D];電子科技大學(xué);2009年

9 王玉林;多節(jié)點容錯存儲系統(tǒng)的數(shù)據(jù)與緩存組織研究[D];電子科技大學(xué);2010年

10 田敬;對等存儲系統(tǒng)中的數(shù)據(jù)可用性與安全性研究[D];北京大學(xué);2007年

相關(guān)碩士學(xué)位論文 前10條

1 馮漢超;基于Hadoop的分布式副本策略研究[D];河北工程大學(xué);2015年

2 張明;IaaS中基于熱點數(shù)據(jù)的存儲系統(tǒng)研究與實現(xiàn)[D];哈爾濱工業(yè)大學(xué);2015年

3 蔣靜遠;基于數(shù)據(jù)通道的非結(jié)構(gòu)化數(shù)據(jù)多存儲系統(tǒng)[D];浙江大學(xué);2015年

4 郭暉;面向高清視頻監(jiān)控的流存儲系統(tǒng)設(shè)計與實現(xiàn)[D];電子科技大學(xué);2015年

5 許孟杰;嵌入式快速存儲模塊的研究與實現(xiàn)[D];中國艦船研究院;2015年

6 何潔和;面向POI的分布式結(jié)構(gòu)化存儲系統(tǒng)存儲引擎設(shè)計與實現(xiàn)[D];電子科技大學(xué);2014年

7 王曉;混合存儲系統(tǒng)高效快照技術(shù)研究[D];北京理工大學(xué);2015年

8 邱登峰;基于Hadoop可公共審計云存儲的設(shè)計與實現(xiàn)[D];大連理工大學(xué);2015年

9 張致元;電子商品存儲系統(tǒng)設(shè)計與研究[D];復(fù)旦大學(xué);2014年

10 劉秉煦;云存儲環(huán)境下的混合存儲算法研究與實現(xiàn)[D];上海交通大學(xué);2015年

，

本文編號：2235020