發(fā)布時(shí)間：2018-09-10 16:43

【摘要】：當(dāng)今的人們生活在IT技術(shù)日新月異的信息數(shù)字時(shí)代,Internet技術(shù)得到了前所未有的迅速發(fā)展與廣泛應(yīng)用�；ヂ�(lián)網(wǎng)的發(fā)展重心由硬件設(shè)備和軟件應(yīng)用轉(zhuǎn)向海量數(shù)據(jù)存儲(chǔ),消費(fèi)數(shù)據(jù)存儲(chǔ)服務(wù)的主體漸漸由企業(yè)用戶轉(zhuǎn)向個(gè)人用戶,個(gè)體所產(chǎn)生的絕大部分?jǐn)?shù)據(jù)均為圖片、文檔、視頻等非結(jié)構(gòu)化數(shù)據(jù)。在可擴(kuò)展性,高可用性,容錯(cuò)處理以及延時(shí)訪問方面的限制,使得傳統(tǒng)的IT存儲(chǔ)技術(shù)不能適應(yīng)海量存儲(chǔ)的需求。云存儲(chǔ)使得存儲(chǔ)容量可以通過低成本節(jié)點(diǎn)單位擴(kuò)展來增加,再加上其高可用性和可靠性,安全存儲(chǔ)等特性,越來越多的大公司開始將目光轉(zhuǎn)向以分布式存儲(chǔ)為基礎(chǔ)的云存儲(chǔ)這一新興市場(chǎng)的爭(zhēng)奪,比較出名的商業(yè)云存儲(chǔ)服務(wù)有Apache對(duì)GFS的開源實(shí)現(xiàn)Hadoop,微軟的Live Skydrive和Dropbox, Amazon高可用和可伸縮的分布式數(shù)據(jù)存儲(chǔ)系統(tǒng)Dynamo等。其中HDFS (Hadoop Distributed File System)由于其良好特性和開源實(shí)現(xiàn),漸漸成為云存儲(chǔ)基本支撐平臺(tái)的主流應(yīng)用文件系統(tǒng)。HDFS采用多副本的復(fù)制冗余技術(shù),存儲(chǔ)空間和帶寬傳輸資源有一定的浪費(fèi),在數(shù)據(jù)海量增長(zhǎng)的情況下,這種資源消耗會(huì)呈線性方式增加,這樣一個(gè)文件操作頻繁的系統(tǒng)長(zhǎng)期運(yùn)行后,后期的維護(hù)成本會(huì)比較高。針對(duì)該問題,我們以HDFS為基礎(chǔ),通過融入信息論數(shù)據(jù)容錯(cuò)編碼相關(guān)技術(shù),建立了一個(gè)基于網(wǎng)絡(luò)編碼的分布式云存儲(chǔ)系統(tǒng)NC-HDFS,在有效降低冗余度的基礎(chǔ)上提高了系統(tǒng)容錯(cuò)能力。本文以支持系統(tǒng)資源監(jiān)控和負(fù)載均衡調(diào)度為目標(biāo),對(duì)NC-HDFS中的性能優(yōu)化技術(shù)開展了研究,加入一定的負(fù)載均衡機(jī)制來優(yōu)化讀寫,主要貢獻(xiàn)有以下三點(diǎn)：(1)針對(duì)基于網(wǎng)絡(luò)編碼的分布式存儲(chǔ)系統(tǒng)NC-HDFS的新特征和HDFS僅對(duì)磁盤容量相關(guān)參數(shù)進(jìn)行監(jiān)控這一缺陷,設(shè)計(jì)并實(shí)現(xiàn)了資源監(jiān)控模塊,支持對(duì)CPU、內(nèi)存、磁盤I/O利用率等參數(shù)的實(shí)時(shí)收集與管理,為動(dòng)態(tài)負(fù)載均衡優(yōu)化設(shè)計(jì)提供了決策依據(jù)。(2)針對(duì)資源狀態(tài)信息的實(shí)時(shí)更新問題,進(jìn)一步優(yōu)化了HDFS的心跳協(xié)議及名稱節(jié)點(diǎn)端保存數(shù)據(jù)節(jié)點(diǎn)性能狀態(tài)的相關(guān)數(shù)據(jù)結(jié)構(gòu),使新加入的節(jié)點(diǎn)參考數(shù)據(jù)能及時(shí)通過協(xié)議由名稱節(jié)點(diǎn)接受并處理,在支持多維信息更新的同時(shí),為名稱節(jié)點(diǎn)了解數(shù)據(jù)節(jié)點(diǎn)的動(dòng)態(tài)變化信息提供支持。(3)針對(duì)NC-HDFS的數(shù)據(jù)讀寫需求,建立了基于多屬性約束的動(dòng)態(tài)請(qǐng)求調(diào)度機(jī)制,實(shí)現(xiàn)寫文件時(shí)n個(gè)文件塊所在數(shù)據(jù)節(jié)點(diǎn)的選擇和讀文件時(shí)n個(gè)數(shù)據(jù)節(jié)點(diǎn)中k個(gè)的選擇,有效提高了讀寫文件的效率,并達(dá)到了系統(tǒng)內(nèi)資源使用的均衡。
[Abstract]:Nowadays, IT technology has been developed rapidly and widely used in the information digital age, which is characterized by the rapid development of IT technology. The focus of the development of the Internet has shifted from hardware equipment and software applications to massive data storage, and the main body of consumer data storage services has gradually shifted from enterprise users to individual users. Most of the data generated by individuals are pictures and documents. Unstructured data such as video. Due to the limitations of scalability, high availability, fault-tolerant processing and delayed access, the traditional IT storage technology can not meet the needs of mass storage. Cloud storage allows storage capacity to be increased through low-cost node unit expansion, plus its high availability and reliability, secure storage, etc. A growing number of big companies are turning to the emerging market of cloud storage based on distributed storage. The well-known commercial cloud storage services include Apache's open source implementation of GFS, Hadoop, Microsoft's Live Skydrive and Dropbox, Amazon's highly available and scalable distributed data storage system, Dynamo, and so on. Because of its good characteristics and open source implementation, HDFS (Hadoop Distributed File System) has gradually become the mainstream application file system. HDFS, which is the basic support platform of cloud storage, uses multi-copy duplication redundancy technology, and the storage space and bandwidth transfer resources are wasted to a certain extent. In the case of massive increase of data, the consumption of this kind of resources will increase linearly. After a system with frequent file operation runs for a long time, the later maintenance cost will be higher. To solve this problem, we build a distributed cloud storage system (NC-HDFS,) based on network coding, which is based on HDFS and integrates information theory data fault-tolerant coding technology, and improves the system's fault-tolerant ability on the basis of reducing redundancy effectively. Aiming at supporting system resource monitoring and load balancing scheduling, this paper studies the performance optimization technology in NC-HDFS, and adds a certain load balancing mechanism to optimize reading and writing. The main contributions are as follows: (1) aiming at the new features of distributed storage system (NC-HDFS) based on network coding and the defect that HDFS only monitors the relevant parameters of disk capacity, a resource monitoring module is designed and implemented to support the memory of CPU,. The real-time collection and management of disk I / O utilization ratio and other parameters provide a decision basis for dynamic load balancing optimization design. (2) aiming at the real-time update of resource status information, Furthermore, the heartbeat protocol of HDFS and the data structure related to the storage of the performance state of the data node at the name node end are optimized, so that the new node reference data can be received and processed by the name node in time through the protocol. At the same time, it provides support for the name node to know the dynamic change information of the data node. (3) aiming at the data reading and writing requirement of NC-HDFS, a dynamic request scheduling mechanism based on multi-attribute constraint is established. The selection of data nodes in n file blocks and k in reading files is realized, which effectively improves the efficiency of reading and writing files, and achieves the balance of resource utilization in the system.
【學(xué)位授予單位】：南京大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2013
【分類號(hào)】：TP333

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 李紅;藍(lán)光存儲(chǔ)系統(tǒng) 光盤容量高達(dá)23G[J];信息記錄材料;2004年01期

2 ;存儲(chǔ)系統(tǒng) 金融行業(yè)應(yīng)用卓越獎(jiǎng) 醫(yī)療行業(yè)應(yīng)用卓越獎(jiǎng)[J];每周電腦報(bào);2004年20期

3 諾拉;EMC Symmetrix DMX-3存儲(chǔ)系統(tǒng) 超大容量 高速存取[J];中國計(jì)算機(jī)用戶;2005年31期

4 謝世誠;;浪潮推出4Gb光纖存儲(chǔ)系統(tǒng)[J];微型機(jī)與應(yīng)用;2006年07期

5 ;昆騰分級(jí)存儲(chǔ)系統(tǒng)[J];軟件世界;2009年11期

6 ;超低功耗云存儲(chǔ)系統(tǒng)或被地方政府看好[J];中國有線電視;2013年08期

7 湯赫男;;云存儲(chǔ)系統(tǒng)的分析與應(yīng)用研究[J];計(jì)算機(jī)光盤軟件與應(yīng)用;2013年24期

8 諶偉;;云存儲(chǔ)系統(tǒng)的分析與應(yīng)用探討[J];數(shù)字技術(shù)與應(yīng)用;2013年10期

9 雅君;跟上企業(yè)的匆匆腳步——利用HP SureStoreEXP256構(gòu)筑企業(yè)存儲(chǔ)系統(tǒng)[J];中國計(jì)算機(jī)用戶;2000年08期

10 賈莉;;Symmetrix8000實(shí)現(xiàn)19TB存儲(chǔ)[J];每周電腦報(bào);2000年18期

相關(guān)會(huì)議論文 前10條

1 趙志剛;;存儲(chǔ)系統(tǒng)在企業(yè)信息化中的應(yīng)用[A];2005年安徽通信論文集[C];2006年

2 黃曉峰;張杰;;礦井信息中心存儲(chǔ)系統(tǒng)設(shè)計(jì)[A];安全高效礦井機(jī)電裝備及信息化技術(shù)——陜西省煤炭學(xué)會(huì)學(xué)術(shù)年會(huì)論文集（2011）[C];2011年

3 孫哲;李昌銀;;構(gòu)建核電高可用云存儲(chǔ)系統(tǒng)[A];2012電力行業(yè)信息化年會(huì)優(yōu)秀論文專輯[C];2012年

4 焦超;周天彤;李祥學(xué);李建華;;面向?yàn)?zāi)備的高性能可信存儲(chǔ)系統(tǒng)設(shè)計(jì)[A];第十一屆保密通信與信息安全現(xiàn)狀研討會(huì)論文集[C];2009年

5 汪位龍;;設(shè)計(jì)院存儲(chǔ)系統(tǒng)建設(shè)初探[A];中國公路學(xué)會(huì)計(jì)算機(jī)應(yīng)用分會(huì)2004年年會(huì)學(xué)術(shù)論文集[C];2004年

6 梅松竹;李宗伯;;Storage 7000系列混合存儲(chǔ)系統(tǒng)分析[A];2009年中國高校通信類院系學(xué)術(shù)研討會(huì)論文集[C];2009年

7 王克敏;張璽;胡江凱;王毅濤;;NWP資料歸檔方法及其存儲(chǔ)系統(tǒng)的應(yīng)用[A];中國氣象學(xué)會(huì)2006年年會(huì)“中尺度天氣動(dòng)力學(xué)、數(shù)值模擬和預(yù)測(cè)”分會(huì)場(chǎng)論文集[C];2006年

8 孫哲;李昌銀;;DeDu:基于云計(jì)算的冗余刪除存儲(chǔ)系統(tǒng)[A];電力行業(yè)新一代信息技術(shù)研討會(huì)論文集[C];2011年

9 高小伍;黨齊民;林晨;;校園網(wǎng)存儲(chǔ)系統(tǒng)的研究與實(shí)現(xiàn)[A];中國高等教育學(xué)會(huì)教育信息化分會(huì)第十次學(xué)術(shù)年會(huì)論文集[C];2010年

10 宮海林;郭長(zhǎng)國;苑洪亮;王懷民;;支持事務(wù)的非結(jié)構(gòu)化數(shù)據(jù)聚合存儲(chǔ)系統(tǒng)GSL[A];2006年全國開放式分布與并行計(jì)算機(jī)學(xué)術(shù)會(huì)議論文集（三）[C];2006年

相關(guān)重要報(bào)紙文章 前10條

1 ;第三季度中國存儲(chǔ)系統(tǒng)市場(chǎng)達(dá)19.1億元[N];中國高新技術(shù)產(chǎn)業(yè)導(dǎo)報(bào);2005年

2 本報(bào)記者 薛斐;服務(wù)：存儲(chǔ)系統(tǒng)的靈魂[N];計(jì)算機(jī)世界;2002年

3 單群一;惠普推出全新一體化存儲(chǔ)系統(tǒng)[N];中國稅務(wù)報(bào);2007年

4 ;浪潮推出4Gb光纖存儲(chǔ)系統(tǒng)[N];人民郵電;2006年

5 ;今年第二季度 存儲(chǔ)系統(tǒng)市場(chǎng)價(jià)值達(dá)12.6億元[N];人民郵電;2006年

6 郭;日立推出普及型存儲(chǔ)系統(tǒng)[N];計(jì)算機(jī)世界;2007年

7 陳耀光;朗登 扛起存儲(chǔ)系統(tǒng)設(shè)計(jì)院的大旗[N];中國企業(yè)報(bào);2001年

8 ;富士通存儲(chǔ)系統(tǒng)全面升級(jí)[N];網(wǎng)絡(luò)世界;2009年

9 ;EMC亞洲生產(chǎn)制造中心落戶深圳[N];網(wǎng)絡(luò)世界;2009年

10 臨履;存儲(chǔ)系統(tǒng)有了“設(shè)計(jì)院”[N];網(wǎng)絡(luò)世界;2001年

相關(guān)博士學(xué)位論文 前10條

1 趙雨虹;云存儲(chǔ)系統(tǒng)資源調(diào)度技術(shù)研究[D];華中科技大學(xué);2015年

2 陸承濤;存儲(chǔ)系統(tǒng)性能管理問題的研究[D];華中科技大學(xué);2010年

3 聶雪軍;內(nèi)容感知存儲(chǔ)系統(tǒng)中信息信息生命周期管理關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2011年

4 羅東健;大規(guī)模存儲(chǔ)系統(tǒng)高可靠性關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2011年

5 聶雪軍;內(nèi)容感知存儲(chǔ)系統(tǒng)中信息生命周期管理關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2010年

6 王鵬;低密度奇偶校驗(yàn)碼應(yīng)用于存儲(chǔ)系統(tǒng)的關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2013年

7 刁瑩;用數(shù)學(xué)建模方法評(píng)價(jià)存儲(chǔ)系統(tǒng)性能[D];哈爾濱工程大學(xué);2013年

8 符青云;面向大規(guī)模流媒體服務(wù)的高性能存儲(chǔ)系統(tǒng)研究[D];電子科技大學(xué);2009年

9 王玉林;多節(jié)點(diǎn)容錯(cuò)存儲(chǔ)系統(tǒng)的數(shù)據(jù)與緩存組織研究[D];電子科技大學(xué);2010年

10 田敬;對(duì)等存儲(chǔ)系統(tǒng)中的數(shù)據(jù)可用性與安全性研究[D];北京大學(xué);2007年

相關(guān)碩士學(xué)位論文 前10條

1 馮漢超;基于Hadoop的分布式副本策略研究[D];河北工程大學(xué);2015年

2 張明;IaaS中基于熱點(diǎn)數(shù)據(jù)的存儲(chǔ)系統(tǒng)研究與實(shí)現(xiàn)[D];哈爾濱工業(yè)大學(xué);2015年

3 蔣靜遠(yuǎn);基于數(shù)據(jù)通道的非結(jié)構(gòu)化數(shù)據(jù)多存儲(chǔ)系統(tǒng)[D];浙江大學(xué);2015年

4 郭暉;面向高清視頻監(jiān)控的流存儲(chǔ)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2015年

5 許孟杰;嵌入式快速存儲(chǔ)模塊的研究與實(shí)現(xiàn)[D];中國艦船研究院;2015年

6 何潔和;面向POI的分布式結(jié)構(gòu)化存儲(chǔ)系統(tǒng)存儲(chǔ)引擎設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2014年

7 王曉;混合存儲(chǔ)系統(tǒng)高效快照技術(shù)研究[D];北京理工大學(xué);2015年

8 邱登峰;基于Hadoop可公共審計(jì)云存儲(chǔ)的設(shè)計(jì)與實(shí)現(xiàn)[D];大連理工大學(xué);2015年

9 張致元;電子商品存儲(chǔ)系統(tǒng)設(shè)計(jì)與研究[D];復(fù)旦大學(xué);2014年

10 劉秉煦;云存儲(chǔ)環(huán)境下的混合存儲(chǔ)算法研究與實(shí)現(xiàn)[D];上海交通大學(xué);2015年

，

本文編號(hào)：2235020