發(fā)布時間：2018-01-04 18:43

  本文關鍵詞：私有云存儲系統(tǒng)的設計與實現(xiàn)　出處：《電子科技大學》2014年碩士論文　論文類型：學位論文

  更多相關文章： 云存儲系統(tǒng) 分布式處理 數(shù)據(jù)存儲 一致性 容錯

【摘要】：隨著信息技術的不斷發(fā)展和普及,數(shù)據(jù)量迅猛增長,數(shù)據(jù)之間的聯(lián)系也越來越緊密,這使得高能性能計算[23,24]和大數(shù)據(jù)處理[25-27]日益成為人們關注的焦點。如今,云存儲技術因其高效的管理方式,高可靠性,高安全性等特點成為企業(yè)存儲數(shù)據(jù)的首選解決方案。而在云存儲系統(tǒng)設計之中,其高效性、可擴展性和安全性成為設計的難點和重點。在云計算業(yè)界,云存儲系統(tǒng)的元數(shù)據(jù)管理單元和數(shù)據(jù)存儲單元的設計和實現(xiàn)一直是整個難點問題。由于文章篇幅和時間的限制,本文重點研究數(shù)據(jù)存儲單元的設計和實現(xiàn)。本文根據(jù)當前的存儲系統(tǒng)和分布式文件系統(tǒng)的特點和應用,并結合企業(yè)存儲服務的實際需求,提出并實現(xiàn)了一種具有高可擴展性和高可用性的云存儲系統(tǒng)C-Store。本文先介紹已有的幾種分布式存儲系統(tǒng)和與云存儲相關技術理論基礎,接著介紹本云存儲系統(tǒng)的總體設計思路和方法,重點介紹數(shù)據(jù)存儲系統(tǒng)的設計和實現(xiàn),最后通過對系統(tǒng)的測試來驗證之前的設計思路。云存儲系統(tǒng)C-Store的總體架構采用分布式構架,元數(shù)據(jù)部分和數(shù)據(jù)部分的數(shù)據(jù)采用分別存儲方式,并分別用不同的、各自的資源管理單元(桶)來存儲,這樣有利于元數(shù)據(jù)和數(shù)據(jù)分別管理和進行性能優(yōu)化,避免單個節(jié)點失效帶來的風險;同時采用負載均衡技術使之各個節(jié)點負載均衡,使用數(shù)據(jù)恢復策略等來提高系統(tǒng)的可靠性和可擴展。本文實現(xiàn)了數(shù)據(jù)存儲單元中的設計思路和設計要點。整個數(shù)據(jù)存儲子系統(tǒng)實現(xiàn)是在Linux環(huán)境下使用C++來實現(xiàn)的;實現(xiàn)之后系統(tǒng),用戶可以通過客服端來上傳、下載和刪除數(shù)據(jù);實現(xiàn)數(shù)據(jù)以鍵值對存儲方式進行存儲,據(jù)按照基于規(guī)則的資源定位策略(多層映射),定位到多個不同的數(shù)據(jù)存儲單元;通過桶的擴展和遷移來實現(xiàn)系統(tǒng)的負載均衡機制;用多副本機制來實現(xiàn)數(shù)據(jù)的恢復和重建;總的來講實現(xiàn)了一個具有高性能、可用性[22]和高可靠性的云存儲系統(tǒng)。
[Abstract]:With the continuous development of information technology and the popularity of the rapid growth of data volume, data between the increasingly close ties, which makes the high performance computing and data processing of [23,24] [25-27] has become the focus of attention. Nowadays, the cloud storage technology because of its efficient management, high reliability, high security has become the preferred solution scheme of enterprise data storage. In the design of cloud storage system, its efficiency, scalability and security has become the key point of the calculation. The industry in the cloud, cloud storage system design and implementation of metadata management unit and a data storage unit is always the difficult problem. Because of the limited time and space this paper focuses on the research, design and implementation of a data storage unit. According to the characteristics and application of the current storage system and distributed file system, combined with the enterprise storage service The actual service demand, proposes and implements a scalability and high availability of distributed storage system has been first introduced by the cloud storage system C-Store. and the related technology of cloud storage has high theoretical basis, and then introduces the overall design ideas and methods of the cloud storage system, introduces the design and implementation of data storage system finally, through the testing of the system to verify the previous design. The overall architecture of cloud storage system C-Store using distributed architecture, metadata part and data part of the data are stored by way, and don't use different resources, their management unit (barrels) to store, which is beneficial to the metadata and data management and to optimize performance, avoid the risk of failure of a single node; at the same time using the load balancing technology so that each node load balancing, data recovery strategy To improve the system reliability and scalability. This paper realizes the design ideas and design points of data storage unit. The data storage subsystem is C++ in the Linux environment to achieve the realization of the system; after, the user can through the customer terminal to upload, download and delete data; data storage in pairs for storage, according to the strategy of resource location based on rules (multi-level mapping), located in a number of different data storage unit; through the expansion and relocation of barrel to realize the load balancing mechanism system; multi copy mechanism to achieve data recovery and reconstruction; in general, to achieve a high performance, the availability of [22] and cloud storage system with high reliability.

【學位授予單位】：電子科技大學
【學位級別】：碩士
【學位授予年份】：2014
【分類號】：TP333

【相似文獻】

相關期刊論文 前10條

1 李紅;藍光存儲系統(tǒng) 光盤容量高達23G[J];信息記錄材料;2004年01期

2 ;存儲系統(tǒng) 金融行業(yè)應用卓越獎 醫(yī)療行業(yè)應用卓越獎[J];每周電腦報;2004年20期

3 諾拉;EMC Symmetrix DMX-3存儲系統(tǒng) 超大容量 高速存取[J];中國計算機用戶;2005年31期

4 謝世誠;;浪潮推出4Gb光纖存儲系統(tǒng)[J];微型機與應用;2006年07期

5 ;昆騰分級存儲系統(tǒng)[J];軟件世界;2009年11期

6 ;超低功耗云存儲系統(tǒng)或被地方政府看好[J];中國有線電視;2013年08期

7 湯赫男;;云存儲系統(tǒng)的分析與應用研究[J];計算機光盤軟件與應用;2013年24期

8 諶偉;;云存儲系統(tǒng)的分析與應用探討[J];數(shù)字技術與應用;2013年10期

9 雅君;跟上企業(yè)的匆匆腳步——利用HP SureStoreEXP256構筑企業(yè)存儲系統(tǒng)[J];中國計算機用戶;2000年08期

10 賈莉;;Symmetrix8000實現(xiàn)19TB存儲[J];每周電腦報;2000年18期

相關會議論文 前10條

1 趙志剛;;存儲系統(tǒng)在企業(yè)信息化中的應用[A];2005年安徽通信論文集[C];2006年

2 黃曉峰;張杰;;礦井信息中心存儲系統(tǒng)設計[A];安全高效礦井機電裝備及信息化技術——陜西省煤炭學會學術年會論文集（2011）[C];2011年

3 孫哲;李昌銀;;構建核電高可用云存儲系統(tǒng)[A];2012電力行業(yè)信息化年會優(yōu)秀論文專輯[C];2012年

4 焦超;周天彤;李祥學;李建華;;面向災備的高性能可信存儲系統(tǒng)設計[A];第十一屆保密通信與信息安全現(xiàn)狀研討會論文集[C];2009年

5 汪位龍;;設計院存儲系統(tǒng)建設初探[A];中國公路學會計算機應用分會2004年年會學術論文集[C];2004年

6 梅松竹;李宗伯;;Storage 7000系列混合存儲系統(tǒng)分析[A];2009年中國高校通信類院系學術研討會論文集[C];2009年

7 王克敏;張璽;胡江凱;王毅濤;;NWP資料歸檔方法及其存儲系統(tǒng)的應用[A];中國氣象學會2006年年會“中尺度天氣動力學、數(shù)值模擬和預測”分會場論文集[C];2006年

8 孫哲;李昌銀;;DeDu:基于云計算的冗余刪除存儲系統(tǒng)[A];電力行業(yè)新一代信息技術研討會論文集[C];2011年

9 高小伍;黨齊民;林晨;;校園網(wǎng)存儲系統(tǒng)的研究與實現(xiàn)[A];中國高等教育學會教育信息化分會第十次學術年會論文集[C];2010年

10 宮海林;郭長國;苑洪亮;王懷民;;支持事務的非結構化數(shù)據(jù)聚合存儲系統(tǒng)GSL[A];2006年全國開放式分布與并行計算機學術會議論文集（三）[C];2006年

相關重要報紙文章 前10條

1 ;第三季度中國存儲系統(tǒng)市場達19.1億元[N];中國高新技術產業(yè)導報;2005年

2 本報記者 薛斐;服務：存儲系統(tǒng)的靈魂[N];計算機世界;2002年

3 單群一;惠普推出全新一體化存儲系統(tǒng)[N];中國稅務報;2007年

4 ;浪潮推出4Gb光纖存儲系統(tǒng)[N];人民郵電;2006年

5 ;今年第二季度 存儲系統(tǒng)市場價值達12.6億元[N];人民郵電;2006年

6 郭;日立推出普及型存儲系統(tǒng)[N];計算機世界;2007年

7 陳耀光;朗登 扛起存儲系統(tǒng)設計院的大旗[N];中國企業(yè)報;2001年

8 ;富士通存儲系統(tǒng)全面升級[N];網(wǎng)絡世界;2009年

9 ;EMC亞洲生產制造中心落戶深圳[N];網(wǎng)絡世界;2009年

10 臨履;存儲系統(tǒng)有了“設計院”[N];網(wǎng)絡世界;2001年

相關博士學位論文 前10條

1 陸承濤;存儲系統(tǒng)性能管理問題的研究[D];華中科技大學;2010年

2 聶雪軍;內容感知存儲系統(tǒng)中信息信息生命周期管理關鍵技術研究[D];華中科技大學;2011年

3 羅東健;大規(guī)模存儲系統(tǒng)高可靠性關鍵技術研究[D];華中科技大學;2011年

4 聶雪軍;內容感知存儲系統(tǒng)中信息生命周期管理關鍵技術研究[D];華中科技大學;2010年

5 王鵬;低密度奇偶校驗碼應用于存儲系統(tǒng)的關鍵技術研究[D];華中科技大學;2013年

6 刁瑩;用數(shù)學建模方法評價存儲系統(tǒng)性能[D];哈爾濱工程大學;2013年

7 符青云;面向大規(guī)模流媒體服務的高性能存儲系統(tǒng)研究[D];電子科技大學;2009年

8 王玉林;多節(jié)點容錯存儲系統(tǒng)的數(shù)據(jù)與緩存組織研究[D];電子科技大學;2010年

9 田敬;對等存儲系統(tǒng)中的數(shù)據(jù)可用性與安全性研究[D];北京大學;2007年

10 李懷陽;進化存儲系統(tǒng)數(shù)據(jù)組織模式研究[D];華中科技大學;2006年

相關碩士學位論文 前10條

1 馮漢超;基于Hadoop的分布式副本策略研究[D];河北工程大學;2015年

2 張明;IaaS中基于熱點數(shù)據(jù)的存儲系統(tǒng)研究與實現(xiàn)[D];哈爾濱工業(yè)大學;2015年

3 蔣靜遠;基于數(shù)據(jù)通道的非結構化數(shù)據(jù)多存儲系統(tǒng)[D];浙江大學;2015年

4 郭暉;面向高清視頻監(jiān)控的流存儲系統(tǒng)設計與實現(xiàn)[D];電子科技大學;2015年

5 許孟杰;嵌入式快速存儲模塊的研究與實現(xiàn)[D];中國艦船研究院;2015年

6 何潔和;面向POI的分布式結構化存儲系統(tǒng)存儲引擎設計與實現(xiàn)[D];電子科技大學;2014年

7 王曉;混合存儲系統(tǒng)高效快照技術研究[D];北京理工大學;2015年

8 邱登峰;基于Hadoop可公共審計云存儲的設計與實現(xiàn)[D];大連理工大學;2015年

9 張致元;電子商品存儲系統(tǒng)設計與研究[D];復旦大學;2014年

10 劉秉煦;云存儲環(huán)境下的混合存儲算法研究與實現(xiàn)[D];上海交通大學;2015年

，

本文編號：1379654