本文關(guān)鍵詞：私有云存儲(chǔ)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)　出處：《電子科技大學(xué)》2014年碩士論文　論文類型：學(xué)位論文

  更多相關(guān)文章： 云存儲(chǔ)系統(tǒng) 分布式處理 數(shù)據(jù)存儲(chǔ) 一致性 容錯(cuò)

【摘要】：隨著信息技術(shù)的不斷發(fā)展和普及,數(shù)據(jù)量迅猛增長,數(shù)據(jù)之間的聯(lián)系也越來越緊密,這使得高能性能計(jì)算[23,24]和大數(shù)據(jù)處理[25-27]日益成為人們關(guān)注的焦點(diǎn)。如今,云存儲(chǔ)技術(shù)因其高效的管理方式,高可靠性,高安全性等特點(diǎn)成為企業(yè)存儲(chǔ)數(shù)據(jù)的首選解決方案。而在云存儲(chǔ)系統(tǒng)設(shè)計(jì)之中,其高效性、可擴(kuò)展性和安全性成為設(shè)計(jì)的難點(diǎn)和重點(diǎn)。在云計(jì)算業(yè)界,云存儲(chǔ)系統(tǒng)的元數(shù)據(jù)管理單元和數(shù)據(jù)存儲(chǔ)單元的設(shè)計(jì)和實(shí)現(xiàn)一直是整個(gè)難點(diǎn)問題。由于文章篇幅和時(shí)間的限制,本文重點(diǎn)研究數(shù)據(jù)存儲(chǔ)單元的設(shè)計(jì)和實(shí)現(xiàn)。本文根據(jù)當(dāng)前的存儲(chǔ)系統(tǒng)和分布式文件系統(tǒng)的特點(diǎn)和應(yīng)用,并結(jié)合企業(yè)存儲(chǔ)服務(wù)的實(shí)際需求,提出并實(shí)現(xiàn)了一種具有高可擴(kuò)展性和高可用性的云存儲(chǔ)系統(tǒng)C-Store。本文先介紹已有的幾種分布式存儲(chǔ)系統(tǒng)和與云存儲(chǔ)相關(guān)技術(shù)理論基礎(chǔ),接著介紹本云存儲(chǔ)系統(tǒng)的總體設(shè)計(jì)思路和方法,重點(diǎn)介紹數(shù)據(jù)存儲(chǔ)系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn),最后通過對(duì)系統(tǒng)的測試來驗(yàn)證之前的設(shè)計(jì)思路。云存儲(chǔ)系統(tǒng)C-Store的總體架構(gòu)采用分布式構(gòu)架,元數(shù)據(jù)部分和數(shù)據(jù)部分的數(shù)據(jù)采用分別存儲(chǔ)方式,并分別用不同的、各自的資源管理單元(桶)來存儲(chǔ),這樣有利于元數(shù)據(jù)和數(shù)據(jù)分別管理和進(jìn)行性能優(yōu)化,避免單個(gè)節(jié)點(diǎn)失效帶來的風(fēng)險(xiǎn);同時(shí)采用負(fù)載均衡技術(shù)使之各個(gè)節(jié)點(diǎn)負(fù)載均衡,使用數(shù)據(jù)恢復(fù)策略等來提高系統(tǒng)的可靠性和可擴(kuò)展。本文實(shí)現(xiàn)了數(shù)據(jù)存儲(chǔ)單元中的設(shè)計(jì)思路和設(shè)計(jì)要點(diǎn)。整個(gè)數(shù)據(jù)存儲(chǔ)子系統(tǒng)實(shí)現(xiàn)是在Linux環(huán)境下使用C++來實(shí)現(xiàn)的;實(shí)現(xiàn)之后系統(tǒng),用戶可以通過客服端來上傳、下載和刪除數(shù)據(jù);實(shí)現(xiàn)數(shù)據(jù)以鍵值對(duì)存儲(chǔ)方式進(jìn)行存儲(chǔ),據(jù)按照基于規(guī)則的資源定位策略(多層映射),定位到多個(gè)不同的數(shù)據(jù)存儲(chǔ)單元;通過桶的擴(kuò)展和遷移來實(shí)現(xiàn)系統(tǒng)的負(fù)載均衡機(jī)制;用多副本機(jī)制來實(shí)現(xiàn)數(shù)據(jù)的恢復(fù)和重建;總的來講實(shí)現(xiàn)了一個(gè)具有高性能、可用性[22]和高可靠性的云存儲(chǔ)系統(tǒng)。
[Abstract]:With the continuous development of information technology and the popularity of the rapid growth of data volume, data between the increasingly close ties, which makes the high performance computing and data processing of [23,24] [25-27] has become the focus of attention. Nowadays, the cloud storage technology because of its efficient management, high reliability, high security has become the preferred solution scheme of enterprise data storage. In the design of cloud storage system, its efficiency, scalability and security has become the key point of the calculation. The industry in the cloud, cloud storage system design and implementation of metadata management unit and a data storage unit is always the difficult problem. Because of the limited time and space this paper focuses on the research, design and implementation of a data storage unit. According to the characteristics and application of the current storage system and distributed file system, combined with the enterprise storage service The actual service demand, proposes and implements a scalability and high availability of distributed storage system has been first introduced by the cloud storage system C-Store. and the related technology of cloud storage has high theoretical basis, and then introduces the overall design ideas and methods of the cloud storage system, introduces the design and implementation of data storage system finally, through the testing of the system to verify the previous design. The overall architecture of cloud storage system C-Store using distributed architecture, metadata part and data part of the data are stored by way, and don't use different resources, their management unit (barrels) to store, which is beneficial to the metadata and data management and to optimize performance, avoid the risk of failure of a single node; at the same time using the load balancing technology so that each node load balancing, data recovery strategy To improve the system reliability and scalability. This paper realizes the design ideas and design points of data storage unit. The data storage subsystem is C++ in the Linux environment to achieve the realization of the system; after, the user can through the customer terminal to upload, download and delete data; data storage in pairs for storage, according to the strategy of resource location based on rules (multi-level mapping), located in a number of different data storage unit; through the expansion and relocation of barrel to realize the load balancing mechanism system; multi copy mechanism to achieve data recovery and reconstruction; in general, to achieve a high performance, the availability of [22] and cloud storage system with high reliability.

【學(xué)位授予單位】：電子科技大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2014
【分類號(hào)】：TP333

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 李紅;藍(lán)光存儲(chǔ)系統(tǒng) 光盤容量高達(dá)23G[J];信息記錄材料;2004年01期

2 ;存儲(chǔ)系統(tǒng) 金融行業(yè)應(yīng)用卓越獎(jiǎng) 醫(yī)療行業(yè)應(yīng)用卓越獎(jiǎng)[J];每周電腦報(bào);2004年20期

3 諾拉;EMC Symmetrix DMX-3存儲(chǔ)系統(tǒng) 超大容量 高速存取[J];中國計(jì)算機(jī)用戶;2005年31期

4 謝世誠;;浪潮推出4Gb光纖存儲(chǔ)系統(tǒng)[J];微型機(jī)與應(yīng)用;2006年07期

5 ;昆騰分級(jí)存儲(chǔ)系統(tǒng)[J];軟件世界;2009年11期

6 ;超低功耗云存儲(chǔ)系統(tǒng)或被地方政府看好[J];中國有線電視;2013年08期

7 湯赫男;;云存儲(chǔ)系統(tǒng)的分析與應(yīng)用研究[J];計(jì)算機(jī)光盤軟件與應(yīng)用;2013年24期

8 諶偉;;云存儲(chǔ)系統(tǒng)的分析與應(yīng)用探討[J];數(shù)字技術(shù)與應(yīng)用;2013年10期

9 雅君;跟上企業(yè)的匆匆腳步——利用HP SureStoreEXP256構(gòu)筑企業(yè)存儲(chǔ)系統(tǒng)[J];中國計(jì)算機(jī)用戶;2000年08期

10 賈莉;;Symmetrix8000實(shí)現(xiàn)19TB存儲(chǔ)[J];每周電腦報(bào);2000年18期

相關(guān)會(huì)議論文 前10條

1 趙志剛;;存儲(chǔ)系統(tǒng)在企業(yè)信息化中的應(yīng)用[A];2005年安徽通信論文集[C];2006年

2 黃曉峰;張杰;;礦井信息中心存儲(chǔ)系統(tǒng)設(shè)計(jì)[A];安全高效礦井機(jī)電裝備及信息化技術(shù)——陜西省煤炭學(xué)會(huì)學(xué)術(shù)年會(huì)論文集（2011）[C];2011年

3 孫哲;李昌銀;;構(gòu)建核電高可用云存儲(chǔ)系統(tǒng)[A];2012電力行業(yè)信息化年會(huì)優(yōu)秀論文專輯[C];2012年

4 焦超;周天彤;李祥學(xué);李建華;;面向?yàn)?zāi)備的高性能可信存儲(chǔ)系統(tǒng)設(shè)計(jì)[A];第十一屆保密通信與信息安全現(xiàn)狀研討會(huì)論文集[C];2009年

5 汪位龍;;設(shè)計(jì)院存儲(chǔ)系統(tǒng)建設(shè)初探[A];中國公路學(xué)會(huì)計(jì)算機(jī)應(yīng)用分會(huì)2004年年會(huì)學(xué)術(shù)論文集[C];2004年

6 梅松竹;李宗伯;;Storage 7000系列混合存儲(chǔ)系統(tǒng)分析[A];2009年中國高校通信類院系學(xué)術(shù)研討會(huì)論文集[C];2009年

7 王克敏;張璽;胡江凱;王毅濤;;NWP資料歸檔方法及其存儲(chǔ)系統(tǒng)的應(yīng)用[A];中國氣象學(xué)會(huì)2006年年會(huì)“中尺度天氣動(dòng)力學(xué)、數(shù)值模擬和預(yù)測”分會(huì)場論文集[C];2006年

8 孫哲;李昌銀;;DeDu:基于云計(jì)算的冗余刪除存儲(chǔ)系統(tǒng)[A];電力行業(yè)新一代信息技術(shù)研討會(huì)論文集[C];2011年

9 高小伍;黨齊民;林晨;;校園網(wǎng)存儲(chǔ)系統(tǒng)的研究與實(shí)現(xiàn)[A];中國高等教育學(xué)會(huì)教育信息化分會(huì)第十次學(xué)術(shù)年會(huì)論文集[C];2010年

10 宮海林;郭長國;苑洪亮;王懷民;;支持事務(wù)的非結(jié)構(gòu)化數(shù)據(jù)聚合存儲(chǔ)系統(tǒng)GSL[A];2006年全國開放式分布與并行計(jì)算機(jī)學(xué)術(shù)會(huì)議論文集（三）[C];2006年

相關(guān)重要報(bào)紙文章 前10條

1 ;第三季度中國存儲(chǔ)系統(tǒng)市場達(dá)19.1億元[N];中國高新技術(shù)產(chǎn)業(yè)導(dǎo)報(bào);2005年

2 本報(bào)記者 薛斐;服務(wù)：存儲(chǔ)系統(tǒng)的靈魂[N];計(jì)算機(jī)世界;2002年

3 單群一;惠普推出全新一體化存儲(chǔ)系統(tǒng)[N];中國稅務(wù)報(bào);2007年

4 ;浪潮推出4Gb光纖存儲(chǔ)系統(tǒng)[N];人民郵電;2006年

5 ;今年第二季度 存儲(chǔ)系統(tǒng)市場價(jià)值達(dá)12.6億元[N];人民郵電;2006年

6 郭;日立推出普及型存儲(chǔ)系統(tǒng)[N];計(jì)算機(jī)世界;2007年

7 陳耀光;朗登 扛起存儲(chǔ)系統(tǒng)設(shè)計(jì)院的大旗[N];中國企業(yè)報(bào);2001年

8 ;富士通存儲(chǔ)系統(tǒng)全面升級(jí)[N];網(wǎng)絡(luò)世界;2009年

9 ;EMC亞洲生產(chǎn)制造中心落戶深圳[N];網(wǎng)絡(luò)世界;2009年

10 臨履;存儲(chǔ)系統(tǒng)有了“設(shè)計(jì)院”[N];網(wǎng)絡(luò)世界;2001年

相關(guān)博士學(xué)位論文 前10條

1 陸承濤;存儲(chǔ)系統(tǒng)性能管理問題的研究[D];華中科技大學(xué);2010年

2 聶雪軍;內(nèi)容感知存儲(chǔ)系統(tǒng)中信息信息生命周期管理關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2011年

3 羅東健;大規(guī)模存儲(chǔ)系統(tǒng)高可靠性關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2011年

4 聶雪軍;內(nèi)容感知存儲(chǔ)系統(tǒng)中信息生命周期管理關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2010年

5 王鵬;低密度奇偶校驗(yàn)碼應(yīng)用于存儲(chǔ)系統(tǒng)的關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2013年

6 刁瑩;用數(shù)學(xué)建模方法評(píng)價(jià)存儲(chǔ)系統(tǒng)性能[D];哈爾濱工程大學(xué);2013年

7 符青云;面向大規(guī)模流媒體服務(wù)的高性能存儲(chǔ)系統(tǒng)研究[D];電子科技大學(xué);2009年

8 王玉林;多節(jié)點(diǎn)容錯(cuò)存儲(chǔ)系統(tǒng)的數(shù)據(jù)與緩存組織研究[D];電子科技大學(xué);2010年

9 田敬;對(duì)等存儲(chǔ)系統(tǒng)中的數(shù)據(jù)可用性與安全性研究[D];北京大學(xué);2007年

10 李懷陽;進(jìn)化存儲(chǔ)系統(tǒng)數(shù)據(jù)組織模式研究[D];華中科技大學(xué);2006年

相關(guān)碩士學(xué)位論文 前10條

1 馮漢超;基于Hadoop的分布式副本策略研究[D];河北工程大學(xué);2015年

2 張明;IaaS中基于熱點(diǎn)數(shù)據(jù)的存儲(chǔ)系統(tǒng)研究與實(shí)現(xiàn)[D];哈爾濱工業(yè)大學(xué);2015年

3 蔣靜遠(yuǎn);基于數(shù)據(jù)通道的非結(jié)構(gòu)化數(shù)據(jù)多存儲(chǔ)系統(tǒng)[D];浙江大學(xué);2015年

4 郭暉;面向高清視頻監(jiān)控的流存儲(chǔ)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2015年

5 許孟杰;嵌入式快速存儲(chǔ)模塊的研究與實(shí)現(xiàn)[D];中國艦船研究院;2015年

6 何潔和;面向POI的分布式結(jié)構(gòu)化存儲(chǔ)系統(tǒng)存儲(chǔ)引擎設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2014年

7 王曉;混合存儲(chǔ)系統(tǒng)高效快照技術(shù)研究[D];北京理工大學(xué);2015年

8 邱登峰;基于Hadoop可公共審計(jì)云存儲(chǔ)的設(shè)計(jì)與實(shí)現(xiàn)[D];大連理工大學(xué);2015年

9 張致元;電子商品存儲(chǔ)系統(tǒng)設(shè)計(jì)與研究[D];復(fù)旦大學(xué);2014年

10 劉秉煦;云存儲(chǔ)環(huán)境下的混合存儲(chǔ)算法研究與實(shí)現(xiàn)[D];上海交通大學(xué);2015年

，

本文編號(hào)：1379654