基于對等結構云存儲的副本管理研究
本文關鍵詞: 云存儲 P2P 副本管理 可信度 出處:《電子科技大學》2016年碩士論文 論文類型:學位論文
【摘要】:當今全球社會產生的數(shù)據(jù)量呈現(xiàn)爆炸式增長,由此產生出海量的數(shù)據(jù)存儲需求。在此種背景下,云存儲伴隨著云計算的產生而一同出現(xiàn)。云存儲擁有眾多傳統(tǒng)的存儲方式所不具備的優(yōu)勢,比如良好的擴展性、較低的單位存儲成本以及對海量數(shù)據(jù)的高效存儲等等。正是由于這些傳統(tǒng)方式所不具備的優(yōu)勢,云存儲的研究在各國中也越來越受到重視,企業(yè)界也將其作為海量數(shù)據(jù)存儲的首要解決方案。本文為了滿足視頻點播系統(tǒng)的高清視頻存儲需求,針對該應用系統(tǒng)的去中心化等特殊用戶需求,首先對當前主流的云存儲系統(tǒng)進行了分析與研究,然后設計自己的對等結構云存儲模型,并對該對等結構云存儲模型的副本管理策略進行研究,最后利用設計的云存儲模型構建視頻點播系統(tǒng)。本文的主要研究內容如下:(1)在主從結構云存儲系統(tǒng)HDFS基礎上,結合云存儲和P2P技術,設計自己的對等結構云存儲模型。著重設計了存儲簇對等的云存儲模型,將多個存儲服務器組成一個存儲簇,然后再使用Chord算法將多個存儲簇組成對等網(wǎng)絡。達到對等的云存儲不僅擁有云存儲的許多優(yōu)勢,而且還擁有P2P技術的眾多優(yōu)點,例如非中心化,優(yōu)良的擴展性以及杰出地負載均衡等,因此能夠有效地解決主從結構中由主節(jié)點引起的單點失敗的風險以及性能提升的瓶頸。(2)為確保文件的可用性和可靠性,系統(tǒng)采用了多副本冗余技術,實施了主要包括副本放置策略、副本調整策略以及副本一致性策略。支持動態(tài)擴充,引入擁有一定可信度的用戶機器加入云存儲系統(tǒng),優(yōu)化了某些局域網(wǎng)用戶對云存儲系統(tǒng)的訪問速度。本文還提出了可信度評價模型,它的提出是為了評價用戶機器的可信度。(3)實現(xiàn)了設計的云存儲模型原型系統(tǒng),通過測試實驗,驗證了設計方案。
[Abstract]:Nowadays, the amount of data generated by the global society is increasing explosively, resulting in a huge amount of data storage requirements. In this context. Cloud storage comes along with the generation of cloud computing. Cloud storage has many advantages that traditional storage methods do not have, such as good scalability. Because of the low unit storage cost and the efficient storage of mass data, cloud storage has been paid more and more attention in many countries because of the advantages that these traditional methods do not have. In order to meet the demand of high-definition video storage in VOD system, this paper aims at the special user needs such as decentralization of the application system. Firstly, the current mainstream cloud storage system is analyzed and studied, then its own peer-to-peer structure cloud storage model is designed, and the replica management strategy of the peer-to-peer structure cloud storage model is studied. Finally, the VOD system is constructed with the designed cloud storage model. The main contents of this paper are as follows: 1) based on the master-slave structure cloud storage system (HDFS), combining cloud storage and P2P technology. This paper designs its own cloud storage model with peer-to-peer structure, focusing on the cloud storage model of storage cluster peer-to-peer, which consists of multiple storage servers to form a storage cluster. Then the Chord algorithm is used to form multiple storage clusters into a peer-to-peer network. The peer-to-peer cloud storage not only has many advantages of cloud storage, but also has many advantages of P2P technology, such as non-centralization. Excellent scalability and excellent load balancing. Therefore, it can effectively solve the risk of single point failure caused by master node in master-slave structure and the bottleneck of performance improvement. (2) in order to ensure the availability and reliability of files, the system adopts multi-replica redundancy technology. The implementation includes replica placement policy, replica adjustment strategy and replica consistency policy. It supports dynamic expansion and introduces user machines with certain credibility to add cloud storage system. The access speed of some LAN users to cloud storage system is optimized. A credibility evaluation model is also proposed in this paper. In order to evaluate the reliability of user machine, the prototype system of cloud storage model is implemented, and the design scheme is verified by test experiment.
【學位授予單位】:電子科技大學
【學位級別】:碩士
【學位授予年份】:2016
【分類號】:TP333
【相似文獻】
相關期刊論文 前10條
1 李紅;藍光存儲系統(tǒng) 光盤容量高達23G[J];信息記錄材料;2004年01期
2 ;存儲系統(tǒng) 金融行業(yè)應用卓越獎 醫(yī)療行業(yè)應用卓越獎[J];每周電腦報;2004年20期
3 諾拉;EMC Symmetrix DMX-3存儲系統(tǒng) 超大容量 高速存取[J];中國計算機用戶;2005年31期
4 謝世誠;;浪潮推出4Gb光纖存儲系統(tǒng)[J];微型機與應用;2006年07期
5 ;昆騰分級存儲系統(tǒng)[J];軟件世界;2009年11期
6 ;超低功耗云存儲系統(tǒng)或被地方政府看好[J];中國有線電視;2013年08期
7 湯赫男;;云存儲系統(tǒng)的分析與應用研究[J];計算機光盤軟件與應用;2013年24期
8 諶偉;;云存儲系統(tǒng)的分析與應用探討[J];數(shù)字技術與應用;2013年10期
9 雅君;跟上企業(yè)的匆匆腳步——利用HP SureStoreEXP256構筑企業(yè)存儲系統(tǒng)[J];中國計算機用戶;2000年08期
10 賈莉;;Symmetrix8000實現(xiàn)19TB存儲[J];每周電腦報;2000年18期
相關會議論文 前10條
1 趙志剛;;存儲系統(tǒng)在企業(yè)信息化中的應用[A];2005年安徽通信論文集[C];2006年
2 黃曉峰;張杰;;礦井信息中心存儲系統(tǒng)設計[A];安全高效礦井機電裝備及信息化技術——陜西省煤炭學會學術年會論文集(2011)[C];2011年
3 孫哲;李昌銀;;構建核電高可用云存儲系統(tǒng)[A];2012電力行業(yè)信息化年會優(yōu)秀論文專輯[C];2012年
4 焦超;周天彤;李祥學;李建華;;面向災備的高性能可信存儲系統(tǒng)設計[A];第十一屆保密通信與信息安全現(xiàn)狀研討會論文集[C];2009年
5 汪位龍;;設計院存儲系統(tǒng)建設初探[A];中國公路學會計算機應用分會2004年年會學術論文集[C];2004年
6 梅松竹;李宗伯;;Storage 7000系列混合存儲系統(tǒng)分析[A];2009年中國高校通信類院系學術研討會論文集[C];2009年
7 王克敏;張璽;胡江凱;王毅濤;;NWP資料歸檔方法及其存儲系統(tǒng)的應用[A];中國氣象學會2006年年會“中尺度天氣動力學、數(shù)值模擬和預測”分會場論文集[C];2006年
8 孫哲;李昌銀;;DeDu:基于云計算的冗余刪除存儲系統(tǒng)[A];電力行業(yè)新一代信息技術研討會論文集[C];2011年
9 高小伍;黨齊民;林晨;;校園網(wǎng)存儲系統(tǒng)的研究與實現(xiàn)[A];中國高等教育學會教育信息化分會第十次學術年會論文集[C];2010年
10 宮海林;郭長國;苑洪亮;王懷民;;支持事務的非結構化數(shù)據(jù)聚合存儲系統(tǒng)GSL[A];2006年全國開放式分布與并行計算機學術會議論文集(三)[C];2006年
相關重要報紙文章 前10條
1 ;第三季度中國存儲系統(tǒng)市場達19.1億元[N];中國高新技術產業(yè)導報;2005年
2 本報記者 薛斐;服務:存儲系統(tǒng)的靈魂[N];計算機世界;2002年
3 單群一;惠普推出全新一體化存儲系統(tǒng)[N];中國稅務報;2007年
4 ;浪潮推出4Gb光纖存儲系統(tǒng)[N];人民郵電;2006年
5 ;今年第二季度 存儲系統(tǒng)市場價值達12.6億元[N];人民郵電;2006年
6 郭;日立推出普及型存儲系統(tǒng)[N];計算機世界;2007年
7 陳耀光;朗登 扛起存儲系統(tǒng)設計院的大旗[N];中國企業(yè)報;2001年
8 ;富士通存儲系統(tǒng)全面升級[N];網(wǎng)絡世界;2009年
9 ;EMC亞洲生產制造中心落戶深圳[N];網(wǎng)絡世界;2009年
10 臨履;存儲系統(tǒng)有了“設計院”[N];網(wǎng)絡世界;2001年
相關博士學位論文 前10條
1 趙雨虹;云存儲系統(tǒng)資源調度技術研究[D];華中科技大學;2015年
2 王福偉;列存儲系統(tǒng)的數(shù)據(jù)安全與網(wǎng)絡性能優(yōu)化模型研究[D];燕山大學;2016年
3 張菁;大規(guī)模分布式糾刪碼存儲系統(tǒng)中的高效數(shù)據(jù)傳輸技術研究[D];國防科學技術大學;2015年
4 陸承濤;存儲系統(tǒng)性能管理問題的研究[D];華中科技大學;2010年
5 聶雪軍;內容感知存儲系統(tǒng)中信息信息生命周期管理關鍵技術研究[D];華中科技大學;2011年
6 羅東健;大規(guī)模存儲系統(tǒng)高可靠性關鍵技術研究[D];華中科技大學;2011年
7 聶雪軍;內容感知存儲系統(tǒng)中信息生命周期管理關鍵技術研究[D];華中科技大學;2010年
8 王鵬;低密度奇偶校驗碼應用于存儲系統(tǒng)的關鍵技術研究[D];華中科技大學;2013年
9 刁瑩;用數(shù)學建模方法評價存儲系統(tǒng)性能[D];哈爾濱工程大學;2013年
10 符青云;面向大規(guī)模流媒體服務的高性能存儲系統(tǒng)研究[D];電子科技大學;2009年
相關碩士學位論文 前10條
1 馮漢超;基于Hadoop的分布式副本策略研究[D];河北工程大學;2015年
2 張明;IaaS中基于熱點數(shù)據(jù)的存儲系統(tǒng)研究與實現(xiàn)[D];哈爾濱工業(yè)大學;2015年
3 蔣靜遠;基于數(shù)據(jù)通道的非結構化數(shù)據(jù)多存儲系統(tǒng)[D];浙江大學;2015年
4 郭暉;面向高清視頻監(jiān)控的流存儲系統(tǒng)設計與實現(xiàn)[D];電子科技大學;2015年
5 許孟杰;嵌入式快速存儲模塊的研究與實現(xiàn)[D];中國艦船研究院;2015年
6 何潔和;面向POI的分布式結構化存儲系統(tǒng)存儲引擎設計與實現(xiàn)[D];電子科技大學;2014年
7 王曉;混合存儲系統(tǒng)高效快照技術研究[D];北京理工大學;2015年
8 邱登峰;基于Hadoop可公共審計云存儲的設計與實現(xiàn)[D];大連理工大學;2015年
9 張致元;電子商品存儲系統(tǒng)設計與研究[D];復旦大學;2014年
10 劉秉煦;云存儲環(huán)境下的混合存儲算法研究與實現(xiàn)[D];上海交通大學;2015年
,本文編號:1447208
本文鏈接:http://sikaile.net/kejilunwen/jisuanjikexuelunwen/1447208.html