發(fā)布時間：2021-10-31 00:32

　　云存儲實現(xiàn)了海量數(shù)據(jù)的存儲與管理,向用戶提供簡單而可靠的存儲服務,正在受到越來越廣泛的關注。副本管理技術是云存儲系統(tǒng)中用來提高系統(tǒng)可用性、可靠性以及可擴展性的關鍵技術之一。但是副本管理技術的引入,也帶來了副本創(chuàng)建、副本動態(tài)調(diào)整等副本管理方面的問題。因此研究在云存儲環(huán)境下的副本管理方法并驗證其有效性就成為了一項重要的研究課題。本文在對幾種典型云存儲系統(tǒng)副本管理方法進行研究與分析的基礎上,針對自主研發(fā)的CSCloud云存儲系統(tǒng),提出了一種基于靜態(tài)放置和動態(tài)調(diào)整相結合的副本管理方法。在該副本管理方法中,在副本初始生成階段,元數(shù)據(jù)管理服務器結合文件服務器歷史信息和用戶信息,根據(jù)靜態(tài)副本節(jié)點選取算法,實現(xiàn)用戶文件副本與文件服務器的均衡分配;在副本動態(tài)調(diào)整階段,元數(shù)據(jù)管理服務器結合監(jiān)控系統(tǒng)的反饋信息,根據(jù)動態(tài)副本節(jié)點選取算法,完成用戶文件副本的動態(tài)調(diào)整,提高了CSCloud云存儲系統(tǒng)的可用性、可靠性和負載均衡性。本文還設計和實現(xiàn)了文件的多版本存儲和管理,減少了文件服務器的存儲壓力,提升了CSCloud云存儲系統(tǒng)的存儲效率。本文將所提出的副本管理方法在CSCloud云存儲系統(tǒng)中加以實現(xiàn)和應用,通過模... 

【文章來源】：長安大學陜西省 211工程院校 教育部直屬院校

【文章頁數(shù)】：66 頁

【學位級別】：碩士

【部分圖文】：

云存儲層次化模型圖

2.1 Google 文件系統(tǒng)為了解決快速增加的數(shù)據(jù)存儲和處理需求，谷歌提出了可擴展的分布式文件系FS。與傳統(tǒng)的分布式文件系統(tǒng)相比，它有幾個明顯的特點，首先因為它的數(shù)據(jù)中心價 PC 機組成，所以當系統(tǒng)中節(jié)點出現(xiàn)錯誤時，不做異常處理，默認是一種常態(tài)；主要針對單位為 GB 級以上的大文件；最后對文件的修改以追加寫為主，幾乎沒有寫。GFS 的系統(tǒng)架構如圖 2.1 所示。采用主從式架構，其中 Master（主服務器）是 G元數(shù)據(jù)管理服務器，存儲著系統(tǒng)所有的元數(shù)據(jù)，并且對整個文件系統(tǒng)進行管理，數(shù)務器（Chunk 服務器）有普通的 PC 機組成，對用戶數(shù)據(jù)進行存儲，同時可以對數(shù)行訪問與修改。GFS 地理上廣泛分布，采用多層布局的架構，機架上安裝著數(shù)不清數(shù)據(jù)服務器，來自任何機架的用戶都可以訪問這些服務器。

圖 2.2 S3 基本結構圖為了使系統(tǒng)中的存儲對象比較均衡地分布，Amazon 采用了改進的一致性哈希首先介紹一致性哈希算法，如圖 2.3 所示。該算法可以分為兩個過程，第一步求出存儲服務器的哈希值，然后由所有的值構成一個哈希環(huán)，每個哈希值代表服務器；第二步計算需要進行存儲的數(shù)據(jù)的哈希值，然后把這些哈希值按照順映射到第一步的哈希環(huán)上離它最近的存儲服務器上。由于一致性哈希算法沒有儲服務器的異構性，于是 Amazon 引入了虛擬節(jié)點的概念，虛擬節(jié)點越多表示器的處理能力越強。改進的一致性哈希算法的每個存儲服務器都擁有多個處理相同的虛擬節(jié)點，我們可以通過存儲服務器擁有的虛擬節(jié)點數(shù)來區(qū)分它們的處

【參考文獻】：
期刊論文
[1]淺談云存儲技術的特點及其應用[J]. 張娟.  中國新通信. 2016(14)
[2]基于AmazonS3的云存儲系統(tǒng)的設計[J]. 郭巍,李小勇.  微型電腦應用. 2016(01)
[3]基于熱度分析的動態(tài)副本創(chuàng)建算法[J]. 饒磊,楊凡德,李新明,劉東.  計算機應用. 2014(S2)
[4]云存儲數(shù)據(jù)完整性校驗機制研究[J]. 徐先棟,孔令濤,王蒙.  信息安全與通信保密. 2014(10)
[5]OpenStack Swift關鍵技術分析與性能評測[J]. 葛江浩,劉磊,李小勇.  微型電腦應用. 2013(11)
[6]Hadoop副本放置策略[J]. 邵秀麗,王亞光,李云龍,劉一偉.  智能系統(tǒng)學報. 2013(06)
[7]分布式文件系統(tǒng)元數(shù)據(jù)服務器高可用性設計[J]. 戰(zhàn)科宇,李小勇,劉海濤.  小型微型計算機系統(tǒng). 2013(04)
[8]基于云存儲技術的存儲架構模型[J]. 員建廈.  計算機與網(wǎng)絡. 2013(07)
[9]基于Amazon S3兼容云存儲平臺的媒體文件存儲與訪問[J]. 宋順祥,姜瑩.  信息通信技術. 2013(01)
[10]安全云存儲系統(tǒng)與關鍵技術綜述[J]. 傅穎勛,羅圣美,舒繼武.  計算機研究與發(fā)展. 2013(01)

博士論文
[1]面向云存儲副本復制的一致性關鍵技術研究[D]. 楊英儀.華南理工大學 2015
[2]面向大數(shù)據(jù)的異構集群存儲系統(tǒng)副本放置與選擇策略研究[D]. 熊潤群.東南大學 2015
[3]多版本塊備份數(shù)據(jù)管理關鍵技術研究[D]. 吳廣君.哈爾濱工業(yè)大學 2010

碩士論文
[1]云存儲環(huán)境下副本管理策略研究與實現(xiàn)[D]. 杜國平.北京郵電大學 2017
[2]Geo-distributed云存儲服務中數(shù)據(jù)副本放置策略的研究[D]. 劉圓圓.吉林大學 2016
[3]私有云中的數(shù)據(jù)同步、備份和恢復系統(tǒng)的設計與實現(xiàn)[D]. 黃輝.電子科技大學 2016
[4]基于Openstack云存儲技術的研究與實現(xiàn)[D]. 夏志雄.華南理工大學 2016
[5]云存儲環(huán)境下副本管理策略研究[D]. 張翠蘋.沈陽航空航天大學 2016
[6]基于Swift的資源負載均衡策略研究[D]. 閆曉勇.哈爾濱工業(yè)大學 2015
[7]云環(huán)境下的高效多副本管理研究[D]. 施振磊.電子科技大學 2015
[8]基于Hadoop的數(shù)據(jù)備份技術的研究與實現(xiàn)[D]. 李超越.北京郵電大學 2015
[9]基于OpenStack的云存儲系統(tǒng)的研究與設計[D]. 邵珠興.北京工業(yè)大學 2014
[10]云存儲系統(tǒng)中數(shù)據(jù)復制關鍵技術研究[D]. 王義波.南京郵電大學 2014



本文編號：3467705