云存儲實現(xiàn)了海量數(shù)據(jù)的存儲與管理,向用戶提供簡單而可靠的存儲服務(wù),正在受到越來越廣泛的關(guān)注。副本管理技術(shù)是云存儲系統(tǒng)中用來提高系統(tǒng)可用性、可靠性以及可擴展性的關(guān)鍵技術(shù)之一。但是副本管理技術(shù)的引入,也帶來了副本創(chuàng)建、副本動態(tài)調(diào)整等副本管理方面的問題。因此研究在云存儲環(huán)境下的副本管理方法并驗證其有效性就成為了一項重要的研究課題。本文在對幾種典型云存儲系統(tǒng)副本管理方法進行研究與分析的基礎(chǔ)上,針對自主研發(fā)的CSCloud云存儲系統(tǒng),提出了一種基于靜態(tài)放置和動態(tài)調(diào)整相結(jié)合的副本管理方法。在該副本管理方法中,在副本初始生成階段,元數(shù)據(jù)管理服務(wù)器結(jié)合文件服務(wù)器歷史信息和用戶信息,根據(jù)靜態(tài)副本節(jié)點選取算法,實現(xiàn)用戶文件副本與文件服務(wù)器的均衡分配;在副本動態(tài)調(diào)整階段,元數(shù)據(jù)管理服務(wù)器結(jié)合監(jiān)控系統(tǒng)的反饋信息,根據(jù)動態(tài)副本節(jié)點選取算法,完成用戶文件副本的動態(tài)調(diào)整,提高了CSCloud云存儲系統(tǒng)的可用性、可靠性和負(fù)載均衡性。本文還設(shè)計和實現(xiàn)了文件的多版本存儲和管理,減少了文件服務(wù)器的存儲壓力,提升了CSCloud云存儲系統(tǒng)的存儲效率。本文將所提出的副本管理方法在CSCloud云存儲系統(tǒng)中加以實現(xiàn)和應(yīng)用,通過模... 

【文章來源】：長安大學(xué)陜西省 211工程院校 教育部直屬院校

【文章頁數(shù)】：66 頁

【學(xué)位級別】：碩士

【部分圖文】：

云存儲層次化模型圖

2.1 Google 文件系統(tǒng)為了解決快速增加的數(shù)據(jù)存儲和處理需求，谷歌提出了可擴展的分布式文件系FS。與傳統(tǒng)的分布式文件系統(tǒng)相比，它有幾個明顯的特點，首先因為它的數(shù)據(jù)中心價 PC 機組成，所以當(dāng)系統(tǒng)中節(jié)點出現(xiàn)錯誤時，不做異常處理，默認(rèn)是一種常態(tài)；主要針對單位為 GB 級以上的大文件；最后對文件的修改以追加寫為主，幾乎沒有寫。GFS 的系統(tǒng)架構(gòu)如圖 2.1 所示。采用主從式架構(gòu)，其中 Master（主服務(wù)器）是 G元數(shù)據(jù)管理服務(wù)器，存儲著系統(tǒng)所有的元數(shù)據(jù)，并且對整個文件系統(tǒng)進行管理，數(shù)務(wù)器（Chunk 服務(wù)器）有普通的 PC 機組成，對用戶數(shù)據(jù)進行存儲，同時可以對數(shù)行訪問與修改。GFS 地理上廣泛分布，采用多層布局的架構(gòu)，機架上安裝著數(shù)不清數(shù)據(jù)服務(wù)器，來自任何機架的用戶都可以訪問這些服務(wù)器。

圖 2.2 S3 基本結(jié)構(gòu)圖為了使系統(tǒng)中的存儲對象比較均衡地分布，Amazon 采用了改進的一致性哈希首先介紹一致性哈希算法，如圖 2.3 所示。該算法可以分為兩個過程，第一步求出存儲服務(wù)器的哈希值，然后由所有的值構(gòu)成一個哈希環(huán)，每個哈希值代表服務(wù)器；第二步計算需要進行存儲的數(shù)據(jù)的哈希值，然后把這些哈希值按照順映射到第一步的哈希環(huán)上離它最近的存儲服務(wù)器上。由于一致性哈希算法沒有儲服務(wù)器的異構(gòu)性，于是 Amazon 引入了虛擬節(jié)點的概念，虛擬節(jié)點越多表示器的處理能力越強。改進的一致性哈希算法的每個存儲服務(wù)器都擁有多個處理相同的虛擬節(jié)點，我們可以通過存儲服務(wù)器擁有的虛擬節(jié)點數(shù)來區(qū)分它們的處

【參考文獻】：
期刊論文
[1]淺談云存儲技術(shù)的特點及其應(yīng)用[J]. 張娟.  中國新通信. 2016(14)
[2]基于AmazonS3的云存儲系統(tǒng)的設(shè)計[J]. 郭巍,李小勇.  微型電腦應(yīng)用. 2016(01)
[3]基于熱度分析的動態(tài)副本創(chuàng)建算法[J]. 饒磊,楊凡德,李新明,劉東.  計算機應(yīng)用. 2014(S2)
[4]云存儲數(shù)據(jù)完整性校驗機制研究[J]. 徐先棟,孔令濤,王蒙.  信息安全與通信保密. 2014(10)
[5]OpenStack Swift關(guān)鍵技術(shù)分析與性能評測[J]. 葛江浩,劉磊,李小勇.  微型電腦應(yīng)用. 2013(11)
[6]Hadoop副本放置策略[J]. 邵秀麗,王亞光,李云龍,劉一偉.  智能系統(tǒng)學(xué)報. 2013(06)
[7]分布式文件系統(tǒng)元數(shù)據(jù)服務(wù)器高可用性設(shè)計[J]. 戰(zhàn)科宇,李小勇,劉海濤.  小型微型計算機系統(tǒng). 2013(04)
[8]基于云存儲技術(shù)的存儲架構(gòu)模型[J]. 員建廈.  計算機與網(wǎng)絡(luò). 2013(07)
[9]基于Amazon S3兼容云存儲平臺的媒體文件存儲與訪問[J]. 宋順祥,姜瑩.  信息通信技術(shù). 2013(01)
[10]安全云存儲系統(tǒng)與關(guān)鍵技術(shù)綜述[J]. 傅穎勛,羅圣美,舒繼武.  計算機研究與發(fā)展. 2013(01)

博士論文
[1]面向云存儲副本復(fù)制的一致性關(guān)鍵技術(shù)研究[D]. 楊英儀.華南理工大學(xué) 2015
[2]面向大數(shù)據(jù)的異構(gòu)集群存儲系統(tǒng)副本放置與選擇策略研究[D]. 熊潤群.東南大學(xué) 2015
[3]多版本塊備份數(shù)據(jù)管理關(guān)鍵技術(shù)研究[D]. 吳廣君.哈爾濱工業(yè)大學(xué) 2010

碩士論文
[1]云存儲環(huán)境下副本管理策略研究與實現(xiàn)[D]. 杜國平.北京郵電大學(xué) 2017
[2]Geo-distributed云存儲服務(wù)中數(shù)據(jù)副本放置策略的研究[D]. 劉圓圓.吉林大學(xué) 2016
[3]私有云中的數(shù)據(jù)同步、備份和恢復(fù)系統(tǒng)的設(shè)計與實現(xiàn)[D]. 黃輝.電子科技大學(xué) 2016
[4]基于Openstack云存儲技術(shù)的研究與實現(xiàn)[D]. 夏志雄.華南理工大學(xué) 2016
[5]云存儲環(huán)境下副本管理策略研究[D]. 張翠蘋.沈陽航空航天大學(xué) 2016
[6]基于Swift的資源負(fù)載均衡策略研究[D]. 閆曉勇.哈爾濱工業(yè)大學(xué) 2015
[7]云環(huán)境下的高效多副本管理研究[D]. 施振磊.電子科技大學(xué) 2015
[8]基于Hadoop的數(shù)據(jù)備份技術(shù)的研究與實現(xiàn)[D]. 李超越.北京郵電大學(xué) 2015
[9]基于OpenStack的云存儲系統(tǒng)的研究與設(shè)計[D]. 邵珠興.北京工業(yè)大學(xué) 2014
[10]云存儲系統(tǒng)中數(shù)據(jù)復(fù)制關(guān)鍵技術(shù)研究[D]. 王義波.南京郵電大學(xué) 2014



本文編號：3467705