發(fā)布時間：2021-08-28 06:38

　　隨著云計算的快速發(fā)展與普及,云存儲已然成為數(shù)據(jù)存儲的主要方式。而數(shù)據(jù)量的爆發(fā)式增長,導致云存儲系統(tǒng)中節(jié)點的規(guī)模及異構性也不斷增大,因此節(jié)點中數(shù)據(jù)的可靠性及I/O性受到了強有力的挑戰(zhàn)。為了防止因節(jié)點故障造成的數(shù)據(jù)丟失,系統(tǒng)會采用特定的恢復機制對數(shù)據(jù)進行保護。本文對存儲集群中節(jié)點異構性及多節(jié)點并發(fā)修復等問題進行了研究,主要工作如下。（1）針對集群中節(jié)點的異構性造成的數(shù)據(jù)存儲代價過高、可靠性較低、節(jié)點負載均衡能力不足等問題,以段排序交換算法（FSSA）為依托,對數(shù)據(jù)塊的部署方案進行改進,提出了分段交叉部署方案。在該方案中,通過對數(shù)據(jù)塊部署問題進行模型分析,建立起對應的數(shù)學模型;然后根據(jù)系統(tǒng)中節(jié)點的負載情況對其進行分段劃分,并對數(shù)據(jù)塊的部署節(jié)點進行初次的選擇;最后根據(jù)數(shù)據(jù)塊部署模型利用啟發(fā)式算法的思想在各個分段中對數(shù)據(jù)塊的部署節(jié)點進行選擇、替換,直至選擇出最優(yōu)部署節(jié)點集合。通過仿真結果表明,采用該方案可以在滿足數(shù)據(jù)塊部署可靠性需求的同時,有效地降低數(shù)據(jù)的存儲代價,優(yōu)化系統(tǒng)的負載均衡能力。（2）針對云存儲中多節(jié)點失效時系統(tǒng)修復時延較大以及可用性較低等問題,以多節(jié)點并發(fā)修復算法（MCRA）為依托,... 

【文章來源】：河南理工大學河南省

【文章頁數(shù)】：66 頁

【學位級別】：碩士

【部分圖文】：

副本的復

同的機架上可以有效降低數(shù)據(jù)丟失的風險。節(jié)點A……節(jié)點Z機架A機架B…機架ZNameNode客戶端副本1副本2副本3DataNode心跳協(xié)議發(fā)送請求節(jié)點信息數(shù)據(jù)塊分發(fā)獲取存儲節(jié)點信息圖2-11副本的復制與傳輸Fig.2-11ReplicationandTransmissionofthedatareplica2.4.存儲節(jié)點可靠性在云存儲系統(tǒng)中，數(shù)據(jù)節(jié)點大多采用廉價的底層硬件，因此節(jié)點故障時有發(fā)生。雖然對于單一的存儲節(jié)點而言，其故障發(fā)生很難被預測，呈現(xiàn)出故障的隨機性；但對于分布式存儲系統(tǒng)而言，因其擁有大量的存儲節(jié)點，可以通過對存儲系統(tǒng)歷史數(shù)據(jù)的統(tǒng)計與分析預估系統(tǒng)的故障時間與節(jié)點故障率。對于擁有較大規(guī)模的存儲系統(tǒng)而言，其節(jié)點的故障率與時間的關系曲線呈現(xiàn)出兩端高中間低的浴盆形，因此節(jié)點的故障率曲線又可以被稱為浴盆曲線，如圖2-12所示。時間故障率早期故障期磨損故障期偶然失效期圖2-12節(jié)點故障曲線Fig.2-12Nodefailurecurve由圖2-12可知，數(shù)據(jù)中心節(jié)點的故障率隨時間的變化可以分為早期故障期、14

{…}321nnnN節(jié)點集合.pop出棧函數(shù)LN輕量級負載集合.empty()判空函數(shù)3.3.1.部署模型通過第二章節(jié)對現(xiàn)有部署方案的分析我們可以發(fā)現(xiàn)，隨著數(shù)據(jù)中心設備的更新與規(guī)模的增長，在存儲集群內(nèi)部的節(jié)點異構性越來明顯。傳統(tǒng)的數(shù)據(jù)塊部署模型在進行數(shù)據(jù)塊部署時，沒有充分考慮因節(jié)點異構性而帶來了對于數(shù)據(jù)I/O性、安全性等方面的影響，可能造成將數(shù)據(jù)安全性能要求較高的數(shù)據(jù)部署在可靠性較差的節(jié)點上、將I/O性能要求較高的數(shù)據(jù)部署在讀寫性能較差的節(jié)點上。為了解決上述問題，本章提出了分段交叉部署方案（Segmentedcross-deploymentscheme，SCDS）。其部署模型如圖3-2所示。機架A機架B…機架Z節(jié)點A……節(jié)點ZDataNode獲取存儲節(jié)點信息客戶端NameNode節(jié)點狀態(tài)包數(shù)據(jù)信息包（數(shù)據(jù)大孝可靠性需求等）存儲方案包（數(shù)據(jù)將要存儲的節(jié)點地址）數(shù)據(jù)分發(fā)圖3-2數(shù)據(jù)塊部署模型Fig.3-2Datablockdeploymentmodel3.3.2.部署方案首先，以節(jié)點的效用函數(shù)為基礎，降序排序系統(tǒng)中的各個節(jié)點；然后將排序的前n個節(jié)點與Alt歸并，其余節(jié)點歸并入集合Alt；對Alt中節(jié)點的可靠性進行驗證，若滿足數(shù)據(jù)塊部署時對安全性的需求，則表示部署節(jié)點選取成功；反之利用段排序交換算法將Alt與Alt中的節(jié)點進行有序的替換，直至選擇出滿足可靠性需求的數(shù)22

【參考文獻】：
期刊論文
[1]云計算數(shù)據(jù)中心HDFS差異性存儲節(jié)能優(yōu)化算法[J]. 楊挺,王萌,張亞健,趙英杰,盆海波.  計算機學報. 2019(04)
[2]糾刪碼存儲系統(tǒng)單磁盤錯誤重構優(yōu)化方法綜述[J]. 傅穎勛,文士林,馬禮,舒繼武.  計算機研究與發(fā)展. 2018(01)
[3]糾刪碼存儲系統(tǒng)中數(shù)據(jù)修復方法綜述[J]. 楊松霖,張廣艷.  計算機科學與探索. 2017(10)
[4]面向糾刪碼存儲集群的節(jié)點并發(fā)重構[J]. 黃建忠,曹強,黃思倜,謝長生.  計算機研究與發(fā)展. 2016(09)
[5]基于范德蒙碼的HDFS優(yōu)化存儲策略研究[J]. 宋寶燕,王俊陸,王妍.  計算機學報. 2015(09)
[6]GRC:一種適用于多節(jié)點失效的高容錯低修復成本糾刪碼[J]. 林軒,王意潔,裴曉強,許方亮,符永銓.  計算機研究與發(fā)展. 2014(S2)
[7]文獻共享系統(tǒng)和數(shù)據(jù)共享系統(tǒng)的云計算平臺建設[J]. 孫滔,王杉,邢軍.  計算機技術與發(fā)展. 2014(09)
[8]關于“云計算”及其未來應用的展望[J]. 王群華.  科技創(chuàng)新與應用. 2014(23)
[9]一種成本相關的云提供商數(shù)據(jù)可靠性保證算法[J]. 鐘睿明,劉川意,王春露,項菲.  軟件學報. 2014(08)
[10]面向云存儲的多副本文件完整性驗證方案[J]. 付艷艷,張敏,陳開渠,馮登國.  計算機研究與發(fā)展. 2014(07)

博士論文
[1]容錯存儲系統(tǒng)中的MDS陣列碼研究[D]. 黃志杰.華中科技大學 2016
[2]基于Hadoop的云GIS若干關鍵技術研究[D]. 范建永.解放軍信息工程大學 2013

碩士論文
[1]面向數(shù)據(jù)密集型超級計算的基于糾刪碼的容錯存儲技術研究[D]. 周松.國防科學技術大學 2010
[2]基于Hadoop的海量影像數(shù)據(jù)管理關鍵技術研究[D]. 霍樹民.國防科學技術大學 2010
[3]基于Hadoop的海量數(shù)據(jù)處理模型研究和應用[D]. 朱珠.北京郵電大學 2008



本文編號：3368009