【摘要】：云計算及云存儲技術(shù)不斷發(fā)展,海洋大數(shù)據(jù)時代已經(jīng)來臨。船用電子設(shè)備類型及數(shù)量極速增加,如何保障重要數(shù)據(jù)的安全存儲成為海上數(shù)據(jù)中心研究的重點。數(shù)據(jù)中心多副本的管理策略多基于單中心部署,隨著數(shù)據(jù)量的幾何級增長,已經(jīng)越來越不能滿足容災(zāi)備份的需求。本文在分析現(xiàn)有的海洋數(shù)據(jù)副本管理方案的基礎(chǔ)上,重點研究基于云存儲架構(gòu)的多中心多副本數(shù)據(jù)管理策略,提出一種雙層結(jié)構(gòu)的主從副本存儲結(jié)構(gòu),最后給出系統(tǒng)仿真。
【圖文】：

第11A期李萍:云存儲環(huán)境下海洋數(shù)據(jù)多副本管理策略構(gòu)，最后給出系統(tǒng)仿真。1云存儲多中心多副本管理結(jié)構(gòu)多中心多副本文件系統(tǒng)中，數(shù)據(jù)被切割成互相冗余的多個數(shù)據(jù)塊保存至不同物理主機的DataNode中，客戶端Client通過獲取不同數(shù)據(jù)塊的NameNode獲取元數(shù)據(jù)，客戶端與存儲端非同一主機，通過TCP/IP進行讀寫。多中心的副本管理體系如圖1所示。Client分布式存儲節(jié)點5分布式存儲節(jié)點4分布式存儲節(jié)點3分布式存儲節(jié)點2分布式存儲節(jié)點1機架2機架1DataNodeDataNodeClient塊操作元數(shù)據(jù)操作元數(shù)據(jù)文件（文件名，副本數(shù)）/home/foo/data,3NameNode讀取復(fù)制寫入圖1多中心的副本管理體系圖Fig.1Multicentercopymanagementsystem基于此架構(gòu)的副本管理策略要關(guān)注以下4點:1)副本存儲。將文件副本存儲在分布式的存儲節(jié)點，至少保存3份副本，存儲節(jié)點之間可通過部署infiniband提高訪問帶寬。2)副本讀寫。客戶端對文件進行操作時選擇與本機最近的DataNode節(jié)點。3)副本負(fù)載均衡。中心節(jié)點對副本分布式存儲節(jié)點按照讀寫操作進行負(fù)載均衡。若某文件訪問次數(shù)小于臨界值，可以刪除某些存儲空間較小的節(jié)點副本;若某節(jié)點文件訪問次數(shù)過多，可將該副本進行復(fù)制。4)副本一致性。中心節(jié)點在空余周期采用流水線方式對文件副本進行校驗。2云環(huán)境下多中心多副本管理策略2.1基于云存儲的多中心選擇流程對于云存儲環(huán)境下的副本存儲節(jié)點的選擇是實現(xiàn)多中心多副本架構(gòu)的首要任務(wù)。多副本節(jié)點的選擇需要考慮網(wǎng)絡(luò)訪問速率、負(fù)載均衡、存儲空間及可靠性等多方面的需求。本文采用AHP多中心選擇策略，選擇流程有如下幾個步驟:1)對于某一文件Ｒi選擇的一定數(shù)量的存儲節(jié)點SelectedDC(Ｒi)不超過云存儲的最大節(jié)點數(shù)MAX_

i)＜MAX_DC進入下一步。4)對于沒有存儲Ｒi文件副本的節(jié)點，計算節(jié)點負(fù)載Load_DCj，并與云存儲平臺的平均負(fù)載CMSSS_Load進行比較。5)若Load_DCj＜CMSSS_Load，則將此存儲節(jié)點加入到存儲選擇節(jié)點集SelectableDCSet中，否則進入步驟6。6)判斷云存儲中的所有節(jié)點是否輪詢完畢，沒有則跳轉(zhuǎn)至步驟4，全部檢索完畢則進入下一步。7)計算所有進入備選節(jié)點的集合SelectableDCSet的權(quán)重系數(shù)WeightVec。8)對權(quán)重系數(shù)WeightVec排序，副本存儲按照此排序的WeightVec選擇對應(yīng)的節(jié)點。9)流程結(jié)束。整個流程如圖2所示。結(jié)束選擇備選權(quán)重大的數(shù)據(jù)中心存儲數(shù)據(jù)副本基于AHP云算法，，計算SelectableDCSet中各數(shù)據(jù)中心的WeightVecNY是否檢索完各數(shù)據(jù)中心信息忽略數(shù)據(jù)中心DCjNY將數(shù)據(jù)中心DCj加入到SelectableDCSetLoad_DCj<CMSSS_Load依次檢索各個備選數(shù)據(jù)中心DCj的值開始SelectableDC（Ri）<MAX_DCNY圖2存儲策略流程圖Fig.2Storagestrategyflowchart2.2備選節(jié)點權(quán)重值確定1)參考因素對比矩陣云存儲多節(jié)點架構(gòu)中的備選節(jié)點的權(quán)重值確定·149·
【作者單位】： 江蘇聯(lián)合職業(yè)技術(shù)學(xué)院;
【基金】：2015年江蘇省高等教育教改立項研究課題(2015JSJG399)
【分類號】：TP333


本文編號：2525076