本文關(guān)鍵詞：一致性哈希的數(shù)據(jù)集群存儲優(yōu)化策略研究

  更多相關(guān)文章： 集群存儲 Hadoop分布式文件系統(tǒng) 一致性哈希 存儲副本優(yōu)化

【摘要】：結(jié)合虛擬節(jié)點技術(shù)和均分存儲區(qū)域技術(shù),提出了嵌套循環(huán)式數(shù)據(jù)一致性哈希優(yōu)化分布式集群存儲的多副本放置策略.按照此優(yōu)化策略,能夠有序選擇數(shù)據(jù)副本機架,確定數(shù)據(jù)節(jié)點存儲位置,保證數(shù)據(jù)存儲的均衡性分布,可以針對集群的實際要求開展擴展,并按照擴展情況制定使數(shù)據(jù)存儲完成自適應(yīng)優(yōu)化調(diào)整,加快數(shù)據(jù)處理的速度.有效實驗表明存儲優(yōu)化后算例的執(zhí)行速度得到很大提升,能夠保證解決負(fù)載均衡問題;而針對實際情況中可能出現(xiàn)的擴展與刪減問題進行測試后表明,使用優(yōu)化存儲策略處理此類問題時,振蕩對整體負(fù)載均衡影響不大,且執(zhí)行時間與負(fù)載占比變化趨勢一致.
【作者單位】： 長春理工大學(xué)計算機科學(xué)技術(shù)學(xué)院;吉林大學(xué)計算機科學(xué)與技術(shù)學(xué)院;
【關(guān)鍵詞】： 集群存儲 Hadoop分布式文件系統(tǒng) 一致性哈希 存儲副本優(yōu)化
【基金】：國家自然科學(xué)基金資助項目(61100090) 吉林省科技發(fā)展計劃重點科技攻關(guān)項目(20150204036GX);吉林省科技發(fā)展計劃資助項目(20150101054JC)
【分類號】：TP333
【正文快照】： 1引言 分布式集群存儲是一種大數(shù)據(jù)存儲管理的關(guān)鍵技術(shù),其中HDFS(Hadoop distributed file system)因其高傳輸率和高容錯性成為解決大數(shù)據(jù)高效存儲應(yīng)用的有效方法[1-2].考慮到HDFS數(shù)據(jù)放置策略的隨機性方式容易造成數(shù)據(jù)分布不均衡,進而會影響系統(tǒng)整體性能的問題,目前已經(jīng)從多

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 劉仲,章文嵩,王召福,周興銘;基于對象存儲的集群存儲系統(tǒng)設(shè)計[J];計算機工程與科學(xué);2005年02期

2 張建勛;蔡紅云;田俊峰;馬勝甫;;集群存儲系統(tǒng)數(shù)據(jù)容錯研究[J];河北大學(xué)學(xué)報(自然科學(xué)版);2006年05期

3 盧敏;;集群存儲應(yīng)勢所趨[J];軟件世界;2007年22期

4 劉仲;李宗伯;陽柳;;基于對象分組的集群存儲系統(tǒng)可靠性分析模型[J];計算機應(yīng)用;2008年01期

5 章宏燦;薛巍;;雙均衡的集群存儲資源映射方法[J];清華大學(xué)學(xué)報(自然科學(xué)版);2009年10期

6 范中磊;;非對稱集群存儲系統(tǒng)的塊虛擬化方法[J];微電子學(xué)與計算機;2011年06期

7 張振慶;;集群存儲技術(shù)的分析與研究[J];中國傳媒科技;2011年07期

8 李煥芝;馮震宇;何波;;集群存儲技術(shù)及其在石油勘探行業(yè)的應(yīng)用[J];中國西部科技;2012年01期

9 金弟;莊錫進;曹曉初;王啟迪;王宗仁;;基于多路徑地震資料處理集群存儲系統(tǒng)[J];計算機研究與發(fā)展;2012年S1期

10 黃昆;;用集群去存儲百川[J];中國計算機用戶;2007年10期

中國重要會議論文全文數(shù)據(jù)庫 前1條

1 胡淵汶;;BIM信息基礎(chǔ)架構(gòu)——EMC ISILON橫向擴展集群存儲在BIM上的應(yīng)用[A];BIM與工程建設(shè)信息化——第三屆工程建設(shè)計算機應(yīng)用創(chuàng)新論壇報告集[C];2011年

中國重要報紙全文數(shù)據(jù)庫 前10條

1 佟樂;帶著集群存儲來中國[N];網(wǎng)絡(luò)世界;2007年

2 ;尋訪首批集群存儲用戶[N];中國計算機報;2008年

3 本報特約撰稿 楊峰;解密集群存儲[N];計算機世界;2009年

4 本報記者 郭濤;集群存儲不再曲高和寡[N];中國計算機報;2008年

5 郭濤;集群存儲拿非結(jié)構(gòu)化數(shù)據(jù)開刀[N];中國計算機報;2007年

6 本報記者 郭平;集群存儲優(yōu)勢正在顯現(xiàn)[N];計算機世界;2008年

7 宋家雨;不要讓集群存儲成為被忽視的角落[N];網(wǎng)絡(luò)世界;2008年

8 本報記者 郭濤;從集群存儲走向云端[N];中國計算機報;2011年

9 郭平;并行集群存儲改變存儲模式[N];計算機世界;2007年

10 ;美國賽龍集群存儲方案[N];計算機世界;2008年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前2條

1 霍道安;集群存儲網(wǎng)絡(luò)吞吐量塌陷行為研究[D];華中科技大學(xué);2012年

2 劉仲;基于對象存儲結(jié)構(gòu)的可伸縮集群存儲系統(tǒng)研究[D];國防科學(xué)技術(shù)大學(xué);2005年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前8條

1 張峰豪;糾刪碼集群存儲的數(shù)據(jù)訪問優(yōu)化技術(shù)研究[D];華中科技大學(xué);2013年

2 吳迎暉;面向?qū)ο蟮募捍鎯w系結(jié)構(gòu)與廣域網(wǎng)協(xié)議模擬技術(shù)研究[D];清華大學(xué);2004年

3 劉陽;針對集群存儲系統(tǒng)的多目標(biāo)跟蹤器設(shè)計與實現(xiàn)[D];哈爾濱工業(yè)大學(xué);2014年

4 張建勛;高可靠可擴展PC集群存儲系統(tǒng)研究[D];河北大學(xué);2005年

5 陳益強;開放源碼支持下的微機集群存儲技術(shù)研究[D];北京郵電大學(xué);2006年

6 唐文龍;IND集群存儲系統(tǒng)的文件路由表技術(shù)研究[D];華南理工大學(xué);2014年

7 焦芳;基于Lustre的集群存儲系統(tǒng)的安全性研究[D];中國石油大學(xué)（華東）;2013年

8 林雪峰;基于嵌入式IP存儲技術(shù)的分布式集群存儲系統(tǒng)[D];南京航空航天大學(xué);2007年

，

本文編號：791573