發(fā)布時(shí)間：2017-06-05 00:16

  本文關(guān)鍵詞：分布式存儲(chǔ)系統(tǒng)中改進(jìn)的一致性哈希算法，，由筆耕文化傳播整理發(fā)布。

【摘要】：隨著網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)的發(fā)展,分布式存儲(chǔ)中的數(shù)據(jù)均勻分布和高效定位的問(wèn)題越來(lái)越備受關(guān)注�，F(xiàn)存的關(guān)于分布式系統(tǒng)的數(shù)據(jù)分布的可靠性和可用性等方面并不能得到有效的保證。文中提出了一種改進(jìn)的一致性哈希算法,通過(guò)對(duì)Redis存儲(chǔ)節(jié)點(diǎn)進(jìn)行邏輯劃分成一個(gè)組,組內(nèi)采用主從的模式提高了分布式存儲(chǔ)的一致性和可靠性,并分析了同一個(gè)組內(nèi)不同讀寫(xiě)策略的數(shù)據(jù)一致性。經(jīng)過(guò)實(shí)驗(yàn)比較,該算法能有效地降低系統(tǒng)平均響應(yīng)時(shí)間,提高系統(tǒng)吞吐量,使分布式存儲(chǔ)系統(tǒng)負(fù)載更為均衡。當(dāng)組內(nèi)主節(jié)點(diǎn)宕機(jī)時(shí),利用從節(jié)點(diǎn)的備份數(shù)據(jù)以及主從切換可以及時(shí)對(duì)外提供集群服務(wù),這一點(diǎn)有助于實(shí)際的研發(fā)分布式存儲(chǔ)。
【作者單位】： 上海師范大學(xué)信息與機(jī)電工程學(xué)院;南京航空航天大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院;
【關(guān)鍵詞】： 分布式存儲(chǔ) 數(shù)據(jù)讀寫(xiě)策略 Redis 一致性哈希
【基金】：國(guó)家自然科學(xué)基金青年基金(41301407) 上海市教育創(chuàng)新項(xiàng)目(09YZ154;09YZ247) 上海師范大學(xué)基金項(xiàng)目(A-3101-12-004005) 南京航空航天大學(xué)研究生創(chuàng)新基地開(kāi)放基金(kfjj20151607)
【分類號(hào)】：TP333
【正文快照】： 0引言所謂分布式存儲(chǔ)系統(tǒng)[1],就是將數(shù)據(jù)分散存儲(chǔ)在多臺(tái)獨(dú)立的設(shè)備上。隨著網(wǎng)絡(luò)信息技術(shù)的快速發(fā)展,個(gè)人用戶、互聯(lián)網(wǎng)應(yīng)用等產(chǎn)生了海量的數(shù)據(jù)。爆炸式增長(zhǎng)的數(shù)據(jù)已經(jīng)從PB級(jí)向EB級(jí)邁進(jìn),這些數(shù)據(jù)的存儲(chǔ)和高速訪問(wèn)對(duì)分布式存儲(chǔ)系統(tǒng)在可用性、可擴(kuò)展性以及IO訪問(wèn)性能上提出了新的

【參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前5條

1 趙飛;蘇忠;;一致性哈希算法在數(shù)據(jù)庫(kù)集群上的拓展應(yīng)用[J];成都信息工程學(xué)院學(xué)報(bào);2015年01期

2 郭寧;張新;;一致性哈希算法在多處理機(jī)進(jìn)程分配的應(yīng)用[J];計(jì)算機(jī)與現(xiàn)代化;2013年09期

3 余秦勇;陳林;童斌;;一種無(wú)中心的云存儲(chǔ)架構(gòu)分析[J];通信技術(shù);2012年08期

4 楊_g劍;林波;;分布式存儲(chǔ)系統(tǒng)中一致性哈希算法的研究[J];電腦知識(shí)與技術(shù);2011年22期

5 姜大光;奚加鵬;;分布式存儲(chǔ)系統(tǒng)(OceanStore)的復(fù)制策略[J];計(jì)算機(jī)工程與科學(xué);2008年08期

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前1條

1 張紹蘭;幾類密碼Hash函數(shù)的設(shè)計(jì)和安全性分析[D];北京郵電大學(xué);2011年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前1條

1 李正;雜湊函數(shù)結(jié)構(gòu)研究現(xiàn)狀及新的結(jié)構(gòu)設(shè)計(jì)[D];山東大學(xué);2010年

【共引文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 許國(guó)艷;羅章璇;宋健;呂鑫;;基于雙層索引結(jié)構(gòu)的起源圖查詢方法[J];計(jì)算機(jī)應(yīng)用;2017年01期

2 王霓虹;張露露;;分布式爬蟲(chóng)任務(wù)調(diào)度策略的優(yōu)化[J];黑龍江大學(xué)自然科學(xué)學(xué)報(bào);2016年05期

3 李巖;李東明;苑超;;基于私有云的種子追溯管理平臺(tái)的研究[J];中國(guó)農(nóng)機(jī)化學(xué)報(bào);2016年09期

4 謝超群;;基于Swift云存儲(chǔ)技術(shù)在高校數(shù)據(jù)中心的應(yīng)用[J];信息技術(shù);2016年07期

5 呂冬雪;;基于大數(shù)據(jù)環(huán)境的NoSQL技術(shù)分析[J];電子設(shè)計(jì)工程;2016年14期

6 許丁友;孔云波;李志剛;寇程;;地理空間數(shù)據(jù)存儲(chǔ)與管理技術(shù)綜述[J];測(cè)繪技術(shù)裝備;2016年02期

7 王康;李東靜;陳海光;;分布式存儲(chǔ)系統(tǒng)中改進(jìn)的一致性哈希算法[J];計(jì)算機(jī)技術(shù)與發(fā)展;2016年07期

8 王小戲;吳剛;王灝;;高并發(fā)高可用零售O2O交易系統(tǒng)的架構(gòu)設(shè)計(jì)與業(yè)務(wù)實(shí)現(xiàn)[J];計(jì)算機(jī)與現(xiàn)代化;2016年04期

9 李寧;;基于一致性Hash算法的分布式緩存數(shù)據(jù)冗余[J];軟件導(dǎo)刊;2016年01期

10 劉春穎;張曉芬;張悅;;數(shù)據(jù)庫(kù)集群研究中的一致性哈希算法分析[J];科技傳播;2015年23期

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前1條

1 楊懿竣;指紋安全認(rèn)證的不可逆變換技術(shù)研究[D];深圳大學(xué);2015年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前2條

1 王德鵬;HMAC-SHA256算法的VLSI結(jié)構(gòu)設(shè)計(jì)[D];哈爾濱工業(yè)大學(xué);2015年

2 翁新釬;安全哈希算法的并行化實(shí)現(xiàn)研究[D];復(fù)旦大學(xué);2013年

【二級(jí)參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 趙彥榮;王偉平;孟丹;張書(shū)彬;李均;;基于Hadoop的高效連接查詢處理算法CHMJ[J];軟件學(xué)報(bào);2012年08期

2 姚林;張永庫(kù);;NoSQL的分布式存儲(chǔ)與擴(kuò)展解決方法[J];計(jì)算機(jī)工程;2012年06期

3 魏嘉銀;秦永彬;許道云;;一種求解多處理機(jī)調(diào)度問(wèn)題的α-平坦化調(diào)度算法[J];計(jì)算機(jī)科學(xué);2012年01期

4 胡麗聰;徐雅靜;徐惠民;;基于動(dòng)態(tài)反饋的一致性哈希負(fù)載均衡算法[J];微電子學(xué)與計(jì)算機(jī);2012年01期

5 張秋江;王澎;;云計(jì)算的安全問(wèn)題探討[J];信息安全與通信保密;2011年05期

6 侯建;帥仁俊;侯文;;基于云計(jì)算的海量數(shù)據(jù)存儲(chǔ)模型[J];通信技術(shù);2011年05期

7 王會(huì)波;;安全存儲(chǔ)與云存儲(chǔ)安全[J];信息安全與通信保密;2010年12期

8 殷進(jìn)勇;顧國(guó)昌;;允許多處理機(jī)故障的實(shí)時(shí)任務(wù)容錯(cuò)調(diào)度算法[J];電子與信息學(xué)報(bào);2010年02期

9 李凱;左春榮;;基于模擬退火的多處理機(jī)調(diào)度優(yōu)化算法研究[J];系統(tǒng)工程與電子技術(shù);2009年12期

10 王健;孫建伶;王新宇;楊小虎;王申康;陳俊波;;容錯(cuò)多處理機(jī)中一種高效的實(shí)時(shí)調(diào)度算法(英文)[J];軟件學(xué)報(bào);2009年10期

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 王征;劉心松;李美安;;企業(yè)信息分布式存儲(chǔ)的熱點(diǎn)處理策略[J];計(jì)算機(jī)集成制造系統(tǒng);2006年09期

2 李磊;沈海斌;黃凱;嚴(yán)曉浪;Han Sangil;Ahmed A Jerraya;;分布式存儲(chǔ)管理在多核設(shè)計(jì)中的高層建模[J];電子與信息學(xué)報(bào);2008年11期

3 劉翔;汪海玲;;分布式存儲(chǔ)中的一種數(shù)據(jù)放置策略[J];計(jì)算機(jī)與數(shù)字工程;2009年05期

4 陳衛(wèi)衛(wèi);吳海佳;胥光輝;;分布式存儲(chǔ)中文件分割的最優(yōu)化模型[J];解放軍理工大學(xué)學(xué)報(bào)(自然科學(xué)版);2010年04期

5 崔忠強(qiáng);左德承;張展;;在云間可重構(gòu)的分布式存儲(chǔ)[J];系統(tǒng)工程理論與實(shí)踐;2011年S2期

6 郝杰;逯彥博;劉鑫吉;夏樹(shù)濤;;分布式存儲(chǔ)中的再生碼綜述[J];重慶郵電大學(xué)學(xué)報(bào)(自然科學(xué)版);2013年01期

7 唐京偉;;基于云計(jì)算的分布式存儲(chǔ)技術(shù)[J];中國(guó)傳媒科技;2013年15期

8 郭棟;王偉;曾國(guó)蓀;;基于一致性樹(shù)分布的數(shù)據(jù)分布式存儲(chǔ)方法[J];計(jì)算機(jī)應(yīng)用;2013年12期

9 蘇李亮;王云福;侯斌;;海量設(shè)計(jì)文檔分布式存儲(chǔ)及負(fù)載均衡的研究與實(shí)現(xiàn)[J];電信科學(xué);2013年12期

10 謝然;;敢問(wèn)存儲(chǔ)之路在何方?見(jiàn)分布式存儲(chǔ)搖曳在數(shù)據(jù)枝頭[J];互聯(lián)網(wǎng)周刊;2014年02期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前7條

1 蘇李亮;王云福;侯斌;;海量設(shè)計(jì)文檔分布式存儲(chǔ)及負(fù)載均衡的研究與實(shí)現(xiàn)[A];2013電力行業(yè)信息化年會(huì)論文集[C];2013年

2 蘇李亮;王云福;侯斌;;海量設(shè)計(jì)文檔分布式存儲(chǔ)及負(fù)載均衡的研究與實(shí)現(xiàn)[A];2013電力行業(yè)信息化年會(huì)論文集[C];2013年

3 鄭文武;李先緒;黃植勤;邱紅飛;;云存儲(chǔ)關(guān)鍵技術(shù)[A];2012全國(guó)無(wú)線及移動(dòng)通信學(xué)術(shù)大會(huì)論文集（下）[C];2012年

4 蔣軼林;郭淑琴;;分布式存儲(chǔ)在數(shù)字集群移動(dòng)通信系統(tǒng)中的應(yīng)用[A];浙江省電子學(xué)會(huì)2013學(xué)術(shù)年會(huì)論文集[C];2013年

5 姜繼忱;陳鋼;;P2P之路——締造“分布式對(duì)等”的Internet3.0[A];全面建設(shè)小康社會(huì)：中國(guó)科技工作者的歷史責(zé)任——中國(guó)科協(xié)2003年學(xué)術(shù)年會(huì)論文集（下）[C];2003年

6 付偉;肖儂;盧錫城;;QoS感知的副本放置問(wèn)題研究綜述[A];第15屆全國(guó)信息存儲(chǔ)技術(shù)學(xué)術(shù)會(huì)議論文集[C];2008年

7 張彥;劉欣然;徐慧彬;;一種基于虛擬計(jì)算環(huán)境的分布式存儲(chǔ)體系結(jié)構(gòu)[A];2009全國(guó)計(jì)算機(jī)網(wǎng)絡(luò)與通信學(xué)術(shù)會(huì)議論文集[C];2009年

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫(kù) 前8條

1 京東架構(gòu)委員會(huì)主任 云平臺(tái)首席架構(gòu)師 系統(tǒng)技術(shù)部負(fù)責(zé)人 劉海鋒;京東:分布式存儲(chǔ)體系成為業(yè)務(wù)基石[N];中國(guó)信息化周報(bào);2014年

2 《網(wǎng)絡(luò)世界》記者 于翔;京東分布式存儲(chǔ)體系研發(fā)歷程[N];網(wǎng)絡(luò)世界;2014年

3 《網(wǎng)絡(luò)世界》記者 于翔;融合一體機(jī)投入大規(guī)模商用[N];網(wǎng)絡(luò)世界;2013年

4 記者 余榮華;大數(shù)據(jù)，催生大變革[N];人民日?qǐng)?bào);2014年

5 本報(bào)記者 張佳星;新生產(chǎn)業(yè)布局如何“云”中索驥[N];科技日?qǐng)?bào);2014年

6 本報(bào)記者 甘露;物聯(lián)網(wǎng)讓管理更美妙[N];計(jì)算機(jī)世界;2013年

7 本報(bào)記者 郭濤;華為幫用戶定制HANA一體機(jī)[N];中國(guó)計(jì)算機(jī)報(bào);2013年

8 臨江;手機(jī)瀏覽器,3G時(shí)代的采礦機(jī)？[N];人民郵電;2009年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前9條

1 吳思;容錯(cuò)分布式存儲(chǔ)系統(tǒng)擴(kuò)容機(jī)制研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2016年

2 胡q

本文編號(hào)：422502