【摘要】：新一代IT技術(shù)發(fā)展浪潮已經(jīng)來到了我們身邊。云計(jì)算及其相關(guān)技術(shù)作為這股浪潮的核心組成部分,正潛移默化地影響著我們的生產(chǎn)和生活方式。分布式存儲(chǔ)技術(shù)作為構(gòu)建云計(jì)算基礎(chǔ)設(shè)施的關(guān)鍵技術(shù),面臨著全新挑戰(zhàn)。如何在超大規(guī)模、海量數(shù)據(jù)、高可用性、高可擴(kuò)展性的云計(jì)算環(huán)境下,構(gòu)建高性能、高可靠性的大規(guī)模分布式存儲(chǔ)系統(tǒng),受到了工業(yè)界和學(xué)術(shù)界的廣泛關(guān)注�；趯�(duì)現(xiàn)有云計(jì)算以及分布式存儲(chǔ)相關(guān)技術(shù)發(fā)展現(xiàn)狀的理解和認(rèn)識(shí),本文對(duì)相關(guān)研究成果進(jìn)行了全面、深入、具體的分析和探討,并且就云計(jì)算環(huán)境下分布式存儲(chǔ)關(guān)鍵技術(shù)開展了細(xì)致入微的研究工作,取得了部分研究成果和創(chuàng)新。本文的研究成果和創(chuàng)新包括:1、提出了一種新的基于數(shù)據(jù)塊合并的重復(fù)數(shù)據(jù)刪除算法�，F(xiàn)有的重復(fù)數(shù)據(jù)刪除算法著重考慮數(shù)據(jù)塊劃分粒度、指紋計(jì)算、索引查詢及更新優(yōu)化等問題,沒有考慮子數(shù)據(jù)塊合并引入的額外開銷。本文提出的新算法在子數(shù)據(jù)塊的合并過程中,同時(shí)考慮最小子數(shù)據(jù)塊數(shù)目和最大子數(shù)據(jù)塊數(shù)目,并且通過動(dòng)態(tài)調(diào)整子數(shù)據(jù)塊合并的數(shù)目,從而減少了算法中子數(shù)據(jù)塊的合并開銷,降低了重復(fù)數(shù)據(jù)刪除算法的時(shí)間復(fù)雜度,提高了存儲(chǔ)空間的利用效率。2、設(shè)計(jì)了一種基于金剛石拓?fù)浣Y(jié)構(gòu)的消息傳播策略�，F(xiàn)有的消息傳播策略,或者注重消息傳播的高效性,或者在部分節(jié)點(diǎn)失效時(shí),仍能保證其它正常節(jié)點(diǎn)接收到消息。本文提出的消息傳播策略能夠在兩者之間取得較好的均衡,既可保證消息快速傳播到系統(tǒng)中正常工作的節(jié)點(diǎn),又能利用金剛石拓?fù)浣Y(jié)構(gòu)中層級(jí)節(jié)點(diǎn)之間的冗余連接,確保部分節(jié)點(diǎn)失效時(shí)其余節(jié)點(diǎn)仍然能夠收到消息。3、實(shí)現(xiàn)了一種基于免疫優(yōu)化策略的副本放置算法�，F(xiàn)有的副本放置算法,僅僅考慮部分影響因素,如網(wǎng)絡(luò)帶寬使用率、副本放置節(jié)點(diǎn)與用戶之間的距離,用戶訪問副本代價(jià)等。本文引入了免疫系統(tǒng)核心思想,通過免疫優(yōu)化算法的克隆選擇和免疫記憶過程,計(jì)算分布式存儲(chǔ)系統(tǒng)中所有節(jié)點(diǎn)的親和度,然后根據(jù)親和度結(jié)果選擇合適的節(jié)點(diǎn)用于放置數(shù)據(jù)副本。該副本放置算法收斂速度快,并且能夠降低用戶訪問副本的響應(yīng)時(shí)間。4、提出了一種基于代理的一致性算法A*Raft。Raft是一種針對(duì)經(jīng)典Paxos算法進(jìn)行優(yōu)化的一致性算法,但是該算法存在著領(lǐng)導(dǎo)者節(jié)點(diǎn)單點(diǎn)失效、節(jié)點(diǎn)日志一致化過程效率低的問題。本文提出的A*Raft算法,通過對(duì)節(jié)點(diǎn)日志一致化過程開銷進(jìn)行定義,選出合適的代理節(jié)點(diǎn),用于分擔(dān)領(lǐng)導(dǎo)者節(jié)點(diǎn)在日志一致化過程中的開銷,均衡領(lǐng)導(dǎo)者節(jié)點(diǎn)負(fù)載。此外,A*Raft算法能夠減少領(lǐng)導(dǎo)者節(jié)點(diǎn)的選舉次數(shù),減少算法的時(shí)間復(fù)雜度。綜上所述,本文從重復(fù)數(shù)據(jù)刪除技術(shù)、消息傳播策略、副本放置策略和一致性算法的角度,對(duì)云計(jì)算環(huán)境分布式存儲(chǔ)關(guān)鍵技術(shù)進(jìn)行了深入研究,為構(gòu)建高性能、高可靠性的分布式存儲(chǔ)系統(tǒng)進(jìn)行了有益的探索。
【學(xué)位授予單位】：電子科技大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2016
【分類號(hào)】：TP333

【參考文獻(xiàn)】

相關(guān)期刊論文 前5條

1 吳嘉軒;代鈺;張斌;楊雷;;基于拓?fù)淦ヅ涞慕M件服務(wù)副本放置算法[J];電子科技大學(xué)學(xué)報(bào);2015年06期

2 付印金;肖儂;劉芳;;重復(fù)數(shù)據(jù)刪除關(guān)鍵技術(shù)研究進(jìn)展[J];計(jì)算機(jī)研究與發(fā)展;2012年01期

3 于戈;谷峪;鮑玉斌;王志剛;;云計(jì)算環(huán)境下的大規(guī)模圖數(shù)據(jù)處理技術(shù)[J];計(jì)算機(jī)學(xué)報(bào);2011年10期

4 劉田甜;李超;胡慶成;張桂剛;;云環(huán)境下多副本管理綜述[J];計(jì)算機(jī)研究與發(fā)展;2011年S3期

5 敖莉;舒繼武;李明強(qiáng);;重復(fù)數(shù)據(jù)刪除技術(shù)[J];軟件學(xué)報(bào);2010年05期

相關(guān)博士學(xué)位論文 前1條

1 侯孟書;基于P2P的分布式存儲(chǔ)及其相關(guān)技術(shù)研究[D];電子科技大學(xué);2005年

相關(guān)碩士學(xué)位論文 前2條

1 韓增曦;分布式文件系統(tǒng)FastDFS的研究與應(yīng)用[D];大連理工大學(xué);2014年

2 鄭清吉;安全存儲(chǔ)系統(tǒng)中糾刪碼技術(shù)研究[D];上海交通大學(xué);2009年

本文編號(hào)：2724968