本文關(guān)鍵詞：面向云存儲(chǔ)副本復(fù)制的一致性關(guān)鍵技術(shù)研究，，由筆耕文化傳播整理發(fā)布。

【摘要】：隨著云計(jì)算范式的發(fā)展,云存儲(chǔ)的重要性和價(jià)值得到了人們的廣泛認(rèn)可。作為分布式系統(tǒng)、數(shù)據(jù)庫發(fā)展衍生的產(chǎn)物,云存儲(chǔ)系統(tǒng)沿用來自這些領(lǐng)域并且已經(jīng)得到了深入研究和廣泛應(yīng)用的復(fù)制技術(shù),將其作為提供高可用性水平、實(shí)現(xiàn)快速訪問并確保容錯(cuò)的必要手段。隨著支撐技術(shù)的快速演進(jìn)和應(yīng)用需求的持續(xù)提高,云存儲(chǔ)系統(tǒng)已經(jīng)從單數(shù)據(jù)中心架構(gòu)進(jìn)化到跨不同地理位置分布的多數(shù)據(jù)中心架構(gòu)。在如此大規(guī)模的系統(tǒng)環(huán)境下,復(fù)制技術(shù)面臨著許多新的挑戰(zhàn),亟待進(jìn)一步的完善與提高。保證副本間的數(shù)據(jù)一致性是復(fù)制中的一個(gè)至關(guān)重要的問題。一方面,一致性水平越強(qiáng),執(zhí)行它的成本越高,而可擴(kuò)展性越低;另一方面,弱一致性更為廉價(jià),但卻以潛在的一致性違背為代價(jià)。在現(xiàn)實(shí)中,應(yīng)用和數(shù)據(jù)在一致性需求上的多樣性和多變性并非某種單一的一致性模型所能應(yīng)對(duì)的。在此背景下,復(fù)制蘊(yùn)含了一致性與各種因素如性能、成本等之間的權(quán)衡。從理論研究與實(shí)踐應(yīng)用的意義上,在保持強(qiáng)一致性水平的情況下盡可能提高性能以及綜合考慮一致性與其他因素之間的權(quán)衡是具有重要意義且極具挑戰(zhàn)性的課題。本文從復(fù)制狀態(tài)機(jī)及強(qiáng)一致性協(xié)議的設(shè)計(jì)方法出發(fā),研究能夠在大規(guī)模云環(huán)境下提供高吞吐量的強(qiáng)一致性協(xié)議的實(shí)現(xiàn),繼而建立相應(yīng)的性能定量分析模型,最后探索其在一致性權(quán)衡方面的延伸。本文的主要研究內(nèi)容和創(chuàng)新點(diǎn)歸納如下:1.當(dāng)前針對(duì)不同資源約束或優(yōu)化目標(biāo)進(jìn)行的復(fù)制狀態(tài)機(jī)及強(qiáng)一致性協(xié)議設(shè)計(jì)通常都采用傳統(tǒng)而冗長的文字表述方式,即使它們中的許多設(shè)計(jì)結(jié)果最終都表現(xiàn)出了類似的特征。在深入調(diào)研多個(gè)典型設(shè)計(jì)的基礎(chǔ)上,本文提取了各種復(fù)制狀態(tài)機(jī)的共同特征,通過功能抽象和屬性定義,提出了復(fù)制狀態(tài)機(jī)的模塊化抽象框架�？蚣軐�(shí)現(xiàn)了對(duì)狀態(tài)機(jī)的準(zhǔn)確解析,在一定程度上解耦了各個(gè)功能模塊的設(shè)計(jì)。通過提供不同的模塊實(shí)現(xiàn),框架可用于簡單而有效地重構(gòu)現(xiàn)有或新的復(fù)制狀態(tài)機(jī)。此外,框架中的架構(gòu)協(xié)議也規(guī)范并簡化了強(qiáng)一致性協(xié)議的設(shè)計(jì)。該模塊化抽象框架是對(duì)傳統(tǒng)表述方式的一種有效的補(bǔ)充,對(duì)不同環(huán)境/資源約束或優(yōu)化目標(biāo)下復(fù)制狀態(tài)機(jī)及一致性協(xié)議的高效設(shè)計(jì)具有實(shí)際的指導(dǎo)意義。2.當(dāng)在云端跨多數(shù)據(jù)中心副本復(fù)制的場景下實(shí)現(xiàn)強(qiáng)一致性時(shí),現(xiàn)有以唯一leader為中心的協(xié)議——如著名的Paxos協(xié)議——將面臨兩個(gè)主要問題:高延遲的廣域消息傳輸和不均衡的鏈路依賴�；趯�(shí)例并發(fā)執(zhí)行的思想,本文定義了一個(gè)被稱為分層復(fù)制狀態(tài)機(jī)的復(fù)制狀態(tài)機(jī)并相應(yīng)地設(shè)計(jì)了一個(gè)實(shí)現(xiàn)該狀態(tài)機(jī)并提供高吞吐量的強(qiáng)一致性協(xié)議D-Paxos。分層復(fù)制狀態(tài)機(jī)和D-Paxos通過批處理和邏輯流水線處理實(shí)現(xiàn)了對(duì)空閑資源的充分利用,在大規(guī)模云環(huán)境下提供高性能同時(shí)不犧牲其強(qiáng)一致性。本文從理論上證明了D-Paxos滿足分層復(fù)制狀態(tài)機(jī)的安全性和活性屬性從而可以被用于實(shí)現(xiàn)一個(gè)分層復(fù)制狀態(tài)機(jī)。此外,本文還基于模塊化抽象框架進(jìn)行分層復(fù)制狀態(tài)機(jī)及D-Paxos的實(shí)例化,這從側(cè)面反映了模塊化抽象框架的實(shí)用性。3.通常,針對(duì)一致性協(xié)議的性能評(píng)估主要是通過實(shí)驗(yàn)來完成的,本文最初關(guān)于D-Paxos的吞吐量、可擴(kuò)展性和容錯(cuò)能力的評(píng)估也是如此。實(shí)驗(yàn)評(píng)估固然重要,不過,如果可以結(jié)合某種定量的分析方法,顯然將對(duì)協(xié)議性能的更深入分析與理解大有裨益。為了更深入地理解批處理和邏輯流水線處理這兩種優(yōu)化方式對(duì)D-Paxos性能的影響,本文從理論角度建立了關(guān)于D-Paxos預(yù)排序請(qǐng)求批次尺寸的定量分析模型。分析模型為最優(yōu)預(yù)排序請(qǐng)求批次尺寸提供了一個(gè)很好的近似,這一點(diǎn)在實(shí)驗(yàn)中得到了驗(yàn)證。結(jié)合模型的分析,協(xié)議性能與相關(guān)屬性如延遲、請(qǐng)求尺寸、批次尺寸、副本數(shù)量等之間的關(guān)系得到了更深入的研究,而D-Paxos在批處理和邏輯流水線處理下的可擴(kuò)展性也得到了進(jìn)一步的探討。4.隨著數(shù)據(jù)在世界范圍內(nèi)被復(fù)制,固有的一致性權(quán)衡問題由于數(shù)據(jù)中心間的高通信延遲而變得更為突出。不同于只考慮一致性/成本權(quán)衡或只考慮一致性/性能權(quán)衡的解決方案,本文針對(duì)基于地域復(fù)制的云存儲(chǔ)提出了一種綜合考慮成本和響應(yīng)時(shí)間約束的一致性權(quán)衡方案。為此,本文在中間件層面上提出了一個(gè)分組復(fù)制框架及與之對(duì)應(yīng)的權(quán)衡策略,其能夠在考慮成本、響應(yīng)時(shí)間約束的情況下實(shí)現(xiàn)一致性水平的運(yùn)行時(shí)自適應(yīng)切換。分組復(fù)制框架采用主/輔分組方式和主動(dòng)/被動(dòng)復(fù)制相結(jié)合的方式來提供強(qiáng)一致性保證和較弱的一致性保證。成本策略和性能策略中采用的概率方法通過使用收集的歷史數(shù)據(jù)來確定后續(xù)請(qǐng)求的一致性水平及訪問的目標(biāo)副本,從而實(shí)現(xiàn)一致性與成本、響應(yīng)時(shí)間之間的權(quán)衡。
【關(guān)鍵詞】：大規(guī)模云存儲(chǔ) 復(fù)制狀態(tài)機(jī) 強(qiáng)一致性協(xié)議 性能定量分析 一致性權(quán)衡
【學(xué)位授予單位】：華南理工大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2015
【分類號(hào)】：TP333
【目錄】：

• 摘要5-7
• ABSTRACT7-14
• 第一章 緒論14-26
• 1.1 研究背景15-20
• 1.2 研究意義20-22
• 1.3 本文的主要工作內(nèi)容和創(chuàng)新成果22-23
• 1.4 本文的組織結(jié)構(gòu)23-26
• 第二章 云存儲(chǔ)中的一致性問題研究26-50
• 2.1 一致性問題26-32
• 2.1.1 定義26-29
• 2.1.2 一致性模型分類29-32
• 2.2 云存儲(chǔ)中的復(fù)制與一致性32-43
• 2.2.1 復(fù)制方法32-35
• 2.2.2 狀態(tài)機(jī)復(fù)制與Paxos協(xié)議35-43
• 2.3 關(guān)鍵原則與權(quán)衡43-47
• 2.3.1 關(guān)鍵原則43-45
• 2.3.2 原則間的區(qū)別與聯(lián)系45-47
• 2.4 當(dāng)前研究中存在的問題47-49
• 2.5 本章小結(jié)49-50
• 第三章 復(fù)制狀態(tài)機(jī)的模塊化抽象框架50-68
• 3.1 問題與動(dòng)機(jī)50-51
• 3.2 復(fù)制狀態(tài)機(jī)及一致性協(xié)議的設(shè)計(jì)方法51-53
• 3.3 典型的復(fù)制狀態(tài)機(jī)及其一致性協(xié)議53-54
• 3.4 模型限定54
• 3.5 規(guī)范：復(fù)制狀態(tài)機(jī)的模塊化抽象框架54-61
• 3.5.1 抽象框架概覽55-57
• 3.5.2 定義：集合與映射57-59
• 3.5.3 抽象框架協(xié)議及其屬性59-61
• 3.6 實(shí)例化：復(fù)制狀態(tài)機(jī)及其一致性協(xié)議實(shí)例61-66
• 3.6.1 傳統(tǒng)的復(fù)制狀態(tài)機(jī)及Multi-Ring Paxos61-63
• 3.6.2 簡單復(fù)制狀態(tài)機(jī)及中間協(xié)議P63-65
• 3.6.3 可擴(kuò)展復(fù)制狀態(tài)機(jī)及可線性化協(xié)議65-66
• 3.7 本章小結(jié)66-68
• 第四章 分層復(fù)制狀態(tài)機(jī)及一致性協(xié)議D-PAXOS68-95
• 4.1 動(dòng)機(jī)與背景68-69
• 4.2 廣域環(huán)境下的強(qiáng)一致性協(xié)議實(shí)現(xiàn)69-71
• 4.3 分層復(fù)制狀態(tài)機(jī)71-74
• 4.3.1 系統(tǒng)模型71
• 4.3.2 定義71-73
• 4.3.3 屬性73-74
• 4.4 D-PAXOS74-80
• 4.4.1 假設(shè)74-75
• 4.4.2 協(xié)議過程75-77
• 4.4.3 故障檢測與恢復(fù)77-80
• 4.5 一致性證明80-82
• 4.6 基于模塊化抽象框架的實(shí)例化82-84
• 4.7 評(píng)估84-93
• 4.7.1 實(shí)驗(yàn)設(shè)置85
• 4.7.2 吞吐量和延遲85-87
• 4.7.3 可擴(kuò)展性87-89
• 4.7.4 故障的影響89-93
• 4.8 本章小結(jié)93-95
• 第五章 強(qiáng)一致性協(xié)議D-PAXOS的定量分析建模95-111
• 5.1 PAXOS及其變體中的批處理和流水線技術(shù)95-99
• 5.1.1 Paxos中的技術(shù)框架96-98
• 5.1.2 Paxos變體中的批處理、流水線及其定量分析98-99
• 5.2 D-PAXOS預(yù)排序請(qǐng)求批次的尺寸99-101
• 5.3 參數(shù)定義101-102
• 5.4 定量分析模型102-106
• 5.5 評(píng)估106-110
• 5.5.1 實(shí)驗(yàn)設(shè)置106-107
• 5.5.2 分析模型的有效性107
• 5.5.3 請(qǐng)求尺寸、預(yù)排序批次尺寸和吞吐量之間的關(guān)系107-109
• 5.5.4 預(yù)排序請(qǐng)求批次尺寸對(duì)可擴(kuò)展性的影響109-110
• 5.6 本章小結(jié)110-111
• 第六章 面向自適應(yīng)一致性的分組復(fù)制框架及其權(quán)衡策略111-130
• 6.1 背景與動(dòng)機(jī)111-112
• 6.2 自適應(yīng)一致性研究112-114
• 6.3 分組復(fù)制框架114-117
• 6.3.1 框架概覽114-116
• 6.3.2 分組復(fù)制與一致性116-117
• 6.4 一致性權(quán)衡策略117-119
• 6.5 基于分組復(fù)制框架的策略119-125
• 6.5.1 主分組中的強(qiáng)一致性保證119-120
• 6.5.2 成本策略中的權(quán)衡公式120-121
• 6.5.3 性能策略中的一致性/響應(yīng)時(shí)間效率估計(jì)121-123
• 6.5.4 一致性選擇算法123-125
• 6.6 評(píng)估125-128
• 6.6.1 設(shè)置125
• 6.6.2 成本策略的有效性125-127
• 6.6.3 性能策略的有效性127-128
• 6.7 本章小結(jié)128-130
• 結(jié)論130-133
• 參考文獻(xiàn)133-146
• 附錄1 全局一致性協(xié)議146-150
• 附錄 2 D-PAXOS協(xié)議150-152
• 攻讀博士學(xué)位期間取得的研究成果152-154
• 致謝154-155
• 附件155

【參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前1條

1 王意潔;孫偉東;周松;裴曉強(qiáng);李小勇;;云計(jì)算環(huán)境下的分布存儲(chǔ)關(guān)鍵技術(shù)[J];軟件學(xué)報(bào);2012年04期

  本文關(guān)鍵詞：面向云存儲(chǔ)副本復(fù)制的一致性關(guān)鍵技術(shù)研究，由筆耕文化傳播整理發(fā)布。

本文編號(hào)：431842