本文關(guān)鍵詞：Paxos算法在海量太陽(yáng)觀測(cè)數(shù)據(jù)存儲(chǔ)中的應(yīng)用研究，由筆耕文化傳播整理發(fā)布。

【摘要】：太陽(yáng)觀測(cè)數(shù)據(jù)信息量龐大,在存儲(chǔ)和使用過(guò)程中對(duì)存儲(chǔ)系統(tǒng)的一致性限制嚴(yán)格,可用性要求苛刻�，F(xiàn)有的分布式存儲(chǔ)系統(tǒng)在數(shù)據(jù)模型、構(gòu)架、擴(kuò)展性、讀寫算法或容錯(cuò)機(jī)制設(shè)計(jì)等方面無(wú)法優(yōu)雅應(yīng)對(duì)上述三個(gè)方面的要求,缺少具有具有針對(duì)性設(shè)計(jì)的存儲(chǔ)系統(tǒng)。 本文首先研究分布式系統(tǒng)中常見(jiàn)的數(shù)據(jù)模型及其對(duì)應(yīng)泛型存儲(chǔ)系統(tǒng),綜合考慮太陽(yáng)觀測(cè)數(shù)據(jù)在計(jì)算處理過(guò)程中常見(jiàn)的操作,歷史數(shù)據(jù)格式等多種因素,揭示采用文件模型組織太陽(yáng)觀測(cè)數(shù)據(jù)的優(yōu)勢(shì)。其次從觀測(cè)數(shù)據(jù)的科研需求出發(fā),利用Paxos算法的容錯(cuò)特性,改進(jìn)和定制適用于存儲(chǔ)和處理海量太陽(yáng)觀測(cè)數(shù)據(jù)的元數(shù)據(jù)存儲(chǔ)服務(wù),塊復(fù)制服務(wù),并發(fā)控制機(jī)制以及原子提交機(jī)制。隨后提出GlobalAstroTable的設(shè)計(jì)構(gòu)想,并對(duì)設(shè)計(jì)實(shí)現(xiàn)細(xì)節(jié)及創(chuàng)新點(diǎn)進(jìn)行討論。最后通過(guò)理論分析及實(shí)驗(yàn)驗(yàn)證GlobalAstroTable的有效性。 本文的具體工作包括： 1、對(duì)分布式存儲(chǔ)系統(tǒng)中的三種模型(KV模型、文件模型及Scheme-Free模型)進(jìn)行了研究和比較,提出文件模型具有符合天文科研人員的使用習(xí)慣,并發(fā)控制的粒度適中、擴(kuò)展性強(qiáng)、研究基礎(chǔ)好等優(yōu)勢(shì),適合作為太陽(yáng)觀測(cè)數(shù)據(jù)的存儲(chǔ)模型。 2、針對(duì)現(xiàn)有分布式文件系統(tǒng)在存儲(chǔ)海量太陽(yáng)觀測(cè)數(shù)據(jù)時(shí)遇到的問(wèn)題開(kāi)展工作,著重研究元數(shù)據(jù)的容錯(cuò)及擴(kuò)展機(jī)制、塊數(shù)據(jù)復(fù)制機(jī)制、并發(fā)控制機(jī)制、原子性寫入機(jī)制四大方面。提出利用狀態(tài)機(jī)復(fù)制方法解決元數(shù)據(jù)的容錯(cuò)問(wèn)題,利用Vertical Paxos算法處理塊復(fù)制過(guò)程中的重配置問(wèn)題,利用Paxos Lease鎖處理并發(fā)控制中的死鎖隱患,利用Paxos Commit算法實(shí)現(xiàn)豁免阻塞的原子提交機(jī)制等方法。 3、設(shè)計(jì)并實(shí)現(xiàn)了GlobalAstroTable的存儲(chǔ)系統(tǒng),并說(shuō)明系統(tǒng)實(shí)現(xiàn)中的細(xì)節(jié)與創(chuàng)新點(diǎn),如采用分布式LSM-tree結(jié)構(gòu)存儲(chǔ)元數(shù)據(jù),基于Paxos Commit的分布式COW事務(wù)等。 4、通過(guò)理論分析及實(shí)驗(yàn)驗(yàn)證GlobalAstroTable在可用性、一致性、并發(fā)能力、讀寫能力、讀寫語(yǔ)義、擴(kuò)展能力等方面能較好符合當(dāng)前海量太陽(yáng)觀測(cè)數(shù)據(jù)存儲(chǔ)的需求。
【關(guān)鍵詞】：天文圖像 分布式文件系統(tǒng) Paxos算法
【學(xué)位授予單位】：昆明理工大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2014
【分類號(hào)】：TP333
【目錄】：

• 摘要5-6
• Abstract6-10
• 第一章 緒論10-18
• 1.1 研究背景10-13
• 1.2 問(wèn)題的提出13-15
• 1.3 本文的主要內(nèi)容15-16
• 1.4 本文的章節(jié)安排16-18
• 第二章 數(shù)據(jù)模型與系統(tǒng)范型研究18-24
• 2.1 存儲(chǔ)系統(tǒng)泛型18-21
• 2.2 天文觀測(cè)數(shù)據(jù)的特性21-22
• 2.3 本章小節(jié)22-24
• 第三章 Paxos算法在分布式文件系統(tǒng)中的應(yīng)用研究24-46
• 3.1 元數(shù)據(jù)的復(fù)制容錯(cuò)及分布式處理24-33
• 3.2 塊數(shù)據(jù)復(fù)制機(jī)制研究及其改進(jìn)方法33-35
• 3.3 并發(fā)控制研究35-39
• 3.4 原子性寫入機(jī)制的實(shí)現(xiàn)方法39-43
• 3.5 本章小結(jié)43-46
• 第四章 基于Paxos算法的分布式文件系統(tǒng)46-58
• 4.1 基于Classic Paxos算法的分布式目錄服務(wù)46-48
• 4.2 基于Vertical Paxos算法的分布式塊存儲(chǔ)服務(wù)48-52
• 4.3 基于分布式鎖定的文件事務(wù)52-56
• 4.4 本章小結(jié)56-58
• 第五章 GlobalAstroTable的構(gòu)架與實(shí)現(xiàn)58-62
• 5.1 體系結(jié)構(gòu)58-59
• 5.2 存儲(chǔ)引擎的實(shí)現(xiàn)59-60
• 5.3 本章小結(jié)60-62
• 第六章 理論論證與對(duì)比分析62-68
• 6.1 讀寫操作語(yǔ)義對(duì)比62-63
• 6.2 可用性對(duì)比63-64
• 6.3 IO延遲分析64-66
• 6.4 塊數(shù)據(jù)復(fù)制粒度估計(jì)66
• 6.5 本章小結(jié)66-68
• 第七章 結(jié)論68-70
• 致謝70-72
• 參考文獻(xiàn)72-76
• 附錄A (攻讀學(xué)位其間發(fā)表論文目錄)76-78
• 附錄B (攻讀學(xué)位期間參與的研究成果)78

【參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前2條

1 桑玉真;陳軍華;南理勇;;一種基于非阻塞的分布式數(shù)據(jù)庫(kù)原子提交協(xié)議[J];計(jì)算機(jī)工程與應(yīng)用;2012年04期

2 許春玲;張廣泉;;分布式文件系統(tǒng)Hadoop HDFS與傳統(tǒng)文件系統(tǒng)Linux FS的比較與分析[J];蘇州大學(xué)學(xué)報(bào)(工科版);2010年04期

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前1條

1 張家琳;分布式計(jì)算中的共識(shí)問(wèn)題研究[D];清華大學(xué);2010年

  本文關(guān)鍵詞：Paxos算法在海量太陽(yáng)觀測(cè)數(shù)據(jù)存儲(chǔ)中的應(yīng)用研究，，由筆耕文化傳播整理發(fā)布。

本文編號(hào)：372495