基于Dynamo的存儲(chǔ)機(jī)制研究
發(fā)布時(shí)間:2019-08-10 10:56
【摘要】:云計(jì)算是目前IT領(lǐng)域最為熱門的技術(shù),而云存儲(chǔ)更是云計(jì)算的核心。云存儲(chǔ)在云計(jì)算搭建的物理設(shè)施之上要對(duì)龐大的數(shù)據(jù)進(jìn)行有效并且可靠的存儲(chǔ)和梳理,硬件之上的軟機(jī)制便是本文針對(duì)云存儲(chǔ)討論的核心內(nèi)容。 Amazon公司提出的Dynamo存儲(chǔ)架構(gòu)是最早商用的云存儲(chǔ)系統(tǒng)之一,在云計(jì)算領(lǐng)域具有十分重要的地位。它是一個(gè)完全分布式的、去中心化的系統(tǒng),其對(duì)于云存儲(chǔ)遇到的各種問題都有專門的機(jī)制進(jìn)行處理?墒且?yàn)樵拼鎯?chǔ)結(jié)構(gòu)的復(fù)雜性,Dynamo處理問題的各種機(jī)制均存在一定問題。 本文對(duì)云計(jì)算以及Amazon公司的產(chǎn)品均進(jìn)行了簡單介紹。隨后針對(duì)Dynamo存儲(chǔ)架構(gòu)的特點(diǎn)、主要機(jī)制等方面作了詳細(xì)的介紹。接著探析了Dynamo存儲(chǔ)架構(gòu)中的各項(xiàng)機(jī)制存在的問題,并給出了部分問題的研究方案與改進(jìn)成果。 首先,針對(duì)Dynamo架構(gòu)在處理臨時(shí)故障節(jié)點(diǎn)時(shí)采用的參數(shù)回傳機(jī)制hintedhandoff容易造成節(jié)點(diǎn)二次故障的問題,設(shè)計(jì)出了分級(jí)移交解決方法,并通過實(shí)驗(yàn)與分析說明了分級(jí)移交的優(yōu)越性。 其次,本文指出了Dynamo架構(gòu)對(duì)節(jié)點(diǎn)進(jìn)行錯(cuò)誤檢測(cè)的心跳機(jī)制的不足,說明其沒有考慮到網(wǎng)絡(luò)狀態(tài)的起伏。然后提出了心跳門限判決機(jī)制來解決該問題,通過實(shí)驗(yàn)仿真,說明了所提方案對(duì)于某些網(wǎng)絡(luò)波動(dòng)狀況下的故障檢測(cè)錯(cuò)誤率較之原架構(gòu)具有極大的改善。 對(duì)于一致性與版本沖突,原架構(gòu)存在的產(chǎn)生臟數(shù)據(jù)的問題,本文也都相應(yīng)的給出了兩階段存儲(chǔ)機(jī)制和后寫即贏策略來進(jìn)行處理和改善,通過分析均可以看出收到了良好的改進(jìn)效果。 文章中對(duì)其他沒有給出改進(jìn)方法的問題也作了一定的分析,以作為后續(xù)研究的參考。
【圖文】:
圖 1.7 大眾對(duì)云存儲(chǔ)的關(guān)注調(diào)查1.4 本文結(jié)構(gòu)安排本文在對(duì)云計(jì)算尤其是云存儲(chǔ)進(jìn)行了普遍的學(xué)習(xí)之后,重點(diǎn)針對(duì) Amazo的 Dynamo 存儲(chǔ)架構(gòu)中的各項(xiàng)機(jī)制進(jìn)行了研究。通過對(duì)其臨時(shí)故障處理方析,提出了分級(jí)移交的數(shù)據(jù)回傳機(jī)制,解決了原本機(jī)制容易造成節(jié)點(diǎn)二次問題;同時(shí)通過對(duì)錯(cuò)誤檢測(cè)機(jī)制的研究,解決了原本機(jī)制誤判節(jié)點(diǎn)死亡的問時(shí)還針對(duì)一致性問題和版本沖突問題提出了兩階段存儲(chǔ)方法和后寫即贏策新方法,很好的避免了臟數(shù)據(jù)的生成。本文的具體內(nèi)容安排如下:第一章全面介紹了云計(jì)算的研究背景和意義,并重點(diǎn)對(duì) Amazon 公司的業(yè)務(wù)進(jìn)行了簡要的介紹,最后分析了云存儲(chǔ)的現(xiàn)狀。通過第一章能很好的計(jì)算的產(chǎn)生、發(fā)展以及 Amazon 公司云計(jì)算的主要產(chǎn)品與業(yè)務(wù)流程。第二章首先對(duì) Dynamo 存儲(chǔ)架構(gòu)做了概述,介紹了 Dynamo 架構(gòu)發(fā)展自布式存儲(chǔ)引擎,并且其如何通過各項(xiàng)設(shè)計(jì)解決之前的簡單分布式存儲(chǔ)引擎
圖 2.9 Cassandra 存儲(chǔ)模型結(jié)構(gòu)圖① 圖中的Cluster是Cassandra的集群,一個(gè)Cluster中則包含有多個(gè)Keys為 Keyspace 的容器;② 一個(gè) Keyspace 是 Cassandra 的哈希第一維,一個(gè) Keyspace 包含有多l(xiāng)umnFamily,其為 ColumnFamily 的容器,一般情況下一個(gè)應(yīng)用就對(duì)應(yīng)一yspace,Keyspace 其實(shí)就相當(dāng)于一個(gè)數(shù)據(jù)庫;③ 一個(gè) ColumnFamily 包含有多個(gè) Column 或者 SuperColumn,一般簡稱 的指的就是 ColumnFamily;④ SuperColumn 中的 value 其實(shí)就是 Column,,所以 SuperColumn 可以進(jìn)行排序;⑤ Column 是 Cassandra 的最小存儲(chǔ)單位,其為一個(gè)三元組數(shù)據(jù),如圖所示括 name、value 和 timestamp。Cassandra 中存儲(chǔ)的數(shù)據(jù)結(jié)構(gòu)是基于 Column 的結(jié)構(gòu),Row 是 Column 的集合 Rowkey 標(biāo)示,Rowkey 就相當(dāng)于數(shù)據(jù)庫中的主鍵。每個(gè) Rowkey 對(duì)應(yīng)的數(shù)據(jù)
【學(xué)位授予單位】:西安電子科技大學(xué)
【學(xué)位級(jí)別】:碩士
【學(xué)位授予年份】:2013
【分類號(hào)】:TP333
本文編號(hào):2525184
【圖文】:
圖 1.7 大眾對(duì)云存儲(chǔ)的關(guān)注調(diào)查1.4 本文結(jié)構(gòu)安排本文在對(duì)云計(jì)算尤其是云存儲(chǔ)進(jìn)行了普遍的學(xué)習(xí)之后,重點(diǎn)針對(duì) Amazo的 Dynamo 存儲(chǔ)架構(gòu)中的各項(xiàng)機(jī)制進(jìn)行了研究。通過對(duì)其臨時(shí)故障處理方析,提出了分級(jí)移交的數(shù)據(jù)回傳機(jī)制,解決了原本機(jī)制容易造成節(jié)點(diǎn)二次問題;同時(shí)通過對(duì)錯(cuò)誤檢測(cè)機(jī)制的研究,解決了原本機(jī)制誤判節(jié)點(diǎn)死亡的問時(shí)還針對(duì)一致性問題和版本沖突問題提出了兩階段存儲(chǔ)方法和后寫即贏策新方法,很好的避免了臟數(shù)據(jù)的生成。本文的具體內(nèi)容安排如下:第一章全面介紹了云計(jì)算的研究背景和意義,并重點(diǎn)對(duì) Amazon 公司的業(yè)務(wù)進(jìn)行了簡要的介紹,最后分析了云存儲(chǔ)的現(xiàn)狀。通過第一章能很好的計(jì)算的產(chǎn)生、發(fā)展以及 Amazon 公司云計(jì)算的主要產(chǎn)品與業(yè)務(wù)流程。第二章首先對(duì) Dynamo 存儲(chǔ)架構(gòu)做了概述,介紹了 Dynamo 架構(gòu)發(fā)展自布式存儲(chǔ)引擎,并且其如何通過各項(xiàng)設(shè)計(jì)解決之前的簡單分布式存儲(chǔ)引擎
圖 2.9 Cassandra 存儲(chǔ)模型結(jié)構(gòu)圖① 圖中的Cluster是Cassandra的集群,一個(gè)Cluster中則包含有多個(gè)Keys為 Keyspace 的容器;② 一個(gè) Keyspace 是 Cassandra 的哈希第一維,一個(gè) Keyspace 包含有多l(xiāng)umnFamily,其為 ColumnFamily 的容器,一般情況下一個(gè)應(yīng)用就對(duì)應(yīng)一yspace,Keyspace 其實(shí)就相當(dāng)于一個(gè)數(shù)據(jù)庫;③ 一個(gè) ColumnFamily 包含有多個(gè) Column 或者 SuperColumn,一般簡稱 的指的就是 ColumnFamily;④ SuperColumn 中的 value 其實(shí)就是 Column,,所以 SuperColumn 可以進(jìn)行排序;⑤ Column 是 Cassandra 的最小存儲(chǔ)單位,其為一個(gè)三元組數(shù)據(jù),如圖所示括 name、value 和 timestamp。Cassandra 中存儲(chǔ)的數(shù)據(jù)結(jié)構(gòu)是基于 Column 的結(jié)構(gòu),Row 是 Column 的集合 Rowkey 標(biāo)示,Rowkey 就相當(dāng)于數(shù)據(jù)庫中的主鍵。每個(gè) Rowkey 對(duì)應(yīng)的數(shù)據(jù)
【學(xué)位授予單位】:西安電子科技大學(xué)
【學(xué)位級(jí)別】:碩士
【學(xué)位授予年份】:2013
【分類號(hào)】:TP333
【參考文獻(xiàn)】
相關(guān)期刊論文 前7條
1 錢文靜;鄧仲華;;云計(jì)算與信息資源共享管理[J];圖書與情報(bào);2009年04期
2 耿永利;;淺談分布式數(shù)據(jù)庫系統(tǒng)安全的策略[J];硅谷;2010年10期
3 韓君易;;NoSQL數(shù)據(jù)庫解決方案Tair淺析[J];電子商務(wù);2011年09期
4 晏強(qiáng);張曉鋒;丁蕊;;云存儲(chǔ)技術(shù)研究[J];計(jì)算機(jī)與信息技術(shù);2011年12期
5 王勝川;;基于云計(jì)算的存儲(chǔ)技術(shù)研究[J];石油工業(yè)計(jì)算機(jī)應(yīng)用;2011年02期
6 葉鈺;李太寧;劉淵;;基于SimpleDB進(jìn)行分布式數(shù)據(jù)云存儲(chǔ)[J];泰州職業(yè)技術(shù)學(xué)院學(xué)報(bào);2010年01期
7 呂明育;李小勇;;NoSQL數(shù)據(jù)庫與關(guān)系數(shù)據(jù)庫的比較分析[J];微型電腦應(yīng)用;2011年10期
本文編號(hào):2525184
本文鏈接:http://sikaile.net/kejilunwen/jisuanjikexuelunwen/2525184.html
最近更新
教材專著