本文關(guān)鍵詞：私有云環(huán)境下的容災(zāi)系統(tǒng)中一致性算法的應(yīng)用研究，由筆耕文化傳播整理發(fā)布。

【摘要】：云計算的發(fā)展為大數(shù)據(jù)處理提供了新的思路，但云環(huán)境的應(yīng)用成本也給中小型企業(yè)帶來了很大的負擔(dān)。于是開源分布式框架Hadoop成為首選，該框架由兩個主要部分構(gòu)成：HDFS和MapReduce。其中HDFS是一個單中心結(jié)點的分布式文件系統(tǒng)。為了降低因為單點故障而帶來的損失，各個公司都有自己的HDFS HA方案，雖然實施方案不同但它們的核心思想都是采用備機方案。這些方案雖然可以減少HDFS發(fā)生單點失效時的損失，但耗時長，同時存在數(shù)據(jù)丟失的可能。本文在雙機熱備的基礎(chǔ)上提出了一種新的容災(zāi)系統(tǒng)，解決了存在的單點問題，同時通過一致性算法保證了數(shù)據(jù)的完整性，彌補了采用備機方案造成數(shù)據(jù)丟失的不足。具體而言，論文的主要工作如下： (1)介紹云計算的相關(guān)概念、特性和實現(xiàn)方案等，同時詳細介紹了開源的分布式系統(tǒng)框架Hadoop和其基本組成部分：HDFS和MapReduce。 (2)研究了幾種當前流行的HDFS高可用性方案，這些方案中分熱備和冷備兩種。結(jié)合中心服務(wù)器Namenode在HDFS中的地位與作用，提出了新的雙機熱備、三機協(xié)同的HDFS架構(gòu)。 (3)通過對一致性算法Paxos進行研究分析，設(shè)計出適用于三機架構(gòu)的Paxos算法；并且根據(jù)該算法設(shè)計出了三機數(shù)據(jù)同步框架。這樣保證即使出現(xiàn)結(jié)點失效的情況，系統(tǒng)依然可以有效的對外提供讀寫訪問服務(wù)。`(4)通過對HDFS源碼進行研究、剖析，修改了其中部分的代碼結(jié)構(gòu)，，滿足同步框架規(guī)范，實現(xiàn)了雙中心結(jié)點架構(gòu)，保證了對外服務(wù)。 (5)搭建仿真平臺，對新容災(zāi)系統(tǒng)下雙中心服務(wù)器的HDFS文件系統(tǒng)的可行性和有效性進行了驗證。 本論文為HDFS HA方案提供了新的思路，以雙機熱備為基礎(chǔ)，設(shè)計出的三機Paxos架構(gòu)和數(shù)據(jù)同步框架具有一定的理論意義和應(yīng)用價值。
【關(guān)鍵詞】：Hadoop 單點故障 HDFS高可用性 Paxos 數(shù)據(jù)一致性 雙機架構(gòu)
【學(xué)位授予單位】：蘭州交通大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2014
【分類號】：TP3
【目錄】：

• 摘要4-5
• Abstract5-9
• 1 緒論9-13
• 1.1 研究背景9-10
• 1.2 國內(nèi)外研究現(xiàn)狀10-11
• 1.3 課題研究意義11
• 1.4 論文組織結(jié)構(gòu)11-13
• 2 云計算和 Hadoop 系統(tǒng)簡介13-26
• 2.1 云計算簡介13-14
• 2.1.1 云計算的概念與原理13-14
• 2.1.2 云計算特性14
• 2.2 云計算分類14-17
• 2.2.1 按照服務(wù)的層次14-15
• 2.2.2 按照云的歸屬15-16
• 2.2.3 按照實現(xiàn)方法16-17
• 2.3 Hadoop 分布式系統(tǒng)框架概述17-20
• 2.3.1 框架組成18-19
• 2.3.2 體系結(jié)構(gòu)19-20
• 2.3.3 Hadoop 系統(tǒng)特性20
• 2.4 HDFS 概述20-25
• 2.4.1 主從結(jié)構(gòu)描述20-21
• 2.4.2 元數(shù)據(jù)框架21-23
• 2.4.3 文件 I/O 操作23-25
• 2.4.4 容災(zāi)特性分析25
• 2.5 本章小結(jié)25-26
• 3 應(yīng)用場景和算法設(shè)計26-37
• 3.1 HDFS 容災(zāi)方案介紹26-30
• 3.1.1 P&Secondary Namenode 方案26-27
• 3.1.2 AvatarNode 方案27-28
• 3.1.3 Namenode Federation 方案28-29
• 3.1.4 其余方案29-30
• 3.1.5 上述方案的不足30
• 3.2 雙中心服務(wù)器方案30-33
• 3.2.1 Namenode 服務(wù)器30
• 3.2.2 雙中心服務(wù)器架構(gòu)30-31
• 3.2.3 與雙機熱備方案對比31-33
• 3.3 一致性算法33-36
• 3.3.1 分布式一致性問題描述33
• 3.3.2 Classical Paxos 算法33-35
• 3.3.3 三機 Paxos 算法設(shè)計35-36
• 3.4 本章小結(jié)36-37
• 4 系統(tǒng)框架設(shè)計37-49
• 4.1 目的分析37
• 4.2 整體模塊設(shè)計37-38
• 4.3 內(nèi)部數(shù)據(jù)流程設(shè)計38-44
• 4.3.1 寫操作38-40
• 4.3.2 讀操作40-41
• 4.3.3 同步操作41-43
• 4.3.4 效率優(yōu)化43-44
• 4.4 結(jié)點失效情況分析44-47
• 4.4.1 元數(shù)據(jù)結(jié)點失效44-45
• 4.4.2 仲裁結(jié)點失效45
• 4.4.3 結(jié)點失效時讀寫45-46
• 4.4.4 結(jié)點失效時的同步操作46-47
• 4.5 同步框架同 Zookeeper 對比47-48
• 4.6 本章小結(jié)48-49
• 5 代碼改造和仿真測試49-62
• 5.1 關(guān)鍵點分析與改造49-51
• 5.1.1 Namenode 元數(shù)據(jù)分類50-51
• 5.2 基礎(chǔ)類 QuorumImp51-54
• 5.2.1 QuorumImp 接口51-52
• 5.2.2 統(tǒng)一數(shù)據(jù)類型52-53
• 5.2.3 同步框架實現(xiàn)53-54
• 5.3 通信協(xié)議54-56
• 5.3.1 Datanode Protocol55-56
• 5.3.2 Client Protocol56
• 5.4 仿真測試和結(jié)果分析56-61
• 5.4.1 測試目的56
• 5.4.2 環(huán)境搭建56-58
• 5.4.3 測試結(jié)果58-61
• 5.5 本章小結(jié)61-62
• 結(jié)論62-63
• 致謝63-64
• 參考文獻64-66
• 攻讀學(xué)位期間的研究成果66

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前5條

1 王偉;李軍鎖;張新家;;一種改進的分布式資源共享的互斥控制算法[J];科學(xué)技術(shù)與工程;2008年02期

2 馮登國;張敏;張妍;徐震;;云計算安全研究[J];軟件學(xué)報;2011年01期

3 洪澄;張敏;馮登國;;面向云存儲的高效動態(tài)密文訪問控制方法[J];通信學(xué)報;2011年07期

4 李伯虎;柴旭東;侯寶存;李潭;張雅彬;余海燕;韓軍;邸彥強;黃繼杰;宋長峰;唐震;王鵬;施國強;王曉華;;一種基于云計算理念的網(wǎng)絡(luò)化建模與仿真平臺——“云仿真平臺”[J];系統(tǒng)仿真學(xué)報;2009年17期

5 楊凱;銀聯(lián)數(shù)據(jù)異地災(zāi)難備份架構(gòu)設(shè)計探討[J];中國金融電腦;2005年09期

  本文關(guān)鍵詞：私有云環(huán)境下的容災(zāi)系統(tǒng)中一致性算法的應(yīng)用研究，由筆耕文化傳播整理發(fā)布。

本文編號：402384