發(fā)布時間：2017-09-09 19:37

  本文關(guān)鍵詞：云環(huán)境下MapReduce多組容錯機制的研究

  更多相關(guān)文章： 云計算 MapReduce并行編程模型 多組容錯機制

【摘要】：隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展與普及,人類社會已由信息時代進入了大數(shù)據(jù)時代,傳統(tǒng)的計算模式已經(jīng)不能滿足時代的要求,一種新興的商業(yè)計算模型——云計算應(yīng)運而生,云計算為計算機行業(yè)帶來了新的機遇和挑戰(zhàn)。云計算是一個大規(guī)模的分布式計算系統(tǒng),為互聯(lián)網(wǎng)上的外部用戶提供抽象的、虛擬的、動態(tài)調(diào)整以及可管理的計算能力、存儲、平臺以及服務(wù)。云計算最典型的案例是Goolge公司提出的MapReduce并行編程模型,它簡單易用、并行化程度高、可靠性高等特點吸引了很多用戶。目前,國內(nèi)外針對MapReduce編程模型各個方面的研究很多,其中關(guān)于MapReduce容錯機制一直是研究熱點之一。針對容錯機制的研究可以總結(jié)為兩種方案:備份和再執(zhí)行,但是這兩種方案有一個基本前提條件——感知到失效節(jié)點,如果感知失效情況不及時或者不準確,這兩種方案也就不能發(fā)揮作用了。本文將從一個新的視角出發(fā),針對如何更快更準確的發(fā)現(xiàn)失效節(jié)點問題展開研究,主要分為以下幾個方面:首先,根據(jù)需求分析設(shè)計容錯方案,簡單地將其分為三個步驟:多組監(jiān)測、請求申請、任務(wù)遷移,分析各自的職能,研究多組容錯的運行機制。其二,對傳統(tǒng)的MapReduce架構(gòu)進行改進,在同機柜中的各個TaskTracker節(jié)點之間搭建多組架構(gòu),建立多組心跳機制,分別在TaskTracker和JobTracker上增加多組類multipleTaskTracker、multipleJobTracker,實現(xiàn)多組容錯。其三,對任務(wù)遷移過程中可能出現(xiàn)的資源競爭問題進行補充,根據(jù)公平性原則,針對兩類資源競爭現(xiàn)象按照各自的規(guī)則進行任務(wù)遷移。最后,分別從響應(yīng)時間、加速比和多組容錯的優(yōu)勢三個方面對多組容錯性能進行分析,得出在不影響系統(tǒng)擴展性的前提下,多組關(guān)系提高了監(jiān)測失效節(jié)點的效率,節(jié)約了作業(yè)響應(yīng)時間,降低了帶寬使用率,減少網(wǎng)絡(luò)擁塞,減輕了JobTracker節(jié)點的負荷。大量實驗數(shù)據(jù)表明,在不影響MapReduce系統(tǒng)可擴展性的前提下,多組容錯要明顯優(yōu)于傳統(tǒng)容錯方案。在集群中存在失效節(jié)點時,多組容錯可以將發(fā)現(xiàn)失效的時間大幅度地縮短,并且可以游刃有余的解決任務(wù)遷移過程中的資源競爭現(xiàn)象。
【關(guān)鍵詞】：云計算 MapReduce并行編程模型 多組容錯機制
【學位授予單位】：河南理工大學
【學位級別】：碩士
【學位授予年份】：2014
【分類號】：TP302.8
【目錄】：

• 致謝4-5
• 摘要5-6
• Abstract6-11
• 1 引言11-17
• 1.1 研究背景和意義11-12
• 1.2 國內(nèi)外研究現(xiàn)狀12-14
• 1.3 本文工作14-16
• 1.3.1 研究內(nèi)容14-15
• 1.3.2 研究重點和難點15-16
• 1.4 論文的組織結(jié)構(gòu)16-17
• 2 云計算中MapReduce編程模型的分析17-33
• 2.1 云計算概述17-20
• 2.2 Hadoop計算平臺20-24
• 2.2.1 Hadoop開源架構(gòu)21
• 2.2.2 HDFS文件系統(tǒng)21-22
• 2.2.3 MapReduce架構(gòu)22-24
• 2.3 MapReduce編程模型24-29
• 2.3.1 MapReduce概述24
• 2.3.2 MapReduce編程思想24-26
• 2.3.3 MapReduce主從架構(gòu)26
• 2.3.4 MapReduce實現(xiàn)流程26-28
• 2.3.5 MapReduce研究熱點28-29
• 2.4 MapReduce容錯相關(guān)改進29-31
• 2.4.1 慢任務(wù)評判算法29-30
• 2.4.2 中間值存儲方案30
• 2.4.3 單控制節(jié)點容錯方案30-31
• 2.5 本章小結(jié)31-33
• 3 MapReduce容錯機制分析33-47
• 3.1 容錯實體類33-37
• 3.1.1 JobTracker類33-34
• 3.1.2 TaskTracker類34-35
• 3.1.3 Storage相關(guān)類35-36
• 3.1.4 HeartbeatResponse相關(guān)類36-37
• 3.2 MapReduce容錯策略37-43
• 3.2.1 備份方案37-39
• 3.2.2 失效監(jiān)測機制39-42
• 3.2.3 推測執(zhí)行機制42-43
• 3.3 容錯性能評估指標43-45
• 3.3.1 響應(yīng)時間43-44
• 3.3.2 加速比44
• 3.3.3 可靠性44
• 3.3.4 公平性44-45
• 3.4 本章小結(jié)45-47
• 4 MapReduce多組容錯機制的研究47-57
• 4.1 需求分析47
• 4.2 實現(xiàn)方案47-50
• 4.2.1 多組監(jiān)測48
• 4.2.2 請求申請48-49
• 4.2.3 任務(wù)遷移49-50
• 4.3 多組容錯機制的研究50-54
• 4.3.1 多組機制實現(xiàn)類50-51
• 4.3.2 搭建多組架構(gòu)51-53
• 4.3.3 多組心跳機制53-54
• 4.4 多組關(guān)系帶來的資源競爭54-55
• 4.5 性能分析55-56
• 4.5.1 響應(yīng)時間分析55
• 4.5.2 加速比分析55
• 4.5.3 優(yōu)勢分析55-56
• 4.6 本章小結(jié)56-57
• 5 實驗與結(jié)果分析57-67
• 5.1 實驗環(huán)境配置57-60
• 5.1.1 集群配置方案57-58
• 5.1.2 SSH和JDK的配置58
• 5.1.3 Hadoop的安裝配置58-60
• 5.2 基準測試60-62
• 5.3 實驗結(jié)果與分析62-66
• 5.3.1 響應(yīng)時間對比分析62-63
• 5.3.2 公平性測試63-64
• 5.3.3 加速比性能測試64-66
• 5.4 本章小結(jié)66-67
• 6 總結(jié)與展望67-69
• 6.1 工作總結(jié)67-68
• 6.2 展望68-69
• 參考文獻69-73
• 作者簡介73-75
• 學位論文數(shù)據(jù)集75

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 費秀婷,沈慶浩;移動agent系統(tǒng)的容錯機制[J];計算機與數(shù)字工程;2005年04期

2 么剛;王勁林;姚瓊;朱小勇;孫鵬;;嵌入式高清播放器容錯機制的研究與實現(xiàn)[J];計算機系統(tǒng)應(yīng)用;2009年01期

3 劉添添;移動Agent系統(tǒng)的一種安全容錯機制[J];計算機工程;2005年18期

4 聶瑞華;張科倫;梁軍;;一種改進的云存儲系統(tǒng)容錯機制[J];計算機應(yīng)用研究;2013年12期

5 陳波;張曦煌;;基于分層與容錯機制的云計算負載均衡策略[J];計算機應(yīng)用;2013年11期

6 孫峻朝,王建瑩,楊孝宗;故障和容錯機制的層次模型[J];計算機工程與應(yīng)用;1999年10期

7 姜楠;李戰(zhàn)懷;任X;胡金鵬;;遠程鏡像系統(tǒng)容錯機制的研究與實現(xiàn)[J];計算機工程;2011年01期

8 張大為,韓華,代亞非;P2P系統(tǒng)中降低錯誤相關(guān)性的方法[J];計算機研究與發(fā)展;2005年08期

9 賴巍;郭荷清;朱娟;;基于補償服務(wù)鏈的Web服務(wù)容錯機制研究與實現(xiàn)[J];計算機應(yīng)用與軟件;2009年01期

10 張治斌;李燕歌;;云計算下MapReduce多組容錯機制架構(gòu)的分析與研究[J];微電子學與計算機;2014年01期

中國重要會議論文全文數(shù)據(jù)庫 前2條

1 萬國偉;謝e，

本文編號：822383