本文關(guān)鍵詞：MapReduce下容錯機(jī)制的研究與優(yōu)化，由筆耕文化傳播整理發(fā)布。

【摘要】：隨著互聯(lián)網(wǎng)的高速發(fā)展，云計算集群系統(tǒng)越來越大，處理數(shù)據(jù)的規(guī)模越來越大，這樣就需要一個高效的分布式處理系統(tǒng)進(jìn)行數(shù)據(jù)挖掘、計算等任務(wù)。MapReduce是Hadoop下的計算框架，也是云計算Hadoop的核心模塊。MapReduce的容錯性關(guān)乎Hadoop集群的性能。MapReduce有很好的容錯機(jī)制和表現(xiàn)不錯的容錯性能，但是隨著使用對象和場景的不一樣，在專有任務(wù)的情況下反而會降低系統(tǒng)性能。因此本文利用原有的MapReduce下的容錯機(jī)制進(jìn)行改善和優(yōu)化，使它更加適用于各種任務(wù)的系統(tǒng)中，并在節(jié)點失效時系統(tǒng)的容錯能力更強(qiáng)。 本文主要從節(jié)點的失效到數(shù)據(jù)處理過程對MapReduce下容錯性能進(jìn)行改善和優(yōu)化，主要研究成果如下： 在任務(wù)運(yùn)行前，通過預(yù)取數(shù)據(jù)執(zhí)行估算出任務(wù)的執(zhí)行時間，根據(jù)任務(wù)執(zhí)行時間設(shè)定超時檢測時間（TASKTRACKER_EXPIRY_INT-ERVAL），當(dāng)節(jié)點在超時檢測時間未收到節(jié)點發(fā)送回來的心跳程序時判斷該節(jié)點失效；在任務(wù)運(yùn)行過程中，系統(tǒng)會對每個節(jié)點設(shè)定一個信譽(yù)值，根據(jù)節(jié)點的數(shù)據(jù)獲取錯誤對節(jié)點的信譽(yù)值進(jìn)行衰減和通過心跳匯報對的信譽(yù)值進(jìn)行恢復(fù)，當(dāng)節(jié)點的信譽(yù)值低于最低閾值就判斷該節(jié)點失效。在運(yùn)行過程中，產(chǎn)生的中間值存儲在本地，當(dāng)節(jié)點失效就會丟失，本文采用異步復(fù)制，，不同機(jī)器存儲的方式存儲，使得中間值在節(jié)點失效時同樣能取得。通過在任務(wù)運(yùn)行前對失效時間進(jìn)行設(shè)定，在運(yùn)行中對節(jié)點失效進(jìn)行評估和對中間值進(jìn)行備份存儲的方法增強(qiáng)了系統(tǒng)的容錯能力。
【關(guān)鍵詞】：Hadoop MapReduce 容錯性 信譽(yù)值 自適應(yīng)
【學(xué)位授予單位】：哈爾濱工業(yè)大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2014
【分類號】：TP302.8
【目錄】：

• 摘要4-5
• Abstract5-9
• 第1章 緒論9-14
• 1.1 課題來源9
• 1.2 課題研究的背景和意義9-10
• 1.3 國內(nèi)外在該方向的研究現(xiàn)狀10-11
• 1.4 論文主要研究內(nèi)容11-12
• 1.5 論文內(nèi)容及結(jié)構(gòu)12-14
• 第2章 MapReduce 體系結(jié)構(gòu)及容錯機(jī)制的研究14-26
• 2.1 MapReduce 體系結(jié)構(gòu)概述14
• 2.2 Hadoop 分布式文件系統(tǒng)14-15
• 2.3 HDFS 的基本結(jié)構(gòu)15-18
• 2.3.1 MapReduce 的基本結(jié)構(gòu)16-18
• 2.4 目錄文件結(jié)構(gòu)18-19
• 2.5 MapReduce 的失效檢測19-22
• 2.5.1 worker 節(jié)點失效20
• 2.5.2 Master 節(jié)點失效20
• 2.5.3 失效檢測的流程和機(jī)理20-22
• 2.6 MapReduce 的節(jié)點調(diào)度方式22-23
• 2.7 其他容錯機(jī)制23-24
• 2.7.1 中間值容錯23-24
• 2.7.2 JobTracker 容錯24
• 2.7.3 任務(wù)推測執(zhí)行24
• 2.8 MapReduce 的容錯性能不足24
• 2.9 本章小結(jié)24-26
• 第3章 MapReduce 下容錯機(jī)制的優(yōu)化設(shè)計26-36
• 3.1 MapReduce 自適應(yīng)檢測時間設(shè)計28-30
• 3.1.1 設(shè)計動機(jī)28
• 3.1.2 設(shè)計原理28
• 3.1.3 作業(yè)任務(wù)時間估計設(shè)計方法28-30
• 3.2 MapReduce 下信譽(yù)機(jī)制的研究與設(shè)計30-33
• 3.2.1 設(shè)計動機(jī)30-31
• 3.2.2 設(shè)計原理31
• 3.2.3 MapReduce 下信譽(yù)機(jī)制的設(shè)計方法31-33
• 3.3 中間值的安全性的設(shè)計33-34
• 3.3.1 設(shè)計原理33-34
• 3.3.2 設(shè)計方法34
• 3.4 本章小結(jié)34-36
• 第4章 系統(tǒng)實現(xiàn)36-47
• 4.1 MapReduce 自適應(yīng)時間檢測實現(xiàn)36-39
• 4.1.1 執(zhí)行過程36-38
• 4.1.2 類依賴關(guān)系38-39
• 4.2 MapReduce 信譽(yù)機(jī)制實現(xiàn)39-43
• 4.2.1 執(zhí)行過程39-41
• 4.2.2 數(shù)據(jù)結(jié)構(gòu)41-42
• 4.2.3 程序執(zhí)行流程42-43
• 4.3 中間值的安全性實現(xiàn)43-46
• 4.3.1 中間數(shù)據(jù)的處理過程43-44
• 4.3.2 數(shù)據(jù)結(jié)構(gòu)與算法44-46
• 4.4 本章小結(jié)46-47
• 第5章 實驗結(jié)果和分析47-59
• 5.1 實驗環(huán)境和集群架構(gòu)47-49
• 5.1.1 Hadoop 集群架構(gòu)47-48
• 5.1.2 實驗環(huán)境和配置48-49
• 5.1.3 系統(tǒng)概況49
• 5.2 測試方案和測試過程49-52
• 5.2.1 實驗配置和進(jìn)行過程50-51
• 5.2.2 信譽(yù)機(jī)制時間的參數(shù)和配置51-52
• 5.2.3 作業(yè)的選取52
• 5.3 實驗結(jié)果和數(shù)據(jù)分析52-58
• 5.3.1 集群系統(tǒng)中沒有節(jié)點失效52-54
• 5.3.2 系統(tǒng)中有一個節(jié)點失效54-56
• 5.3.3 系統(tǒng)的整體測試56-57
• 5.3.4 對比分析57-58
• 5.4 本章小結(jié)58-59
• 結(jié)論59-60
• 參考文獻(xiàn)60-64
• 致謝64

【參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前5條

1 孫健;賈曉菁;;Google云計算平臺的技術(shù)架構(gòu)及對其成本的影響研究[J];電信科學(xué);2010年01期

2 丁文定;;基于服務(wù)集成管理的SaaS解決方案[J];計算機(jī)與現(xiàn)代化;2010年01期

3 江務(wù)學(xué);張t

本文編號：351527