本文關(guān)鍵詞：MapReduce集群的數(shù)據(jù)塊副本策略研究

  更多相關(guān)文章： MapReduce 異構(gòu)環(huán)境 數(shù)據(jù)塊分布策略

【摘要】：集群中的節(jié)點(diǎn)由于其硬件配置不同導(dǎo)致其性能不同,使得集群環(huán)境成為異構(gòu)環(huán)境。然而,在以Hadoop為代表的MapReduce實(shí)現(xiàn)中并沒有充分考慮到環(huán)境的異構(gòu)性,致使節(jié)點(diǎn)的負(fù)載不能與其性能相適應(yīng)且過多的Map任務(wù)需要從其他節(jié)點(diǎn)傳輸輸入數(shù)據(jù)塊,從而影響MapReduce在異構(gòu)環(huán)境中性能。 本文將集群環(huán)境的異構(gòu)性納入到數(shù)據(jù)塊副本策略的設(shè)計(jì)中,從而提升MapReduce在異構(gòu)環(huán)境中的性能。本文主要工作如下： 1)分析了異構(gòu)環(huán)境中MapReduce集群性能問題的原因。 2)提出基于節(jié)點(diǎn)性能的數(shù)據(jù)塊副本創(chuàng)建策略,使得在副本創(chuàng)建時(shí),副本的分布與節(jié)點(diǎn)性能相適應(yīng)。 3)提出基于節(jié)點(diǎn)性能的數(shù)據(jù)塊副本動(dòng)態(tài)調(diào)整策略,根據(jù)集群的歷史訪問信息和給定的額外存儲(chǔ)開銷預(yù)算,對(duì)存儲(chǔ)在集群中文件的副本數(shù)進(jìn)行調(diào)整,并在調(diào)整過程中平衡異構(gòu)節(jié)點(diǎn)間的負(fù)載。 4)實(shí)驗(yàn)驗(yàn)證了本文所提出的策略在異構(gòu)環(huán)境中能有效提升輸入數(shù)據(jù)在本地的Map任務(wù)比例,縮短MapReduce任務(wù)的完成時(shí)間,并動(dòng)態(tài)平衡節(jié)點(diǎn)間的負(fù)載。
【關(guān)鍵詞】：MapReduce 異構(gòu)環(huán)境 數(shù)據(jù)塊分布策略
【學(xué)位授予單位】：華東理工大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2014
【分類號(hào)】：TP333
【目錄】：

• 摘要5-6
• Abstract6-7
• 目錄7-9
• 第1章 緒論9-14
• 1.1 研究背景及意義9-10
• 1.2 MapReduce研究現(xiàn)狀10-12
• 1.3 本文主要工作12-13
• 1.4 本文結(jié)構(gòu)13-14
• 第2章 MapReduce在異構(gòu)環(huán)境中的性能研究14-27
• 2.1 MapReduce編程模型及其實(shí)現(xiàn)14-15
• 2.2 MapReduce及HDFS在Hadoop中的結(jié)構(gòu)15-16
• 2.3 MapReduce在Hadoop中的運(yùn)行過程16-17
• 2.4 Hadoop的任務(wù)調(diào)度17-19
• 2.4.1 調(diào)度優(yōu)先順序18-19
• 2.4.2 推測(cè)性任務(wù)(Speculative Tasks)19
• 2.5 MapReduce在異構(gòu)環(huán)境中的性能問題19-20
• 2.6 HDFS的數(shù)據(jù)塊副本策略20-22
• 2.7 副本分布對(duì)異構(gòu)環(huán)境中MapReduce性能的影響22-25
• 2.8 本章小結(jié)25-27
• 第3章 基于節(jié)點(diǎn)性能的數(shù)據(jù)塊副本創(chuàng)建策略27-40
• 3.1 數(shù)據(jù)塊副本策略的目標(biāo)27-29
• 3.1.1 現(xiàn)有的副本策略目標(biāo)與分析27
• 3.1.2 副本策略目標(biāo)27-29
• 3.2 性能權(quán)值29-30
• 3.3 節(jié)點(diǎn)的分類30-31
• 3.4 副本策略的總體框架31-33
• 3.4.1 如何滿足副本策略目標(biāo)31
• 3.4.2 總體框架31-33
• 3.5 節(jié)點(diǎn)分類信息的保存與更新33
• 3.6 寫入節(jié)點(diǎn)優(yōu)先選擇策略33-34
• 3.7 額外一副本選擇策略34-36
• 3.8 額外兩副本選擇策略36-38
• 3.9 本章小結(jié)38-40
• 第4章 基于節(jié)點(diǎn)性能的動(dòng)態(tài)副本調(diào)整策略40-51
• 4.1 數(shù)據(jù)塊熱門程度的不一致及其影響40-41
• 4.2 現(xiàn)有研究分析41-42
• 4.3 動(dòng)態(tài)調(diào)整策略的總體設(shè)計(jì)42-43
• 4.4 預(yù)算(Budget)的分發(fā)策略43-45
• 4.4.1 優(yōu)先分發(fā)策略和輪詢分發(fā)策略43-44
• 4.4.2 平滑優(yōu)先分發(fā)策略44-45
• 4.5 副本動(dòng)態(tài)增加策略45-49
• 4.5.1 副本增加策略的設(shè)計(jì)45-47
• 4.5.2 復(fù)雜度分析47-48
• 4.5.3 流量開銷比較48-49
• 4.6 副本動(dòng)態(tài)刪除策略49-50
• 4.7 本章小結(jié)50-51
• 第5章 實(shí)驗(yàn)性能分析51-62
• 5.1 副本創(chuàng)建分布實(shí)驗(yàn)與分析51-53
• 5.1.1 數(shù)據(jù)塊副本的分布51-52
• 5.1.2 數(shù)據(jù)塊所在節(jié)點(diǎn)的平均權(quán)值分布52-53
• 5.2 MapReduce性能實(shí)驗(yàn)與分析53-55
• 5.3 預(yù)算分發(fā)策略55-58
• 5.3.1 分發(fā)策略對(duì)比56-57
• 5.3.2 下降因子d的影響57
• 5.3.3 存儲(chǔ)開銷預(yù)算的影響57-58
• 5.4 動(dòng)態(tài)調(diào)整與負(fù)載平衡58-61
• 5.4.1 副本增加調(diào)整58-59
• 5.4.2 副本移除調(diào)整59-61
• 5.5 本章小結(jié)61-62
• 第6章 總結(jié)與展望62-64
• 6.1 總結(jié)62-63
• 6.2 未來工作展望63-64
• 參考文獻(xiàn)64-68
• 致謝68-69
• 攻讀碩士期間完成的論文69

【參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前3條

1 李建江;崔健;王聃;嚴(yán)林;黃義雙;;MapReduce并行編程模型研究綜述[J];電子學(xué)報(bào);2011年11期

2 孫廣中;肖鋒;熊曦;;MapReduce模型的調(diào)度及容錯(cuò)機(jī)制研究[J];微電子學(xué)與計(jì)算機(jī);2007年09期

3 鄭啟龍;王昊;吳曉偉;房明;;HPMR:多核集群上的高性能計(jì)算支撐平臺(tái)[J];微電子學(xué)與計(jì)算機(jī);2008年09期

，

本文編號(hào)：562320