本文關(guān)鍵詞：非集中式MapReduce系統(tǒng)的節(jié)點失效及其容錯機制研究

  更多相關(guān)文章： MapReduce P2P 節(jié)點失效 容錯

【摘要】：MapReduce作為一個當(dāng)前海量數(shù)據(jù)處理的并行編程模型,并部署在大規(guī)模集群上進(jìn)行分布式處理。Hadoop作為實現(xiàn)MapReduce最常用的開源框架,由于節(jié)點失效,特別是兩種單點失效(主節(jié)點的作業(yè)失效和名字節(jié)點的分布式文件系統(tǒng)失效),影響作業(yè)的執(zhí)行和系統(tǒng)的性能,比如名稱節(jié)點的分布式文件系統(tǒng)的崩潰故障,會導(dǎo)致所有計算完成的不準(zhǔn)確,一旦主節(jié)點失效,整個系統(tǒng)可能會癱瘓。目前國內(nèi)外針對MapReduce單點失效,提出了使用備份節(jié)點、修改DFS架構(gòu)、非集中式的架構(gòu)和使用特定服務(wù)等,然而這些機制存在以下幾個問題,(1)備份節(jié)點的計算資源沒有有效地利用,(2)修改DFS架構(gòu),系統(tǒng)只有傳統(tǒng)MapReduce的80%性能,(3)目前非集中式架構(gòu)的節(jié)點數(shù)量是有限制的,或者同時也使用了備份節(jié)點,(4)特定的服務(wù)只能應(yīng)用在特定的環(huán)境。 針對以上問題,本文將從傳統(tǒng)的MapReduce架構(gòu)的特點、編程模型、工作流程和容錯機制出發(fā),研究目前MapReduce節(jié)點失效的處理方式,結(jié)合P2P網(wǎng)絡(luò)的特點,提出了一種非集中式的MapReduce的解決方案。本文的研究內(nèi)容主要包括以下幾個方面： 1、通過討論目前MapReduce框架的特征、工作流程、容錯機制和缺陷。分析目前MapReduce在從節(jié)點失效、Byzantine錯誤和單點失效的情況下的錯誤處理方法,以及這些處理方法存在的問題和不足。 2、針對目前MapReduce節(jié)點失效及其容錯機制存在的問題,結(jié)合P2P網(wǎng)絡(luò)的特點,以Chord協(xié)議作為非集中方式的優(yōu)勢,提出了基于P2P的MapReduce的機制。并介紹了P2P的MapReduce的系統(tǒng)架構(gòu)、工作流程和錯誤處理方式。 3、最后根據(jù)本文所提出的機制進(jìn)行實現(xiàn),并在一定的數(shù)據(jù)集測試下進(jìn)行評估。以典型的WordCount的單詞統(tǒng)計應(yīng)用程序,來進(jìn)行實驗驗證,本文所提出的機制能避免單點失效,在發(fā)生崩潰錯誤之后,能在合適時間恢復(fù),提高了系統(tǒng)性能,減少了復(fù)制開銷。因此,本文提出的P2P的MapReduce系統(tǒng)是可行的,并能進(jìn)行一定規(guī)模的大數(shù)據(jù)處理。
【學(xué)位授予單位】：云南大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2015
【分類號】：TP302.8

【共引文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 郎波;張博宇;;面向大數(shù)據(jù)的非結(jié)構(gòu)化數(shù)據(jù)管理平臺關(guān)鍵技術(shù)[J];信息技術(shù)與標(biāo)準(zhǔn)化;2013年10期

2 邵景峰;崔尊民;王進(jìn)富;白曉波;;大數(shù)據(jù)下紡織制造執(zhí)行系統(tǒng)的構(gòu)建[J];紡織器材;2013年06期

3 張亞楠;譚躍生;;基于MapReduce的并行遮蓋文本聚類算法[J];內(nèi)蒙古科技大學(xué)學(xué)報;2013年03期

4 周國亮;朱永利;王桂蘭;;CC-MRSJ:Hadoop平臺下緩存敏感的星型聯(lián)接算法[J];電信科學(xué);2013年10期

5 王鵬;黃焱;劉峰;安俊秀;;大數(shù)據(jù)技術(shù)中計算與數(shù)據(jù)的協(xié)作機制[J];成都信息工程學(xué)院學(xué)報;2014年01期

6 杜政頡;王鵬;黃焱;郎福通;;一種基于Storm編程模型的迭代Topology方案[J];成都信息工程學(xué)院學(xué)報;2014年01期

7 范飛;黃文明;鄧珍榮;;Oozie工作流在Mahout分布式數(shù)據(jù)挖掘中的應(yīng)用[J];桂林電子科技大學(xué)學(xué)報;2014年01期

8 丁玉成;諸葛晴鳳;沙行勉;;云計算環(huán)境下排序算法的性能分析[J];重慶大學(xué)學(xué)報;2014年04期

9 崔振;;云計算在高通量測序數(shù)據(jù)分析中的應(yīng)用[J];基因組學(xué)與應(yīng)用生物學(xué);2014年02期

10 喬媛媛;劉芳;凌艷;尹勁松;;云計算環(huán)境下MapReduce的資源建模與性能預(yù)測[J];北京郵電大學(xué)學(xué)報;2014年S1期

中國重要會議論文全文數(shù)據(jù)庫 前5條

1 喬媛媛;劉芳;凌艷;尹勁松;;云計算環(huán)境下MapReduce的資源建模與性能預(yù)測[A];2013年全國通信軟件學(xué)術(shù)會議論文集[C];2013年

2 Xiaoguang Han;Jigang Sun;Wu Qu;Xuanxia Yao;;Distributed Malware Detection based on Binary File Features in Cloud Computing Environment[A];第26屆中國控制與決策會議論文集[C];2014年

3 陳佐旗;余柏蒗;吳健平;;基于GPU通用計算的遙感數(shù)據(jù)處理——以計算地表太陽輻射值為例[A];第十八屆中國環(huán)境遙感應(yīng)用技術(shù)論壇論文集[C];2014年

4 白永超;付偉;辛陽;;基于Hadoop和Nutch的分布式搜索引擎研究與仿真[A];第十九屆全國青年通信學(xué)術(shù)年會論文集[C];2014年

5 李超越;徐國勝;;Hadoop公平調(diào)度算法的改進(jìn)[A];第十九屆全國青年通信學(xué)術(shù)年會論文集[C];2014年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 李健;云計算環(huán)境下最小化運營開銷的調(diào)度技術(shù)研究[D];北京郵電大學(xué);2013年

2 韓晶;大數(shù)據(jù)服務(wù)若干關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2013年

3 程祥;高效可靠的虛擬網(wǎng)絡(luò)映射技術(shù)研究[D];北京郵電大學(xué);2013年

4 李韌;基于Hadoop的大規(guī)模語義Web本體數(shù)據(jù)查詢與推理關(guān)鍵技術(shù)研究[D];重慶大學(xué);2013年

5 盧風(fēng)順;面向CPU/GPU異構(gòu)體系結(jié)構(gòu)的并行計算關(guān)鍵技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2012年

6 吳和生;云計算環(huán)境中多核多進(jìn)程負(fù)載均衡技術(shù)的研究與應(yīng)用[D];南京大學(xué);2013年

7 孫鵬;動車組維修物聯(lián)網(wǎng)及其關(guān)鍵技術(shù)研究[D];中國鐵道科學(xué)研究院;2013年

8 肖奎;維基百科大數(shù)據(jù)的知識挖掘與管理方法研究[D];武漢大學(xué);2013年

9 狄浩;虛擬網(wǎng)絡(luò)的高效和可靠映射算法研究[D];電子科技大學(xué);2013年

10 程興國;仿生算法的動態(tài)反饋機制及其并行化實現(xiàn)方法研究[D];華南理工大學(xué);2013年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 欒洋洋;分布式數(shù)據(jù)庫HBase故障恢復(fù)方法研究[D];蘭州理工大學(xué);2013年

2 于超佳;HDFS數(shù)據(jù)副本隨需調(diào)整及其放置策略研究[D];蘭州理工大學(xué);2013年

3 廖福蓉;基于任務(wù)備份的云計算任務(wù)調(diào)度算法研究[D];重慶大學(xué);2013年

4 陳貞;HDFS環(huán)境下的訪問控制技術(shù)研究[D];重慶大學(xué);2013年

5 張丹;HDFS中文件存儲優(yōu)化的相關(guān)技術(shù)研究[D];南京師范大學(xué);2013年

6 潘吳斌;基于云計算的并行K-means氣象數(shù)據(jù)挖掘研究與應(yīng)用[D];南京信息工程大學(xué);2013年

7 趙洪昌;云計算下的關(guān)聯(lián)分析和模糊聚類研究[D];南京信息工程大學(xué);2013年

8 汪洋;通信網(wǎng)云計算平臺資源調(diào)度策略與算法研究[D];南昌大學(xué);2013年

9 呂天然;基于MapReduce的可視化工作流遙感并行處理平臺及關(guān)鍵技術(shù)研究[D];河南大學(xué);2013年

10 但光祥;云計算環(huán)境下混合加密算法研究與實現(xiàn)[D];重慶大學(xué);2013年

，

本文編號：1183892