發(fā)布時(shí)間：2018-04-26 03:36

  本文選題：云計(jì)算 + 心跳機(jī)制��； 參考：《計(jì)算機(jī)應(yīng)用》2015年10期

【摘要】：針對官方的Hadoop軟件中提供的節(jié)點(diǎn)心跳超時(shí)容錯(cuò)機(jī)制對短作業(yè)并不合理,而且忽略了異構(gòu)集群中各節(jié)點(diǎn)超期時(shí)間設(shè)置的公平性的問題,提出了公平心跳超時(shí)容錯(cuò)機(jī)制。首先根據(jù)每個(gè)節(jié)點(diǎn)的可靠性及計(jì)算性能構(gòu)建節(jié)點(diǎn)故障誤判損失模型,提出公平誤判損失(FMJL)算法,使其同時(shí)滿足長作業(yè)和短作業(yè)要求;接著,設(shè)計(jì)并實(shí)現(xiàn)了基于FMJL算法的公平超時(shí)機(jī)制。在實(shí)現(xiàn)了公平超時(shí)機(jī)制的Hadoop上運(yùn)行大約345 s的短作業(yè)時(shí),當(dāng)出現(xiàn)Task Tracker節(jié)點(diǎn)故障時(shí)作業(yè)完成時(shí)間平均大約節(jié)省了44%,與自適應(yīng)超時(shí)機(jī)制相比,作業(yè)完成時(shí)間大約節(jié)省了23%。實(shí)驗(yàn)結(jié)果表明,公平超時(shí)機(jī)制在保證不影響長作業(yè)完成時(shí)間的情況下縮短了短作業(yè)的容錯(cuò)處理時(shí)間,提高了Hadoop的實(shí)時(shí)處理效率。
[Abstract]:The node heartbeat fault tolerance mechanism provided in the official Hadoop software is not reasonable for short operation, and ignores the fairness of each node in the heterogeneous cluster, and puts forward a fair heartbeat timeout fault-tolerant mechanism. First, the node fault misjudgement loss model is constructed according to the reliability and computing performance of each node. A fair misjudgement loss (FMJL) algorithm is proposed to meet both long and short job requirements; then, a fair timeout mechanism based on FMJL algorithm is designed and implemented. When a short operation of about 345 s is run on a fair timeout mechanism, the job completion time is roughly reduced when a Task Tracker node fails. 44%, compared with the adaptive timeout mechanism, the job completion time saves about 23%. experimental results, which shows that the fair timeout mechanism reduces the fault-tolerant processing time of short jobs and improves the real-time processing efficiency of Hadoop without affecting the long job completion time.

【作者單位】： 西南交通大學(xué)信息科學(xué)與技術(shù)學(xué)院;計(jì)算機(jī)軟件新技術(shù)國家重點(diǎn)實(shí)驗(yàn)室(南京大學(xué));
【基金】：國家自然科學(xué)基金資助項(xiàng)目(61202043,61170111) 網(wǎng)絡(luò)智能信息處理四川省高校重點(diǎn)實(shí)驗(yàn)室開放課題資助項(xiàng)目(SZJJ2014-049)
【分類號】：TP302.8

【參考文獻(xiàn)】

相關(guān)期刊論文 前4條

1 陳晗鳴;羅威;李明輝;;分布式系統(tǒng)中基于主/副版本的實(shí)時(shí)容錯(cuò)調(diào)度綜述[J];計(jì)算機(jī)應(yīng)用研究;2012年11期

2 鄧鵬;李枚毅;何誠;;Namenode單點(diǎn)故障解決方案研究[J];計(jì)算機(jī)工程;2012年21期

3 廖福蓉;王成良;陳蜀宇;;基于任務(wù)備份的云計(jì)算容錯(cuò)調(diào)度算法[J];計(jì)算機(jī)工程;2012年24期

4 張治斌;李燕歌;;云計(jì)算下MapReduce多組容錯(cuò)機(jī)制架構(gòu)的分析與研究[J];微電子學(xué)與計(jì)算機(jī);2014年01期

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 郎波;張博宇;;面向大數(shù)據(jù)的非結(jié)構(gòu)化數(shù)據(jù)管理平臺關(guān)鍵技術(shù)[J];信息技術(shù)與標(biāo)準(zhǔn)化;2013年10期

2 邵景峰;崔尊民;王進(jìn)富;白曉波;;大數(shù)據(jù)下紡織制造執(zhí)行系統(tǒng)的構(gòu)建[J];紡織器材;2013年06期

3 張亞楠;譚躍生;;基于MapReduce的并行遮蓋文本聚類算法[J];內(nèi)蒙古科技大學(xué)學(xué)報(bào);2013年03期

4 周國亮;朱永利;王桂蘭;;CC-MRSJ:Hadoop平臺下緩存敏感的星型聯(lián)接算法[J];電信科學(xué);2013年10期

5 王鵬;黃焱;劉峰;安俊秀;;大數(shù)據(jù)技術(shù)中計(jì)算與數(shù)據(jù)的協(xié)作機(jī)制[J];成都信息工程學(xué)院學(xué)報(bào);2014年01期

6 杜政頡;王鵬;黃焱;郎福通;;一種基于Storm編程模型的迭代Topology方案[J];成都信息工程學(xué)院學(xué)報(bào);2014年01期

7 范飛;黃文明;鄧珍榮;;Oozie工作流在Mahout分布式數(shù)據(jù)挖掘中的應(yīng)用[J];桂林電子科技大學(xué)學(xué)報(bào);2014年01期

8 丁玉成;諸葛晴鳳;沙行勉;;云計(jì)算環(huán)境下排序算法的性能分析[J];重慶大學(xué)學(xué)報(bào);2014年04期

9 喬媛媛;劉芳;凌艷;尹勁松;;云計(jì)算環(huán)境下MapReduce的資源建模與性能預(yù)測[J];北京郵電大學(xué)學(xué)報(bào);2014年S1期

10 劉瓊;趙榮;孫立堅(jiān);;Map/Reduce框架下的粗糙集空間數(shù)據(jù)挖掘改進(jìn)算法[J];測繪科學(xué);2014年05期

相關(guān)博士學(xué)位論文 前10條

1 李健;云計(jì)算環(huán)境下最小化運(yùn)營開銷的調(diào)度技術(shù)研究[D];北京郵電大學(xué);2013年

2 韓晶;大數(shù)據(jù)服務(wù)若干關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2013年

3 程祥;高效可靠的虛擬網(wǎng)絡(luò)映射技術(shù)研究[D];北京郵電大學(xué);2013年

4 李韌;基于Hadoop的大規(guī)模語義Web本體數(shù)據(jù)查詢與推理關(guān)鍵技術(shù)研究[D];重慶大學(xué);2013年

5 盧風(fēng)順;面向CPU/GPU異構(gòu)體系結(jié)構(gòu)的并行計(jì)算關(guān)鍵技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2012年

6 孫鵬;動(dòng)車組維修物聯(lián)網(wǎng)及其關(guān)鍵技術(shù)研究[D];中國鐵道科學(xué)研究院;2013年

7 肖奎;維基百科大數(shù)據(jù)的知識挖掘與管理方法研究[D];武漢大學(xué);2013年

8 程興國;仿生算法的動(dòng)態(tài)反饋機(jī)制及其并行化實(shí)現(xiàn)方法研究[D];華南理工大學(xué);2013年

9 馬馮;數(shù)據(jù)密集型計(jì)算環(huán)境下貝葉斯網(wǎng)的學(xué)習(xí)、推理及應(yīng)用[D];云南大學(xué);2013年

10 韓海雯;MapReduce計(jì)算任務(wù)調(diào)度的資源配置優(yōu)化研究[D];華南理工大學(xué);2013年

【二級參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 王晉川;何宏;張福臨;;MapReduce框架與調(diào)度容錯(cuò)機(jī)制研究[J];中國儲運(yùn);2010年12期

2 蔡興旺;段夢博;;云計(jì)算及其在數(shù)據(jù)挖掘上的應(yīng)用研究[J];電腦知識與技術(shù);2010年22期

3 韓宗芬,秦嘯,龐麗萍,李勝利;分布式系統(tǒng)的實(shí)時(shí)容錯(cuò)任務(wù)調(diào)度算法設(shè)計(jì)[J];華中理工大學(xué)學(xué)報(bào);1999年04期

4 張擁軍,張怡,彭宇行,陳福接;一種基于多處理機(jī)的容錯(cuò)實(shí)時(shí)任務(wù)調(diào)度算法[J];計(jì)算機(jī)研究與發(fā)展;2000年04期

5 羅威;陽富民;龐麗萍;李俊;;基于延遲主動(dòng)副版本的分布式實(shí)時(shí)容錯(cuò)調(diào)度算法[J];計(jì)算機(jī)研究與發(fā)展;2007年03期

6 陽春華,計(jì)莉,沈德耀,桂衛(wèi)華;實(shí)時(shí)多處理機(jī)系統(tǒng)BEST-FIT啟發(fā)式容錯(cuò)調(diào)度[J];計(jì)算機(jī)工程與科學(xué);2003年05期

7 秦嘯,韓宗芬,龐麗萍;基于異構(gòu)分布式系統(tǒng)的實(shí)時(shí)容錯(cuò)調(diào)度算法[J];計(jì)算機(jī)學(xué)報(bào);2002年01期

8 郭輝,王智廣,周敬利;異構(gòu)分布式系統(tǒng)中基于負(fù)載均衡的容錯(cuò)調(diào)度算法[J];計(jì)算機(jī)學(xué)報(bào);2005年11期

9 李建鋒;彭艦;;云計(jì)算環(huán)境下基于改進(jìn)遺傳算法的任務(wù)調(diào)度算法[J];計(jì)算機(jī)應(yīng)用;2011年01期

10 范杰;彭艦;黎紅友;;基于蟻群算法的云計(jì)算需求彈性算法[J];計(jì)算機(jī)應(yīng)用;2011年S1期

【相似文獻(xiàn)】

相關(guān)期刊論文 前6條

1 黃迎;我永遠(yuǎn)是你的最新聯(lián)系人[J];電腦愛好者;2004年18期

2 軟語輕柔;;我的程序你刪不掉[J];電腦迷;2008年10期

3 ;諾基亞3100C手機(jī)時(shí)間設(shè)置小訣竅[J];電腦愛好者;2008年09期

4 彭登聯(lián);;Flash課件中有關(guān)時(shí)間設(shè)置的三種類型[J];中小學(xué)電教;2007年10期

5 realrocking;;讓你的字幕同步[J];電腦迷;2003年07期

6 ;[J];;年期

相關(guān)重要報(bào)紙文章 前2條

1 廣東 沈蘇民;電子電燉煲檢修三例[N];電子報(bào);2010年

2 江西 吳建國;格力KF-25GW型分體空調(diào)控制電路檢修一例[N];電子報(bào);2004年

，

本文編號：1804352