【摘要】：提出了MapReduce多組容錯機制,在傳統(tǒng)的Hadoop MapReduce架構(gòu)上進行改進,即在同機柜中的TaskTracker節(jié)點之間增加了多組關系,這樣可以縮短發(fā)現(xiàn)失效節(jié)點的時間,同時減輕JobTracker節(jié)點的負荷,減低了帶寬使用率,減少網(wǎng)絡擁塞.通過實驗證明,MapReduce多組容錯機制提高了MapReduce的工作效率.
[Abstract]:In this paper, a multi-group fault-tolerant mechanism of MapReduce is proposed, which is improved on the traditional Hadoop MapReduce architecture, that is, the multi-group relations between the TaskTracker nodes in the same cabinet are added, which can shorten the time of finding the failure nodes and reduce the load of the JobTracker nodes. Reduce bandwidth utilization, reduce network congestion. It is proved by experiments that the multigroup fault-tolerant mechanism of MapReduce improves the efficiency of MapReduce.
【作者單位】： 河南理工大學計算機科學與技術學院;
【基金】：河南省軟件科學研究(102400450064)
【分類號】：TP302.8

【參考文獻】

相關期刊論文 前2條

1 王晉川;何宏;張福臨;;MapReduce框架與調(diào)度容錯機制研究[J];中國儲運;2010年12期

2 王鄂;李銘;;云計算下的海量數(shù)據(jù)挖掘研究[J];現(xiàn)代計算機(專業(yè)版);2009年11期

【共引文獻】

相關期刊論文 前10條

1 張雪英;朱少楠;徐希濤;;基于Neogeography的中文地名詞典維護和服務機制[J];測繪通報;2012年01期

2 閆振東;高斌;;一種海量軍事信息的數(shù)據(jù)云管理系統(tǒng)[J];電訊技術;2011年06期

3 朱敏;萬劍怡;王明文;;基于MR的并行決策樹分類算法的設計與實現(xiàn)[J];廣西師范大學學報(自然科學版);2011年01期

4 郎波;張博宇;;面向大數(shù)據(jù)的非結(jié)構(gòu)化數(shù)據(jù)管理平臺關鍵技術[J];信息技術與標準化;2013年10期

5 邵景峰;崔尊民;王進富;白曉波;;大數(shù)據(jù)下紡織制造執(zhí)行系統(tǒng)的構(gòu)建[J];紡織器材;2013年06期

6 張亞楠;譚躍生;;基于MapReduce的并行遮蓋文本聚類算法[J];內(nèi)蒙古科技大學學報;2013年03期

7 劉靜;李躍輝;楊苗苗;許靜;;基于MapReduce的電信客戶流失決策樹算法研究[J];電腦知識與技術;2013年30期

8 周國亮;朱永利;王桂蘭;;CC-MRSJ:Hadoop平臺下緩存敏感的星型聯(lián)接算法[J];電信科學;2013年10期

9 程苗;;基于云計算的經(jīng)濟預測系統(tǒng)研究[J];激光雜志;2011年02期

10 向小軍;高陽;商琳;楊育彬;;基于Hadoop平臺的海量文本分類的并行化[J];計算機科學;2011年10期

相關會議論文 前1條

1 安倫;周斌;賈焰;;在線Web挖掘中的計算資源動態(tài)平衡[A];全國計算機安全學術交流會論文集·第二十五卷[C];2010年

相關博士學位論文 前10條

1 徐河杭;面向PLM的數(shù)據(jù)挖掘技術和應用研究[D];浙江大學;2010年

2 方雷;基于云計算的土地資源服務高效處理平臺關鍵技術探索與研究[D];浙江大學;2011年

3 余偉;經(jīng)濟模型的構(gòu)建與預測方法的研究[D];華南理工大學;2012年

4 李健;云計算環(huán)境下最小化運營開銷的調(diào)度技術研究[D];北京郵電大學;2013年

5 韓晶;大數(shù)據(jù)服務若干關鍵技術研究[D];北京郵電大學;2013年

6 程祥;高效可靠的虛擬網(wǎng)絡映射技術研究[D];北京郵電大學;2013年

7 李韌;基于Hadoop的大規(guī)模語義Web本體數(shù)據(jù)查詢與推理關鍵技術研究[D];重慶大學;2013年

8 盧風順;面向CPU/GPU異構(gòu)體系結(jié)構(gòu)的并行計算關鍵技術研究[D];國防科學技術大學;2012年

9 孫鵬;動車組維修物聯(lián)網(wǎng)及其關鍵技術研究[D];中國鐵道科學研究院;2013年

10 肖奎;維基百科大數(shù)據(jù)的知識挖掘與管理方法研究[D];武漢大學;2013年

相關碩士學位論文 前10條

1 杜雅紅;基于云計算平臺的圖算法研究[D];北京郵電大學;2011年

2 張敏;云計算環(huán)境下的并行數(shù)據(jù)挖掘策略研究[D];南京郵電大學;2011年

3 程苗;云計算技術在web日志挖掘中的應用研究[D];中國科學技術大學;2011年

4 李輝;基于云計算環(huán)境的web結(jié)構(gòu)挖掘算法研究[D];浙江理工大學;2012年

5 邰建華;Hadoop平臺下的海量數(shù)據(jù)存儲技術研究[D];東北石油大學;2012年

6 朱曉峰;面向海量數(shù)據(jù)的快速挖掘算法研究[D];南京郵電大學;2012年

7 謝韜;基于數(shù)據(jù)挖掘的GSM-R網(wǎng)絡傳輸干擾分析與應用[D];浙江大學;2013年

8 李筱;面向異構(gòu)多核系統(tǒng)的并行計算模型和調(diào)度算法研究[D];湖南大學;2012年

9 馮懿;基于云計算的電力系統(tǒng)不良數(shù)據(jù)辨識算法研究[D];南京理工大學;2013年

10 朱安柱;基于Hadoop的Apriori算法改進與移植的研究[D];華中科技大學;2012年

【二級參考文獻】

相關期刊論文 前2條

1 于蕾;劉大有;高瀅;田野;;改進SPRINT算法及其在分布式環(huán)境下的研究[J];吉林大學學報(理學版);2008年06期

2 魏紅寧;基于SPRINT方法的并行決策樹分類研究[J];計算機應用;2005年01期

【相似文獻】

相關期刊論文 前10條

1 李倩;;云計算與網(wǎng)格計算[J];山西電子技術;2010年05期

2 賈海燕;;云計算在互動電視上的應用[J];產(chǎn)業(yè)與科技論壇;2011年01期

3 鄭牡丹;;云計算理論初探[J];硅谷;2011年12期

4 吳吉義;傅建慶;張明西;平玲娣;;云數(shù)據(jù)管理研究綜述[J];電信科學;2010年05期

5 喬文寶;;云計算應用中的不足及改進建議[J];電腦知識與技術;2010年16期

6 袁婧;;云計算在信息技術教育教學中的應用與展望[J];教育教學論壇;2010年18期

7 祝建武;;基于云計算的存儲服務器技術與趨勢分析[J];軟件導刊;2011年04期

8 朱超;;基于虛擬化技術構(gòu)建高校分布式云計算數(shù)據(jù)中心[J];武漢工程大學學報;2011年04期

9 甘鵬飛;;云環(huán)境下的個人知識管理探討[J];軟件導刊;2011年05期

10 郭培賢;;云計算在航空氣象領域的展望[J];數(shù)字技術與應用;2011年10期

相關會議論文 前10條

1 王劍鋒;;“虛擬”豐“云”——虛擬化和云計算技術淺析[A];中國新聞技術工作者聯(lián)合會五屆一次理事會暨學術年會論文集（上篇）[C];2009年

2 涂艷麗;;云計算及在IT支撐系統(tǒng)中的應用[A];中國通信學會第六屆學術年會論文集（上）[C];2009年

3 崔云飛;劉東;李昀;;云計算:一種新型服務計算模式[A];2008年中國高校通信類院系學術研討會論文集（下冊）[C];2009年

4 高世峰;吳迪;陳正捷;;“云計算”及其應用研究初探[A];全國第二屆信號處理與應用學術會議�？痆C];2008年

5 王新燕;范金剛;;初探云計算[A];兩化融合與物聯(lián)網(wǎng)發(fā)展學術研討會論文集[C];2010年

6 丁輝;趙煒妹;;基于云計算應用一級部署的研究[A];2011電力通信管理暨智能電網(wǎng)通信技術論壇論文集[C];2011年

7 曾文英;趙躍龍;尚敏;;云計算及云存儲生態(tài)系統(tǒng)研究[A];2010年第16屆全國信息存儲技術大會（IST2010）論文集[C];2010年

8 孫巍;孫寶華;;企業(yè)云計算調(diào)研與應用[A];中國通信學會信息通信網(wǎng)絡技術委員會2011年年會論文集（上冊）[C];2011年

9 何川;羅新華;秦虎;高彬;;云計算在裝備科研領域的應用[A];2011年全國通信安全學術會議論文集[C];2011年

10 陳紅;任怡;劉曉建;;云計算平臺下計費機制研究[A];CCF NCSC 2011——第二屆中國計算機學會服務計算學術會議論文集[C];2011年

相關重要報紙文章 前4條

1 李獻;不再遙遠的高性能計算機[N];計算機世界;2006年

2 朗飛;為集群計算系統(tǒng)選存儲[N];中國計算機報;2006年

3 高博;給超級計算機更換“心臟”[N];電腦報;2007年

4 本報記者 王皓;Linux集群再升華[N];計算機世界;2002年

相關博士學位論文 前10條

1 陳海波;云計算平臺可信性增強技術的研究[D];復旦大學;2008年

2 劉航;WMSNs在云計算中心節(jié)能減排中的關鍵技術研究[D];大連理工大學;2011年

3 張小慶;基于云計算環(huán)境的資源提供優(yōu)化方法研究[D];武漢理工大學;2013年

4 馮振乾;云計算數(shù)據(jù)中心的網(wǎng)絡帶寬隔離技術研究[D];國防科學技術大學;2012年

5 劉曉茜;云計算數(shù)據(jù)中心結(jié)構(gòu)及其調(diào)度機制研究[D];中國科學技術大學;2011年

6 孫鑫;面向云環(huán)境數(shù)據(jù)中心的高效資源調(diào)度機制研究[D];北京郵電大學;2012年

7 王智明;云數(shù)據(jù)中心資源調(diào)度機制研究[D];北京郵電大學;2012年

8 吳吉義;基于DHT的開放對等云存儲服務系統(tǒng)研究[D];浙江大學;2011年

9 楊際祥;并行與分布式計算負載均衡問題研究[D];大連理工大學;2012年

10 李錚;多媒體云計算平臺關鍵技術研究[D];中國科學技術大學;2011年

相關碩士學位論文 前10條

1 趙志雄;基于云計算的電信通信網(wǎng)絡關系分析技術研究與應用[D];北京郵電大學;2012年

2 柳妃妃;云計算環(huán)境下可證明數(shù)據(jù)持有技術研究[D];上海交通大學;2011年

3 白超;基于并行計算的海量日志分析系統(tǒng)實現(xiàn)[D];安徽大學;2013年

4 裴曉強;云計算環(huán)境下的容錯存儲技術研究[D];國防科學技術大學;2011年

5 張晨;云計算在IDC中的應用與實現(xiàn)[D];北京郵電大學;2012年

6 潘鈺;云計算平臺中的能耗管理方法[D];南京郵電大學;2013年

7 汪楠;基于OpenStack云平臺的計算資源動態(tài)調(diào)度及管理[D];大連理工大學;2013年

8 劉海平;基于主從備份的云計算容錯調(diào)度算法研究[D];浙江工商大學;2010年

9 張密密;MapReduce模型在Hadoop實現(xiàn)中的性能分析及改進優(yōu)化[D];電子科技大學;2010年

10 閆新河;云計算下自主診斷與自我修復研究[D];電子科技大學;2011年

，

本文編號：2163775