【摘要】：提出了MapReduce多組容錯機制,在傳統(tǒng)的Hadoop MapReduce架構上進行改進,即在同機柜中的TaskTracker節(jié)點之間增加了多組關系,這樣可以縮短發(fā)現失效節(jié)點的時間,同時減輕JobTracker節(jié)點的負荷,減低了帶寬使用率,減少網絡擁塞.通過實驗證明,MapReduce多組容錯機制提高了MapReduce的工作效率.
[Abstract]:In this paper, a multi-group fault-tolerant mechanism of MapReduce is proposed, which is improved on the traditional Hadoop MapReduce architecture, that is, the multi-group relations between the TaskTracker nodes in the same cabinet are added, which can shorten the time of finding the failure nodes and reduce the load of the JobTracker nodes. Reduce bandwidth utilization, reduce network congestion. It is proved by experiments that the multigroup fault-tolerant mechanism of MapReduce improves the efficiency of MapReduce.
【作者單位】： 河南理工大學計算機科學與技術學院;
【基金】：河南省軟件科學研究(102400450064)
【分類號】：TP302.8

【參考文獻】

相關期刊論文 前2條

1 王晉川;何宏;張福臨;;MapReduce框架與調度容錯機制研究[J];中國儲運;2010年12期

2 王鄂;李銘;;云計算下的海量數據挖掘研究[J];現代計算機(專業(yè)版);2009年11期

【共引文獻】

相關期刊論文 前10條

1 張雪英;朱少楠;徐希濤;;基于Neogeography的中文地名詞典維護和服務機制[J];測繪通報;2012年01期

2 閆振東;高斌;;一種海量軍事信息的數據云管理系統(tǒng)[J];電訊技術;2011年06期

3 朱敏;萬劍怡;王明文;;基于MR的并行決策樹分類算法的設計與實現[J];廣西師范大學學報(自然科學版);2011年01期

4 郎波;張博宇;;面向大數據的非結構化數據管理平臺關鍵技術[J];信息技術與標準化;2013年10期

5 邵景峰;崔尊民;王進富;白曉波;;大數據下紡織制造執(zhí)行系統(tǒng)的構建[J];紡織器材;2013年06期

6 張亞楠;譚躍生;;基于MapReduce的并行遮蓋文本聚類算法[J];內蒙古科技大學學報;2013年03期

7 劉靜;李躍輝;楊苗苗;許靜;;基于MapReduce的電信客戶流失決策樹算法研究[J];電腦知識與技術;2013年30期

8 周國亮;朱永利;王桂蘭;;CC-MRSJ:Hadoop平臺下緩存敏感的星型聯接算法[J];電信科學;2013年10期

9 程苗;;基于云計算的經濟預測系統(tǒng)研究[J];激光雜志;2011年02期

10 向小軍;高陽;商琳;楊育彬;;基于Hadoop平臺的海量文本分類的并行化[J];計算機科學;2011年10期

相關會議論文 前1條

1 安倫;周斌;賈焰;;在線Web挖掘中的計算資源動態(tài)平衡[A];全國計算機安全學術交流會論文集·第二十五卷[C];2010年

相關博士學位論文 前10條

1 徐河杭;面向PLM的數據挖掘技術和應用研究[D];浙江大學;2010年

2 方雷;基于云計算的土地資源服務高效處理平臺關鍵技術探索與研究[D];浙江大學;2011年

3 余偉;經濟模型的構建與預測方法的研究[D];華南理工大學;2012年

4 李健;云計算環(huán)境下最小化運營開銷的調度技術研究[D];北京郵電大學;2013年

5 韓晶;大數據服務若干關鍵技術研究[D];北京郵電大學;2013年

6 程祥;高效可靠的虛擬網絡映射技術研究[D];北京郵電大學;2013年

7 李韌;基于Hadoop的大規(guī)模語義Web本體數據查詢與推理關鍵技術研究[D];重慶大學;2013年

8 盧風順;面向CPU/GPU異構體系結構的并行計算關鍵技術研究[D];國防科學技術大學;2012年

9 孫鵬;動車組維修物聯網及其關鍵技術研究[D];中國鐵道科學研究院;2013年

10 肖奎;維基百科大數據的知識挖掘與管理方法研究[D];武漢大學;2013年

相關碩士學位論文 前10條

1 杜雅紅;基于云計算平臺的圖算法研究[D];北京郵電大學;2011年

2 張敏;云計算環(huán)境下的并行數據挖掘策略研究[D];南京郵電大學;2011年

3 程苗;云計算技術在web日志挖掘中的應用研究[D];中國科學技術大學;2011年

4 李輝;基于云計算環(huán)境的web結構挖掘算法研究[D];浙江理工大學;2012年

5 邰建華;Hadoop平臺下的海量數據存儲技術研究[D];東北石油大學;2012年

6 朱曉峰;面向海量數據的快速挖掘算法研究[D];南京郵電大學;2012年

7 謝韜;基于數據挖掘的GSM-R網絡傳輸干擾分析與應用[D];浙江大學;2013年

8 李筱;面向異構多核系統(tǒng)的并行計算模型和調度算法研究[D];湖南大學;2012年

9 馮懿;基于云計算的電力系統(tǒng)不良數據辨識算法研究[D];南京理工大學;2013年

10 朱安柱;基于Hadoop的Apriori算法改進與移植的研究[D];華中科技大學;2012年

【二級參考文獻】

相關期刊論文 前2條

1 于蕾;劉大有;高瀅;田野;;改進SPRINT算法及其在分布式環(huán)境下的研究[J];吉林大學學報(理學版);2008年06期

2 魏紅寧;基于SPRINT方法的并行決策樹分類研究[J];計算機應用;2005年01期

【相似文獻】

相關期刊論文 前10條

1 李倩;;云計算與網格計算[J];山西電子技術;2010年05期

2 賈海燕;;云計算在互動電視上的應用[J];產業(yè)與科技論壇;2011年01期

3 鄭牡丹;;云計算理論初探[J];硅谷;2011年12期

4 吳吉義;傅建慶;張明西;平玲娣;;云數據管理研究綜述[J];電信科學;2010年05期

5 喬文寶;;云計算應用中的不足及改進建議[J];電腦知識與技術;2010年16期

6 袁婧;;云計算在信息技術教育教學中的應用與展望[J];教育教學論壇;2010年18期

7 祝建武;;基于云計算的存儲服務器技術與趨勢分析[J];軟件導刊;2011年04期

8 朱超;;基于虛擬化技術構建高校分布式云計算數據中心[J];武漢工程大學學報;2011年04期

9 甘鵬飛;;云環(huán)境下的個人知識管理探討[J];軟件導刊;2011年05期

10 郭培賢;;云計算在航空氣象領域的展望[J];數字技術與應用;2011年10期

相關會議論文 前10條

1 王劍鋒;;“虛擬”豐“云”——虛擬化和云計算技術淺析[A];中國新聞技術工作者聯合會五屆一次理事會暨學術年會論文集（上篇）[C];2009年

2 涂艷麗;;云計算及在IT支撐系統(tǒng)中的應用[A];中國通信學會第六屆學術年會論文集（上）[C];2009年

3 崔云飛;劉東;李昀;;云計算:一種新型服務計算模式[A];2008年中國高校通信類院系學術研討會論文集（下冊）[C];2009年

4 高世峰;吳迪;陳正捷;;“云計算”及其應用研究初探[A];全國第二屆信號處理與應用學術會議�？痆C];2008年

5 王新燕;范金剛;;初探云計算[A];兩化融合與物聯網發(fā)展學術研討會論文集[C];2010年

6 丁輝;趙煒妹;;基于云計算應用一級部署的研究[A];2011電力通信管理暨智能電網通信技術論壇論文集[C];2011年

7 曾文英;趙躍龍;尚敏;;云計算及云存儲生態(tài)系統(tǒng)研究[A];2010年第16屆全國信息存儲技術大會（IST2010）論文集[C];2010年

8 孫巍;孫寶華;;企業(yè)云計算調研與應用[A];中國通信學會信息通信網絡技術委員會2011年年會論文集（上冊）[C];2011年

9 何川;羅新華;秦虎;高彬;;云計算在裝備科研領域的應用[A];2011年全國通信安全學術會議論文集[C];2011年

10 陳紅;任怡;劉曉建;;云計算平臺下計費機制研究[A];CCF NCSC 2011——第二屆中國計算機學會服務計算學術會議論文集[C];2011年

相關重要報紙文章 前4條

1 李獻;不再遙遠的高性能計算機[N];計算機世界;2006年

2 朗飛;為集群計算系統(tǒng)選存儲[N];中國計算機報;2006年

3 高博;給超級計算機更換“心臟”[N];電腦報;2007年

4 本報記者 王皓;Linux集群再升華[N];計算機世界;2002年

相關博士學位論文 前10條

1 陳海波;云計算平臺可信性增強技術的研究[D];復旦大學;2008年

2 劉航;WMSNs在云計算中心節(jié)能減排中的關鍵技術研究[D];大連理工大學;2011年

3 張小慶;基于云計算環(huán)境的資源提供優(yōu)化方法研究[D];武漢理工大學;2013年

4 馮振乾;云計算數據中心的網絡帶寬隔離技術研究[D];國防科學技術大學;2012年

5 劉曉茜;云計算數據中心結構及其調度機制研究[D];中國科學技術大學;2011年

6 孫鑫;面向云環(huán)境數據中心的高效資源調度機制研究[D];北京郵電大學;2012年

7 王智明;云數據中心資源調度機制研究[D];北京郵電大學;2012年

8 吳吉義;基于DHT的開放對等云存儲服務系統(tǒng)研究[D];浙江大學;2011年

9 楊際祥;并行與分布式計算負載均衡問題研究[D];大連理工大學;2012年

10 李錚;多媒體云計算平臺關鍵技術研究[D];中國科學技術大學;2011年

相關碩士學位論文 前10條

1 趙志雄;基于云計算的電信通信網絡關系分析技術研究與應用[D];北京郵電大學;2012年

2 柳妃妃;云計算環(huán)境下可證明數據持有技術研究[D];上海交通大學;2011年

3 白超;基于并行計算的海量日志分析系統(tǒng)實現[D];安徽大學;2013年

4 裴曉強;云計算環(huán)境下的容錯存儲技術研究[D];國防科學技術大學;2011年

5 張晨;云計算在IDC中的應用與實現[D];北京郵電大學;2012年

6 潘鈺;云計算平臺中的能耗管理方法[D];南京郵電大學;2013年

7 汪楠;基于OpenStack云平臺的計算資源動態(tài)調度及管理[D];大連理工大學;2013年

8 劉海平;基于主從備份的云計算容錯調度算法研究[D];浙江工商大學;2010年

9 張密密;MapReduce模型在Hadoop實現中的性能分析及改進優(yōu)化[D];電子科技大學;2010年

10 閆新河;云計算下自主診斷與自我修復研究[D];電子科技大學;2011年

，

本文編號：2163775