本文關(guān)鍵詞： MapReduce 樹型結(jié)構(gòu) 二叉樹 消息傳遞接口　出處：《計(jì)算機(jī)科學(xué)》2015年11期 　論文類型：期刊論文

【摘要】：MapReduce是Google提出的一種分布式計(jì)算模型,已在海量數(shù)據(jù)處理領(lǐng)域得到了廣泛的應(yīng)用。提出一種基于樹型結(jié)構(gòu)的新型MapReduce并行模型。該模型適合于利用Internet或Intranet環(huán)境下不可靠的桌面PC資源進(jìn)行海量科學(xué)數(shù)據(jù)分析。該模型以P2P的形式將計(jì)算節(jié)點(diǎn)進(jìn)行組織,模型的底層采用了P2P-MPI框架,采用基于消息傳遞的模式來實(shí)現(xiàn)MapReduce應(yīng)用層。在MapReduce應(yīng)用層的實(shí)現(xiàn)中,在Map階段采用廣播的形式來分發(fā)數(shù)據(jù)塊,在Reduce階段建立反向二叉樹來實(shí)現(xiàn)有效的結(jié)果合并和化簡。將提出的MapReduce模型與現(xiàn)有主流MapReduce模型進(jìn)行了比較,結(jié)果表明,基于樹型結(jié)構(gòu)的MapReduce并行模型在容錯(cuò)性能方面具有較優(yōu)的性能,且系統(tǒng)簡單,易于應(yīng)用開發(fā)。
[Abstract]:MapReduce is a distributed computing model proposed by Google. A new MapReduce parallel model based on tree structure is proposed. This model is suitable for using unreliable desktop PC resources in Internet or Intranet environment to divide mass scientific data. The model organizes computing nodes in the form of P2P. In the bottom layer of the model, P2P-MPI framework is used to implement the MapReduce application layer. In the implementation of the MapReduce application layer, broadcast data blocks are distributed in the Map phase. In the Reduce stage, the reverse binary tree is established to realize the effective result merging and simplification. The comparison between the proposed MapReduce model and the existing mainstream MapReduce model shows that, The MapReduce parallel model based on tree structure has excellent fault-tolerant performance, and the system is simple and easy to be applied and developed.
【作者單位】： 湖南科技大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院;中國科學(xué)院計(jì)算機(jī)網(wǎng)絡(luò)信息中心;
【基金】：法國國家科研署科研項(xiàng)目(ANR-10-SEGI-001-01) 中科院百人計(jì)劃(1101002001) 湖南省自然科學(xué)基金(2015JJ3071) 湖南省教育廳一般項(xiàng)目(12C0121)資助
【分類號(hào)】：TP311.12;TP338.6

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 郎波;張博宇;;面向大數(shù)據(jù)的非結(jié)構(gòu)化數(shù)據(jù)管理平臺(tái)關(guān)鍵技術(shù)[J];信息技術(shù)與標(biāo)準(zhǔn)化;2013年10期

2 邵景峰;崔尊民;王進(jìn)富;白曉波;;大數(shù)據(jù)下紡織制造執(zhí)行系統(tǒng)的構(gòu)建[J];紡織器材;2013年06期

3 張亞楠;譚躍生;;基于MapReduce的并行遮蓋文本聚類算法[J];內(nèi)蒙古科技大學(xué)學(xué)報(bào);2013年03期

4 周國亮;朱永利;王桂蘭;;CC-MRSJ:Hadoop平臺(tái)下緩存敏感的星型聯(lián)接算法[J];電信科學(xué);2013年10期

5 王鵬;黃焱;劉峰;安俊秀;;大數(shù)據(jù)技術(shù)中計(jì)算與數(shù)據(jù)的協(xié)作機(jī)制[J];成都信息工程學(xué)院學(xué)報(bào);2014年01期

6 杜政頡;王鵬;黃焱;郎福通;;一種基于Storm編程模型的迭代Topology方案[J];成都信息工程學(xué)院學(xué)報(bào);2014年01期

7 范飛;黃文明;鄧珍榮;;Oozie工作流在Mahout分布式數(shù)據(jù)挖掘中的應(yīng)用[J];桂林電子科技大學(xué)學(xué)報(bào);2014年01期

8 丁玉成;諸葛晴鳳;沙行勉;;云計(jì)算環(huán)境下排序算法的性能分析[J];重慶大學(xué)學(xué)報(bào);2014年04期

9 喬媛媛;劉芳;凌艷;尹勁松;;云計(jì)算環(huán)境下MapReduce的資源建模與性能預(yù)測[J];北京郵電大學(xué)學(xué)報(bào);2014年S1期

10 劉瓊;趙榮;孫立堅(jiān);;Map/Reduce框架下的粗糙集空間數(shù)據(jù)挖掘改進(jìn)算法[J];測繪科學(xué);2014年05期

相關(guān)會(huì)議論文 前7條

1 喬媛媛;劉芳;凌艷;尹勁松;;云計(jì)算環(huán)境下MapReduce的資源建模與性能預(yù)測[A];2013年全國通信軟件學(xué)術(shù)會(huì)議論文集[C];2013年

2 Xiaoguang Han;Jigang Sun;Wu Qu;Xuanxia Yao;;Distributed Malware Detection based on Binary File Features in Cloud Computing Environment[A];第26屆中國控制與決策會(huì)議論文集[C];2014年

3 陳佐旗;余柏蒗;吳健平;;基于GPU通用計(jì)算的遙感數(shù)據(jù)處理——以計(jì)算地表太陽輻射值為例[A];第十八屆中國環(huán)境遙感應(yīng)用技術(shù)論壇論文集[C];2014年

4 白永超;付偉;辛陽;;基于Hadoop和Nutch的分布式搜索引擎研究與仿真[A];第十九屆全國青年通信學(xué)術(shù)年會(huì)論文集[C];2014年

5 李超越;徐國勝;;Hadoop公平調(diào)度算法的改進(jìn)[A];第十九屆全國青年通信學(xué)術(shù)年會(huì)論文集[C];2014年

6 張愷玉;陳磊;;一種基于Hadoop架構(gòu)的指揮系統(tǒng)大數(shù)據(jù)挖掘方法[A];第三屆中國指揮控制大會(huì)論文集（上冊）[C];2015年

7 朱健軍;張彤;吳哲夫;;基于權(quán)值的Hadoop調(diào)度算法改進(jìn)與實(shí)現(xiàn)[A];浙江省電子學(xué)會(huì)2014學(xué)術(shù)年會(huì)論文集[C];2014年

相關(guān)博士學(xué)位論文 前10條

1 李健;云計(jì)算環(huán)境下最小化運(yùn)營開銷的調(diào)度技術(shù)研究[D];北京郵電大學(xué);2013年

2 韓晶;大數(shù)據(jù)服務(wù)若干關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2013年

3 程祥;高效可靠的虛擬網(wǎng)絡(luò)映射技術(shù)研究[D];北京郵電大學(xué);2013年

4 李韌;基于Hadoop的大規(guī)模語義Web本體數(shù)據(jù)查詢與推理關(guān)鍵技術(shù)研究[D];重慶大學(xué);2013年

5 盧風(fēng)順;面向CPU/GPU異構(gòu)體系結(jié)構(gòu)的并行計(jì)算關(guān)鍵技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2012年

6 孫鵬;動(dòng)車組維修物聯(lián)網(wǎng)及其關(guān)鍵技術(shù)研究[D];中國鐵道科學(xué)研究院;2013年

7 肖奎;維基百科大數(shù)據(jù)的知識(shí)挖掘與管理方法研究[D];武漢大學(xué);2013年

8 程興國;仿生算法的動(dòng)態(tài)反饋機(jī)制及其并行化實(shí)現(xiàn)方法研究[D];華南理工大學(xué);2013年

9 馬馮;數(shù)據(jù)密集型計(jì)算環(huán)境下貝葉斯網(wǎng)的學(xué)習(xí)、推理及應(yīng)用[D];云南大學(xué);2013年

10 韓海雯;MapReduce計(jì)算任務(wù)調(diào)度的資源配置優(yōu)化研究[D];華南理工大學(xué);2013年

相關(guān)碩士學(xué)位論文 前10條

1 張威;并行計(jì)算中主機(jī)故障容錯(cuò)機(jī)制研究[D];電子科技大學(xué);2011年

2 吳艦;基于云存儲(chǔ)的數(shù)據(jù)流處理技術(shù)的研究[D];武漢理工大學(xué);2013年

3 陳貞;HDFS環(huán)境下的訪問控制技術(shù)研究[D];重慶大學(xué);2013年

4 張丹;HDFS中文件存儲(chǔ)優(yōu)化的相關(guān)技術(shù)研究[D];南京師范大學(xué);2013年

5 潘吳斌;基于云計(jì)算的并行K-means氣象數(shù)據(jù)挖掘研究與應(yīng)用[D];南京信息工程大學(xué);2013年

6 趙洪昌;云計(jì)算下的關(guān)聯(lián)分析和模糊聚類研究[D];南京信息工程大學(xué);2013年

7 汪洋;通信網(wǎng)云計(jì)算平臺(tái)資源調(diào)度策略與算法研究[D];南昌大學(xué);2013年

8 呂天然;基于MapReduce的可視化工作流遙感并行處理平臺(tái)及關(guān)鍵技術(shù)研究[D];河南大學(xué);2013年

9 但光祥;云計(jì)算環(huán)境下混合加密算法研究與實(shí)現(xiàn)[D];重慶大學(xué);2013年

10 周濤;基于Hadoop的遙感數(shù)字圖像處理方法研究[D];東北師范大學(xué);2013年

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 江世雄;用“樹”型結(jié)構(gòu)實(shí)現(xiàn)隱藏[J];電腦愛好者;2003年05期

2 白英彩;;一種樹型結(jié)構(gòu)的分布式計(jì)算機(jī)系統(tǒng)[J];火控技術(shù);1981年04期

3 廖文勝;用關(guān)系模型實(shí)現(xiàn)零件的樹型結(jié)構(gòu)[J];電腦與信息技術(shù);1996年06期

4 王艷平;;樹型結(jié)構(gòu)生成及逐級(jí)匯總的設(shè)計(jì)與實(shí)現(xiàn)[J];數(shù)字技術(shù)與應(yīng)用;2013年08期

5 李斌奇;FOXPRO中樹型結(jié)構(gòu)數(shù)據(jù)的顯示與管理[J];集美航海學(xué)院學(xué)報(bào);1997年01期

6 王歲花;樹型結(jié)構(gòu)的存儲(chǔ)技術(shù)研究及應(yīng)用[J];河南師范大學(xué)學(xué)報(bào)(自然科學(xué)版);2002年04期

7 楊東峰;趙前程;;樹型結(jié)構(gòu)及編程實(shí)現(xiàn)[J];科技信息(科學(xué)教研);2007年24期

8 王碩;尤楓;趙恒永;;網(wǎng)頁樹型結(jié)構(gòu)快速加載大數(shù)據(jù)量數(shù)據(jù)的實(shí)現(xiàn)[J];計(jì)算機(jī)工程與應(yīng)用;2008年27期

9 劉春和;三維三值胞腔陣列的樹型結(jié)構(gòu)[J];電子學(xué)報(bào);1982年01期

10 王一萍,袁琪;樹型結(jié)構(gòu)在題庫系統(tǒng)中的應(yīng)用[J];微機(jī)發(fā)展;2001年03期

相關(guān)會(huì)議論文 前3條

1 李楠;馬世龍;;一種基于Ajax的動(dòng)態(tài)樹型結(jié)構(gòu)的設(shè)計(jì)與實(shí)現(xiàn)[A];2007中國控制與決策學(xué)術(shù)年會(huì)論文集[C];2007年

2 王欽友;;分級(jí)控制系統(tǒng)樹型結(jié)構(gòu)模型[A];1993年控制理論及其應(yīng)用年會(huì)論文集[C];1993年

3 馮雅慧;顧寧;;基于樹型結(jié)構(gòu)的共享文檔副本的語義一致性維護(hù)[A];第二十四屆中國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2007年

相關(guān)碩士學(xué)位論文 前2條

1 馮雅慧;協(xié)同編輯環(huán)境下基于樹型結(jié)構(gòu)的鎖操作意愿維護(hù)研究[D];復(fù)旦大學(xué);2008年

2 權(quán)吉秀;自組織樹型結(jié)構(gòu)化P2P網(wǎng)絡(luò)研究與實(shí)現(xiàn)[D];重慶大學(xué);2007年

，

本文編號(hào)：1516710