本文選題：MapReduce模型 + 優(yōu)化算法　； 參考：《計算機科學(xué)》2014年12期

【摘要】：MapReduce已經(jīng)發(fā)展成為大數(shù)據(jù)領(lǐng)域標(biāo)準的并行計算模型。理想情況下,一個MapReduce系統(tǒng)應(yīng)該使參與計算的所有節(jié)點高度負載均衡,并且最小化空間使用率、CPU和I/O的使用時長以及網(wǎng)絡(luò)傳輸開銷。傳統(tǒng)的算法往往只針對上述指標(biāo)中的一種進行優(yōu)化。在保持算法良好并行性基礎(chǔ)上,對多個指標(biāo)同時進行優(yōu)化,提出了MapReduce優(yōu)化算法的設(shè)計規(guī)范。針對數(shù)據(jù)處理領(lǐng)域最重要的排序算法進行理論分析,給出了多指標(biāo)約束下的最后算法,并證明了該優(yōu)化算法滿足MapReduce優(yōu)化算法規(guī)范。最后通過實驗驗證了優(yōu)化的排序算法的有效性和效率。
[Abstract]:MapReduce has developed into a standard parallel computing model in the big data domain. Ideally, a MapReduce system should have a high load balance for all nodes involved in the calculation, and minimize space usage, CPU and I / O usage times and network transmission overhead. The traditional algorithms are usually optimized for one of the above indexes. On the basis of preserving the good parallelism of the algorithm, several indexes are optimized simultaneously, and the design criterion of MapReduce optimization algorithm is proposed. Based on the theoretical analysis of the most important sorting algorithm in the field of data processing, the final algorithm under multi-index constraints is presented, and it is proved that the optimization algorithm meets the MapReduce optimization criterion. Finally, the effectiveness and efficiency of the optimized sorting algorithm are verified by experiments.
【作者單位】： 北京理工大學(xué)軟件學(xué)院;
【分類號】：TP311.13

【參考文獻】

相關(guān)期刊論文 前5條

1 程興國;肖南峰;;粗粒度并行遺傳算法的MapReduce并行化實現(xiàn)[J];重慶理工大學(xué)學(xué)報(自然科學(xué));2013年10期

2 魯偉明;杜晨陽;魏寶剛;沈春輝;葉振超;;基于MapReduce的分布式近鄰傳播聚類算法[J];計算機研究與發(fā)展;2012年08期

3 亓開元;韓燕波;趙卓峰;房俊;;支持高并發(fā)數(shù)據(jù)流處理的MapReduce中間結(jié)果緩存[J];計算機研究與發(fā)展;2013年01期

4 和亮;馮登國;王蕊;蘇璞睿;應(yīng)凌云;;基于MapReduce的大規(guī)模在線社交網(wǎng)絡(luò)蠕蟲仿真[J];軟件學(xué)報;2013年07期

5 劉義;景寧;陳犖;熊偉;;MapReduce框架下基于R-樹的k-近鄰連接算法[J];軟件學(xué)報;2013年08期

【共引文獻】

相關(guān)期刊論文 前10條

1 郎波;張博宇;;面向大數(shù)據(jù)的非結(jié)構(gòu)化數(shù)據(jù)管理平臺關(guān)鍵技術(shù)[J];信息技術(shù)與標(biāo)準化;2013年10期

2 邵景峰;崔尊民;王進富;白曉波;;大數(shù)據(jù)下紡織制造執(zhí)行系統(tǒng)的構(gòu)建[J];紡織器材;2013年06期

3 張亞楠;譚躍生;;基于MapReduce的并行遮蓋文本聚類算法[J];內(nèi)蒙古科技大學(xué)學(xué)報;2013年03期

4 周國亮;朱永利;王桂蘭;;CC-MRSJ:Hadoop平臺下緩存敏感的星型聯(lián)接算法[J];電信科學(xué);2013年10期

5 王鵬;黃焱;劉峰;安俊秀;;大數(shù)據(jù)技術(shù)中計算與數(shù)據(jù)的協(xié)作機制[J];成都信息工程學(xué)院學(xué)報;2014年01期

6 杜政頡;王鵬;黃焱;郎福通;;一種基于Storm編程模型的迭代Topology方案[J];成都信息工程學(xué)院學(xué)報;2014年01期

7 范飛;黃文明;鄧珍榮;;Oozie工作流在Mahout分布式數(shù)據(jù)挖掘中的應(yīng)用[J];桂林電子科技大學(xué)學(xué)報;2014年01期

8 丁玉成;諸葛晴鳳;沙行勉;;云計算環(huán)境下排序算法的性能分析[J];重慶大學(xué)學(xué)報;2014年04期

9 喬媛媛;劉芳;凌艷;尹勁松;;云計算環(huán)境下MapReduce的資源建模與性能預(yù)測[J];北京郵電大學(xué)學(xué)報;2014年S1期

10 劉瓊;趙榮;孫立堅;;Map/Reduce框架下的粗糙集空間數(shù)據(jù)挖掘改進算法[J];測繪科學(xué);2014年05期

相關(guān)會議論文 前5條

1 喬媛媛;劉芳;凌艷;尹勁松;;云計算環(huán)境下MapReduce的資源建模與性能預(yù)測[A];2013年全國通信軟件學(xué)術(shù)會議論文集[C];2013年

2 Xiaoguang Han;Jigang Sun;Wu Qu;Xuanxia Yao;;Distributed Malware Detection based on Binary File Features in Cloud Computing Environment[A];第26屆中國控制與決策會議論文集[C];2014年

3 陳佐旗;余柏蒗;吳健平;;基于GPU通用計算的遙感數(shù)據(jù)處理——以計算地表太陽輻射值為例[A];第十八屆中國環(huán)境遙感應(yīng)用技術(shù)論壇論文集[C];2014年

4 白永超;付偉;辛陽;;基于Hadoop和Nutch的分布式搜索引擎研究與仿真[A];第十九屆全國青年通信學(xué)術(shù)年會論文集[C];2014年

5 李超越;徐國勝;;Hadoop公平調(diào)度算法的改進[A];第十九屆全國青年通信學(xué)術(shù)年會論文集[C];2014年

相關(guān)博士學(xué)位論文 前10條

1 李健;云計算環(huán)境下最小化運營開銷的調(diào)度技術(shù)研究[D];北京郵電大學(xué);2013年

2 韓晶;大數(shù)據(jù)服務(wù)若干關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2013年

3 程祥;高效可靠的虛擬網(wǎng)絡(luò)映射技術(shù)研究[D];北京郵電大學(xué);2013年

4 李韌;基于Hadoop的大規(guī)模語義Web本體數(shù)據(jù)查詢與推理關(guān)鍵技術(shù)研究[D];重慶大學(xué);2013年

5 盧風(fēng)順;面向CPU/GPU異構(gòu)體系結(jié)構(gòu)的并行計算關(guān)鍵技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2012年

6 孫鵬;動車組維修物聯(lián)網(wǎng)及其關(guān)鍵技術(shù)研究[D];中國鐵道科學(xué)研究院;2013年

7 肖奎;維基百科大數(shù)據(jù)的知識挖掘與管理方法研究[D];武漢大學(xué);2013年

8 程興國;仿生算法的動態(tài)反饋機制及其并行化實現(xiàn)方法研究[D];華南理工大學(xué);2013年

9 馬馮;數(shù)據(jù)密集型計算環(huán)境下貝葉斯網(wǎng)的學(xué)習(xí)、推理及應(yīng)用[D];云南大學(xué);2013年

10 韓海雯;MapReduce計算任務(wù)調(diào)度的資源配置優(yōu)化研究[D];華南理工大學(xué);2013年

相關(guān)碩士學(xué)位論文 前10條

1 黃國臣;護理床動作控制的個性化推薦模式研究[D];廣東工業(yè)大學(xué);2013年

2 張鑫;動態(tài)復(fù)雜網(wǎng)絡(luò)中增量式社團發(fā)現(xiàn)方法的研究與實現(xiàn)[D];西安電子科技大學(xué);2013年

3 陳貞;HDFS環(huán)境下的訪問控制技術(shù)研究[D];重慶大學(xué);2013年

4 張丹;HDFS中文件存儲優(yōu)化的相關(guān)技術(shù)研究[D];南京師范大學(xué);2013年

5 潘吳斌;基于云計算的并行K-means氣象數(shù)據(jù)挖掘研究與應(yīng)用[D];南京信息工程大學(xué);2013年

6 趙洪昌;云計算下的關(guān)聯(lián)分析和模糊聚類研究[D];南京信息工程大學(xué);2013年

7 汪洋;通信網(wǎng)云計算平臺資源調(diào)度策略與算法研究[D];南昌大學(xué);2013年

8 呂天然;基于MapReduce的可視化工作流遙感并行處理平臺及關(guān)鍵技術(shù)研究[D];河南大學(xué);2013年

9 但光祥;云計算環(huán)境下混合加密算法研究與實現(xiàn)[D];重慶大學(xué);2013年

10 周濤;基于Hadoop的遙感數(shù)字圖像處理方法研究[D];東北師范大學(xué);2013年

【二級參考文獻】

相關(guān)期刊論文 前9條

1 倪巍偉,陸介平,孫志揮;基于向量內(nèi)積不等式的分布式k均值聚類算法[J];計算機研究與發(fā)展;2005年09期

2 羅衛(wèi)敏;劉井波;劉靜;陳曉峰;;XSS蠕蟲在社交網(wǎng)絡(luò)中的傳播分析[J];計算機工程;2011年10期

3 孫鑫;劉衍珩;朱建啟;李飛鵬;;社交網(wǎng)絡(luò)蠕蟲仿真建模研究[J];計算機學(xué)報;2011年07期

4 亓開元;趙卓峰;房俊;馬強;;針對高速數(shù)據(jù)流的大規(guī)模數(shù)據(jù)實時處理方法[J];計算機學(xué)報;2012年03期

5 金澈清,錢衛(wèi)寧,周傲英;流數(shù)據(jù)分析與管理綜述[J];軟件學(xué)報;2004年08期

6 張冬冬;李建中;王偉平;郭龍江;;數(shù)據(jù)流歷史數(shù)據(jù)的存儲與聚集查詢處理算法[J];軟件學(xué)報;2005年12期

7 王躍武;荊繼武;向繼;劉琦;;拓撲相關(guān)蠕蟲仿真分析[J];軟件學(xué)報;2008年06期

8 胡晨駿;王曉蔚;;基于多核集群系統(tǒng)的并行編程模型的研究[J];計算機技術(shù)與發(fā)展;2008年04期

9 ;Local and global approaches of affinity propagation clustering for large scale data[J];Journal of Zhejiang University(Science A:An International Applied Physics & Engineering Journal);2008年10期

【相似文獻】

相關(guān)期刊論文 前10條

1 王紅梅,朱洪秀,鄭虹;一種改進的起泡排序算法及其性能分析[J];延邊大學(xué)學(xué)報(自然科學(xué)版);2001年04期

2 朱建莉,劉宏強;常用排序算法綜述[J];勝利油田師范�？茖W(xué)校學(xué)報;2002年04期

3 周海巖,郝保樹;一種新的桶分配鏈接排序算法[J];太原師范�？茖W(xué)校學(xué)報;2002年01期

4 趙忠孝;基于概率分布的排序算法(1)[J];計算機工程與應(yīng)用;2002年11期

5 趙忠孝;基于概率分布的排序算法(2)[J];計算機工程與應(yīng)用;2002年12期

6 何文明;針對任意分布數(shù)據(jù)的高效分檔混合排序算法[J];計算機工程與應(yīng)用;2003年22期

7 尤志強,張大方;數(shù)據(jù)等概率分檔排序算法有效性的定量研究[J];計算機學(xué)報;2003年01期

8 穆炯,蒲海波;對按位分段排序算法的研究[J];四川農(nóng)業(yè)大學(xué)學(xué)報;2004年01期

9 李井潤;一種基于統(tǒng)計的分段排序算法[J];微計算機應(yīng)用;2004年03期

10 曹清錄,王念平,張斌;合并排序算法的平均情形復(fù)雜性分析及其應(yīng)用[J];計算機工程;2004年21期

相關(guān)會議論文 前10條

1 周曉方;金志權(quán);;尋找最佳分布式排序算法[A];第九屆全國數(shù)據(jù)庫學(xué)術(shù)會議論文集(上)[C];1990年

2 張艷秋;李建中;;一種基于蛇型磁帶的排序算法[A];第十八屆全國數(shù)據(jù)庫學(xué)術(shù)會議論文集（研究報告篇）[C];2001年

3 劉春陽;葉君峰;母海龍;陸秋霞;陳滄;高鶯;;一種商品標(biāo)題主題詞的重要性排序算法[A];第五屆全國信息檢索學(xué)術(shù)會議論文集[C];2009年

4 于芳;王大玲;于戈;陳冬玲;鮑玉斌;;面向用戶的排序算法研究[A];第二十四屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（研究報告篇）[C];2007年

5 王少帥;湯慶新;姚路;;并行獨立集排序算法的改進與實現(xiàn)[A];第十六屆全國青年通信學(xué)術(shù)會議論文集（上）[C];2011年

6 閆潑;馬軍;陳竹敏;;面向主題的網(wǎng)頁排序算法研究[A];第三屆全國信息檢索與內(nèi)容安全學(xué)術(shù)會議論文集[C];2007年

7 張健沛;李連江;楊靜;;個性化搜索引擎排序算法的研究與改進[A];第三屆全國信息檢索與內(nèi)容安全學(xué)術(shù)會議論文集[C];2007年

8 吳志彬;陳義華;;ANP中超矩陣排序算法研究[A];2006中國控制與決策學(xué)術(shù)年會論文集[C];2006年

9 陳叢叢;石冰;陳健;;面向主題的查詢相關(guān)網(wǎng)頁排序算法[A];第三屆中國智能計算大會論文集[C];2009年

10 齊曼;張珩;;實時視覺仿真中幀連貫性應(yīng)用[A];'2000系統(tǒng)仿真技術(shù)及其應(yīng)用學(xué)術(shù)交流會論文集[C];2000年

相關(guān)重要報紙文章 前1條

1 廣東 黃陀;基本算法簡介（三）[N];電腦報;2001年

相關(guān)博士學(xué)位論文 前3條

1 趙立軍;基于歸并的高效排序算法的研究[D];中國科學(xué)院研究生院（計算技術(shù)研究所）;1998年

2 崔筠;無向基因組的移位排序算法[D];山東大學(xué);2006年

3 郝凡昌;有向基因組復(fù)合操作重組排序算法研究[D];山東大學(xué);2011年

相關(guān)碩士學(xué)位論文 前10條

1 王靖;數(shù)據(jù)庫管理系統(tǒng)中高能效排序算法[D];浙江工業(yè)大學(xué);2012年

2 尹曉;基因組移位排序算法的改進和評測[D];山東大學(xué);2006年

3 黃興;比特位拆分索引排序算法研究[D];清華大學(xué);2007年

4 Mushtaq AbdulMutalib Hasson;一種論文時間與引用兼顧的科研論文排序算法[D];華中科技大學(xué);2012年

5 劉聲田;基于第一降序小隊翻轉(zhuǎn)排序算法的設(shè)計與實現(xiàn)[D];山東大學(xué);2006年

6 曹臻;基于粗糙集的粒度排序算法[D];上海海事大學(xué);2007年

7 侯紅梅;圖像搜索重排序算法研究[D];山東大學(xué);2014年

8 徐艷霞;面向數(shù)學(xué)搜索的排序算法研究[D];蘭州大學(xué);2012年

9 張建英;稀疏正則化最小二乘排序算法[D];湖北大學(xué);2011年

10 廉潔;改進的內(nèi)容分析排序算法在搜索引擎中的研究與應(yīng)用[D];大連交通大學(xué);2013年

，

本文編號：2034082