本文選題：云環(huán)境 + 數(shù)據(jù)分布并行應(yīng)用��； 參考：《計(jì)算機(jī)應(yīng)用》2017年07期

【摘要】：云環(huán)境下,類似MapReduce的數(shù)據(jù)分布并行應(yīng)用被廣泛運(yùn)用。針對(duì)此類應(yīng)用執(zhí)行效率低、成本高的問(wèn)題,以Hadoop為例,首先,分析該類應(yīng)用的執(zhí)行方式,發(fā)現(xiàn)數(shù)據(jù)量、節(jié)點(diǎn)數(shù)和任務(wù)數(shù)是影響其效率的主要因素;其次,探討以上因素對(duì)應(yīng)用效率的影響;最后,通過(guò)實(shí)驗(yàn)得出在數(shù)據(jù)量一定的情況下,增加節(jié)點(diǎn)數(shù)不會(huì)明顯提高應(yīng)用的執(zhí)行效率,反而極大地增加執(zhí)行成本;當(dāng)任務(wù)數(shù)接近節(jié)點(diǎn)數(shù)時(shí),應(yīng)用的執(zhí)行效率較高、成本較低。該結(jié)論為云環(huán)境中類似MapReduce的數(shù)據(jù)分布并行應(yīng)用的效率優(yōu)化提供借鑒,并為用戶租用云資源提供參考。
[Abstract]:In cloud environment, data distribution parallel applications such as MapReduce are widely used. In order to solve the problem of low efficiency and high cost of such applications, Hadoop is taken as an example. Firstly, it is found that the amount of data, the number of nodes and the number of tasks are the main factors affecting the efficiency of Hadoop. Finally, through experiments, it is concluded that increasing the number of nodes will not obviously improve the efficiency of the application, but greatly increase the execution cost when the number of tasks is close to the number of nodes. The efficiency of the application is high and the cost is low. This conclusion provides a reference for the efficiency optimization of MapReduce similar data distribution parallel application in cloud environment, and provides a reference for users to rent cloud resources.
【作者單位】： 西北師范大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院;
【基金】：國(guó)家自然科學(xué)基金資助項(xiàng)目(61462076)~~
【分類號(hào)】：TP3

【參考文獻(xiàn)】

相關(guān)期刊論文 前7條

1 王春梅;胡玉平;易葉青;;Hadoop云計(jì)算平臺(tái)的參數(shù)優(yōu)化算法[J];華中師范大學(xué)學(xué)報(bào)(自然科學(xué)版);2016年02期

2 李千慧;魏海平;竇雪英;;基于Hadoop的排序性能優(yōu)化研究[J];電子設(shè)計(jì)工程;2016年02期

3 李立耀;趙少卡;許華榮;;基于云平臺(tái)的MapReduce性能優(yōu)化策略[J];蘭州大學(xué)學(xué)報(bào)(自然科學(xué)版);2015年05期

4 李三淼;李龍澍;;Hadoop中處理小文件的四種方法的性能分析[J];計(jì)算機(jī)工程與應(yīng)用;2016年09期

5 馮登國(guó);張敏;李昊;;大數(shù)據(jù)安全與隱私保護(hù)[J];計(jì)算機(jī)學(xué)報(bào);2014年01期

6 劉丹丹;陳俊;梁鋒;范小朋;;云計(jì)算異構(gòu)環(huán)境下Hadoop性能分析[J];集成技術(shù);2012年04期

7 丁澤柳;郭得科;申建偉;羅愛(ài)民;羅雪山;;面向云計(jì)算的數(shù)據(jù)中心網(wǎng)絡(luò)拓?fù)溲芯縖J];國(guó)防科技大學(xué)學(xué)報(bào);2011年06期

相關(guān)碩士學(xué)位論文 前1條

1 楊浩;Hadoop平臺(tái)性能優(yōu)化的研究與實(shí)現(xiàn)[D];西南交通大學(xué);2015年

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 李江;吳怡松;張怡;尚恒冉;;大數(shù)據(jù)和隱私的辯證關(guān)系[J];通訊世界;2017年14期

2 沙樂(lè)天;肖甫;陳偉;孫晶;王汝傳;;基于多屬性決策及污點(diǎn)跟蹤的大數(shù)據(jù)平臺(tái)敏感信息泄露感知方法[J];通信學(xué)報(bào);2017年07期

3 林旺群;高晨旭;陶克;鄧波;包陽(yáng);;面向特定領(lǐng)域大數(shù)據(jù)平臺(tái)架構(gòu)及標(biāo)準(zhǔn)化研究[J];大數(shù)據(jù);2017年04期

4 朱坤;黃瑞章;張娜娜;;一種基于MapReduce模型的高效頻繁項(xiàng)集挖掘算法[J];計(jì)算機(jī)科學(xué);2017年07期

5 廖軍;蔣朝惠;郭春;平源;;一種基于權(quán)重屬性熵的分類匿名算法[J];計(jì)算機(jī)科學(xué);2017年07期

6 馬生俊;陳旺虎;俞茂義;李金溶;郟文博;;云環(huán)境下影響數(shù)據(jù)分布并行應(yīng)用執(zhí)行效率的因素分析[J];計(jì)算機(jī)應(yīng)用;2017年07期

7 李漢學(xué);柳燕;;中小學(xué)“互聯(lián)網(wǎng)+校園安全”模式的創(chuàng)建[J];教學(xué)與管理;2017年19期

8 李曉龍;;基于云計(jì)算的大數(shù)據(jù)平臺(tái)信息安全對(duì)策分析[J];經(jīng)營(yíng)管理者;2017年18期

9 肖祥林;周春容;;大數(shù)據(jù)在公路工程質(zhì)量監(jiān)控中的應(yīng)用與挑戰(zhàn)[J];微型電腦應(yīng)用;2017年06期

10 張興宇;韓秋實(shí);彭寶營(yíng);;基于數(shù)控機(jī)床遠(yuǎn)程監(jiān)控技術(shù)的安全傳輸系統(tǒng)開(kāi)發(fā)[J];組合機(jī)床與自動(dòng)化加工技術(shù);2017年06期

相關(guān)碩士學(xué)位論文 前2條

1 鄧聃婷;云計(jì)算平臺(tái)的能耗優(yōu)化調(diào)度技術(shù)的研究[D];西南交通大學(xué);2016年

2 關(guān)國(guó)棟;Hadoop容錯(cuò)調(diào)度技術(shù)研究[D];西南交通大學(xué);2016年

【二級(jí)參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 李鐵;燕彩蓉;黃永鋒;宋亞龍;;面向Hadoop分布式文件系統(tǒng)的小文件存取優(yōu)化方法[J];計(jì)算機(jī)應(yīng)用;2014年11期

2 樊超;凌捷;;改善Hadoop文件處理效率的技術(shù)研究[J];微電子學(xué)與計(jì)算機(jī);2014年07期

3 孟小峰;慈祥;;大數(shù)據(jù)管理:概念、技術(shù)與挑戰(zhàn)[J];計(jì)算機(jī)研究與發(fā)展;2013年01期

4 林利;石文昌;;構(gòu)建云計(jì)算平臺(tái)的開(kāi)源軟件綜述[J];計(jì)算機(jī)科學(xué);2012年11期

5 張春明;芮建武;何婷婷;;一種Hadoop小文件存儲(chǔ)和讀取的方法[J];計(jì)算機(jī)應(yīng)用與軟件;2012年11期

6 李國(guó)杰;程學(xué)旗;;大數(shù)據(jù)研究:未來(lái)科技及經(jīng)濟(jì)社會(huì)發(fā)展的重大戰(zhàn)略領(lǐng)域——大數(shù)據(jù)的研究現(xiàn)狀與科學(xué)思考[J];中國(guó)科學(xué)院院刊;2012年06期

7 袁玉;崔超遠(yuǎn);烏云;陳祝紅;;單機(jī)下Hadoop小文件處理性能分析[J];計(jì)算機(jī)工程與應(yīng)用;2013年03期

8 代棟;周學(xué)海;楊峰;王超;;一種基于模糊推理的Hadoop異構(gòu)機(jī)群自動(dòng)配置工具[J];中國(guó)科學(xué)院研究生院學(xué)報(bào);2011年06期

9 李建江;崔健;王聃;嚴(yán)林;黃義雙;;MapReduce并行編程模型研究綜述[J];電子學(xué)報(bào);2011年11期

10 ;A Method for Trust Management in Cloud Computing: Data Coloring by Cloud Watermarking[J];International Journal of Automation & Computing;2011年03期

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 袁茵;;數(shù)據(jù)分布服務(wù)推動(dòng)了注重?cái)?shù)據(jù)的系統(tǒng)發(fā)展[J];電子技術(shù);2006年11期

2 夏軍;龐征斌;張峻;李永進(jìn);;一種基于0-1整數(shù)規(guī)劃的全局?jǐn)?shù)據(jù)分布優(yōu)化方法[J];國(guó)防科技大學(xué)學(xué)報(bào);2009年04期

3 鄭勝;郝毫毫;;基于貝努利大數(shù)定律的數(shù)據(jù)分布算法[J];計(jì)算機(jī)工程;2009年19期

4 丁瑩;幾種數(shù)據(jù)分布設(shè)計(jì)方法的比較與進(jìn)一步探討[J];計(jì)算機(jī)時(shí)代;1994年04期

5 丁瑩;幾種數(shù)據(jù)分布設(shè)計(jì)方法的探討[J];微型電腦應(yīng)用;1994年04期

6 武繼剛，龐淑萍;堆上的數(shù)據(jù)分布與堆選擇算法[J];計(jì)算技術(shù)與自動(dòng)化;1995年04期

7 陳楠;分布式數(shù)據(jù)庫(kù)系統(tǒng)數(shù)據(jù)分布策略分析[J];計(jì)算機(jī)時(shí)代;1998年10期

8 錢旭明;;數(shù)據(jù)分布規(guī)劃的數(shù)學(xué)模型[J];寧波大學(xué)學(xué)報(bào)(理工版);1992年02期

9 王于同;一種以負(fù)載平衡為目標(biāo)的分布式數(shù)據(jù)分布算法[J];杭州電子工業(yè)學(xué)院學(xué)報(bào);1995年02期

10 王秀坤,吳月堂,張盛;一種有效的數(shù)據(jù)分布算法[J];計(jì)算機(jī)工程與應(yīng)用;2000年12期

相關(guān)會(huì)議論文 前10條

1 胥永康;岳筱玲;潘澤友;;基于數(shù)據(jù)分布的勞動(dòng)力市場(chǎng)信息系統(tǒng)[A];第六屆全國(guó)計(jì)算機(jī)應(yīng)用聯(lián)合學(xué)術(shù)會(huì)議論文集[C];2002年

2 李宏;;港口企業(yè)信息系統(tǒng)數(shù)據(jù)分布技術(shù)[A];全國(guó)飛機(jī)與船舶通信導(dǎo)航學(xué)術(shù)研討會(huì)論文集（下）[C];2000年

3 陳楠;;分布式數(shù)據(jù)庫(kù)系統(tǒng)的數(shù)據(jù)分布策略研究[A];信息科學(xué)與微電子技術(shù):中國(guó)科協(xié)第三屆青年學(xué)術(shù)年會(huì)論文集[C];1998年

4 王e，

本文編號(hào)：2010446