發(fā)布時(shí)間：2019-01-17 20:30

【摘要】：越來越多的MapReduce計(jì)算由運(yùn)行在云中虛擬機(jī)組成的虛擬集群完成,為增強(qiáng)虛擬MapReduce集群計(jì)算中任務(wù)的數(shù)據(jù)本地性,充分利用云計(jì)算的資源可動(dòng)態(tài)配置的優(yōu)勢(shì),提出了一種基于隊(duì)列的動(dòng)態(tài)資源調(diào)度算法,并模擬了云計(jì)算平臺(tái)進(jìn)行測(cè)試,實(shí)驗(yàn)結(jié)果表明動(dòng)態(tài)資源調(diào)度算法提高了虛擬MapReduce集群的計(jì)算性能.
[Abstract]:More and more MapReduce computing is accomplished by a virtual cluster of virtual machines running in the cloud. In order to enhance the data locality of tasks in virtual MapReduce cluster computing, the resources of cloud computing can be dynamically configured. A dynamic resource scheduling algorithm based on queue is proposed and tested on cloud computing platform. The experimental results show that the dynamic resource scheduling algorithm improves the computing performance of virtual MapReduce cluster.
【作者單位】： 空軍工程大學(xué)信息與導(dǎo)航學(xué)院;
【基金】：陜西省自然科學(xué)基金項(xiàng)目(2011JM8035)
【分類號(hào)】：TP393.01

【參考文獻(xiàn)】

相關(guān)期刊論文 前1條

1 李明;胥光輝;戢瑤;;MapReduce編程模型在網(wǎng)絡(luò)I/O密集型程序中的應(yīng)用研究[J];計(jì)算機(jī)應(yīng)用研究;2011年09期

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 郎波;張博宇;;面向大數(shù)據(jù)的非結(jié)構(gòu)化數(shù)據(jù)管理平臺(tái)關(guān)鍵技術(shù)[J];信息技術(shù)與標(biāo)準(zhǔn)化;2013年10期

2 邵景峰;崔尊民;王進(jìn)富;白曉波;;大數(shù)據(jù)下紡織制造執(zhí)行系統(tǒng)的構(gòu)建[J];紡織器材;2013年06期

3 張亞楠;譚躍生;;基于MapReduce的并行遮蓋文本聚類算法[J];內(nèi)蒙古科技大學(xué)學(xué)報(bào);2013年03期

4 周國(guó)亮;朱永利;王桂蘭;;CC-MRSJ:Hadoop平臺(tái)下緩存敏感的星型聯(lián)接算法[J];電信科學(xué);2013年10期

5 王鵬;黃焱;劉峰;安俊秀;;大數(shù)據(jù)技術(shù)中計(jì)算與數(shù)據(jù)的協(xié)作機(jī)制[J];成都信息工程學(xué)院學(xué)報(bào);2014年01期

6 杜政頡;王鵬;黃焱;郎福通;;一種基于Storm編程模型的迭代Topology方案[J];成都信息工程學(xué)院學(xué)報(bào);2014年01期

7 范飛;黃文明;鄧珍榮;;Oozie工作流在Mahout分布式數(shù)據(jù)挖掘中的應(yīng)用[J];桂林電子科技大學(xué)學(xué)報(bào);2014年01期

8 丁玉成;諸葛晴鳳;沙行勉;;云計(jì)算環(huán)境下排序算法的性能分析[J];重慶大學(xué)學(xué)報(bào);2014年04期

9 孟令璽;李洪亮;;基于CA-PSO算法的云計(jì)算資源調(diào)度策略[J];計(jì)算機(jī)仿真;2013年10期

10 夏秀峰;趙小磊;孔慶云;;MBE與大數(shù)據(jù)給PDM帶來的思考[J];制造業(yè)自動(dòng)化;2013年20期

相關(guān)會(huì)議論文 前1條

1 華中杰;徐錫山;楊樹強(qiáng);田勝利;;MapReduce本地優(yōu)先作業(yè)調(diào)度策略研究與實(shí)現(xiàn)[A];第九屆中國(guó)通信學(xué)會(huì)學(xué)術(shù)年會(huì)論文集[C];2012年

相關(guān)博士學(xué)位論文 前10條

1 李健;云計(jì)算環(huán)境下最小化運(yùn)營(yíng)開銷的調(diào)度技術(shù)研究[D];北京郵電大學(xué);2013年

2 韓晶;大數(shù)據(jù)服務(wù)若干關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2013年

3 程祥;高效可靠的虛擬網(wǎng)絡(luò)映射技術(shù)研究[D];北京郵電大學(xué);2013年

4 李韌;基于Hadoop的大規(guī)模語義Web本體數(shù)據(jù)查詢與推理關(guān)鍵技術(shù)研究[D];重慶大學(xué);2013年

5 盧風(fēng)順;面向CPU/GPU異構(gòu)體系結(jié)構(gòu)的并行計(jì)算關(guān)鍵技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2012年

6 孫鵬;動(dòng)車組維修物聯(lián)網(wǎng)及其關(guān)鍵技術(shù)研究[D];中國(guó)鐵道科學(xué)研究院;2013年

7 肖奎;維基百科大數(shù)據(jù)的知識(shí)挖掘與管理方法研究[D];武漢大學(xué);2013年

8 程興國(guó);仿生算法的動(dòng)態(tài)反饋機(jī)制及其并行化實(shí)現(xiàn)方法研究[D];華南理工大學(xué);2013年

9 馬馮;數(shù)據(jù)密集型計(jì)算環(huán)境下貝葉斯網(wǎng)的學(xué)習(xí)、推理及應(yīng)用[D];云南大學(xué);2013年

10 韓海雯;MapReduce計(jì)算任務(wù)調(diào)度的資源配置優(yōu)化研究[D];華南理工大學(xué);2013年

相關(guān)碩士學(xué)位論文 前10條

1 王娜;云計(jì)算在素性檢測(cè)中的應(yīng)用[D];成都理工大學(xué);2012年

2 陳貞;HDFS環(huán)境下的訪問控制技術(shù)研究[D];重慶大學(xué);2013年

3 張丹;HDFS中文件存儲(chǔ)優(yōu)化的相關(guān)技術(shù)研究[D];南京師范大學(xué);2013年

4 潘吳斌;基于云計(jì)算的并行K-means氣象數(shù)據(jù)挖掘研究與應(yīng)用[D];南京信息工程大學(xué);2013年

5 趙洪昌;云計(jì)算下的關(guān)聯(lián)分析和模糊聚類研究[D];南京信息工程大學(xué);2013年

6 汪洋;通信網(wǎng)云計(jì)算平臺(tái)資源調(diào)度策略與算法研究[D];南昌大學(xué);2013年

7 呂天然;基于MapReduce的可視化工作流遙感并行處理平臺(tái)及關(guān)鍵技術(shù)研究[D];河南大學(xué);2013年

8 但光祥;云計(jì)算環(huán)境下混合加密算法研究與實(shí)現(xiàn)[D];重慶大學(xué);2013年

9 周濤;基于Hadoop的遙感數(shù)字圖像處理方法研究[D];東北師范大學(xué);2013年

10 程偉;海量信令并行即時(shí)分析系統(tǒng)的研究與設(shè)計(jì)[D];中國(guó)海洋大學(xué);2013年

【二級(jí)參考文獻(xiàn)】

相關(guān)期刊論文 前4條

1 欒亞建;黃爛，

本文編號(hào)：2410359