【摘要】：為了預(yù)測云計算環(huán)境下的作業(yè)資源與時間消耗,根據(jù)MapReduce的資源消耗模式,量化了MapReduce作業(yè)的資源使用,提出了一種預(yù)估Hadoop的MapReduce作業(yè)的中央處理器(CPU)利用率和運行時間的模型.使用多項式回歸的方法,可以在云計算環(huán)境下,對不同配置的MapReduce作業(yè)的CPU利用率和運行時間作出預(yù)判.使用不同配置條件下CPU密集型的Hadoop基準(zhǔn)測試驗證了該模型的有效性,最后使用誤差平方和、平均絕對百分誤差、標(biāo)準(zhǔn)差和確定系數(shù)4種評估方法計算了模型預(yù)測的精準(zhǔn)度.
[Abstract]:In order to predict the resource and time consumption of jobs in cloud computing environment, according to the resource consumption mode of MapReduce, this paper quantifies the resource usage of MapReduce jobs, and proposes a model for estimating CPU utilization and running time of MapReduce jobs in Hadoop. Using polynomial regression method, the CPU utilization and running time of MapReduce jobs with different configurations can be forecasted in cloud computing environment. The validity of the model is verified by using CPU-intensive Hadoop benchmark under different configuration conditions. Finally, the accuracy of the model prediction is calculated by using four evaluation methods: the sum of square error, the average absolute percent error, the standard deviation and the determinate coefficient.
【作者單位】： 北京郵電大學(xué)信息與通信工程學(xué)院;
【基金】：國家自然科學(xué)基金項目(61072061) 國家科技重大專項項目(2012ZX03002008) 高等學(xué)校學(xué)科創(chuàng)新引智計劃項目(B08004) 中央高�；究蒲袠I(yè)務(wù)費專項資金項目(2011RC0117)
【分類號】：TP338.6

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 郎波;張博宇;;面向大數(shù)據(jù)的非結(jié)構(gòu)化數(shù)據(jù)管理平臺關(guān)鍵技術(shù)[J];信息技術(shù)與標(biāo)準(zhǔn)化;2013年10期

2 邵景峰;崔尊民;王進(jìn)富;白曉波;;大數(shù)據(jù)下紡織制造執(zhí)行系統(tǒng)的構(gòu)建[J];紡織器材;2013年06期

3 張亞楠;譚躍生;;基于MapReduce的并行遮蓋文本聚類算法[J];內(nèi)蒙古科技大學(xué)學(xué)報;2013年03期

4 周國亮;朱永利;王桂蘭;;CC-MRSJ:Hadoop平臺下緩存敏感的星型聯(lián)接算法[J];電信科學(xué);2013年10期

5 王鵬;黃焱;劉峰;安俊秀;;大數(shù)據(jù)技術(shù)中計算與數(shù)據(jù)的協(xié)作機制[J];成都信息工程學(xué)院學(xué)報;2014年01期

6 杜政頡;王鵬;黃焱;郎福通;;一種基于Storm編程模型的迭代Topology方案[J];成都信息工程學(xué)院學(xué)報;2014年01期

7 范飛;黃文明;鄧珍榮;;Oozie工作流在Mahout分布式數(shù)據(jù)挖掘中的應(yīng)用[J];桂林電子科技大學(xué)學(xué)報;2014年01期

8 丁玉成;諸葛晴鳳;沙行勉;;云計算環(huán)境下排序算法的性能分析[J];重慶大學(xué)學(xué)報;2014年04期

9 劉瓊;趙榮;孫立堅;;Map/Reduce框架下的粗糙集空間數(shù)據(jù)挖掘改進(jìn)算法[J];測繪科學(xué);2014年05期

10 孟令璽;李洪亮;;基于CA-PSO算法的云計算資源調(diào)度策略[J];計算機仿真;2013年10期

相關(guān)博士學(xué)位論文 前10條

1 李健;云計算環(huán)境下最小化運營開銷的調(diào)度技術(shù)研究[D];北京郵電大學(xué);2013年

2 韓晶;大數(shù)據(jù)服務(wù)若干關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2013年

3 程祥;高效可靠的虛擬網(wǎng)絡(luò)映射技術(shù)研究[D];北京郵電大學(xué);2013年

4 李韌;基于Hadoop的大規(guī)模語義Web本體數(shù)據(jù)查詢與推理關(guān)鍵技術(shù)研究[D];重慶大學(xué);2013年

5 盧風(fēng)順;面向CPU/GPU異構(gòu)體系結(jié)構(gòu)的并行計算關(guān)鍵技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2012年

6 孫鵬;動車組維修物聯(lián)網(wǎng)及其關(guān)鍵技術(shù)研究[D];中國鐵道科學(xué)研究院;2013年

7 肖奎;維基百科大數(shù)據(jù)的知識挖掘與管理方法研究[D];武漢大學(xué);2013年

8 程興國;仿生算法的動態(tài)反饋機制及其并行化實現(xiàn)方法研究[D];華南理工大學(xué);2013年

9 馬馮;數(shù)據(jù)密集型計算環(huán)境下貝葉斯網(wǎng)的學(xué)習(xí)、推理及應(yīng)用[D];云南大學(xué);2013年

10 韓海雯;MapReduce計算任務(wù)調(diào)度的資源配置優(yōu)化研究[D];華南理工大學(xué);2013年

相關(guān)碩士學(xué)位論文 前10條

1 楊婷;基于MapReduce的好友推薦系統(tǒng)的研究與實現(xiàn)[D];北京郵電大學(xué);2013年

2 李延光;基于Hadoop的海量工程數(shù)據(jù)處理技術(shù)研究[D];北京交通大學(xué);2013年

3 陳貞;HDFS環(huán)境下的訪問控制技術(shù)研究[D];重慶大學(xué);2013年

4 張丹;HDFS中文件存儲優(yōu)化的相關(guān)技術(shù)研究[D];南京師范大學(xué);2013年

5 潘吳斌;基于云計算的并行K-means氣象數(shù)據(jù)挖掘研究與應(yīng)用[D];南京信息工程大學(xué);2013年

6 趙洪昌;云計算下的關(guān)聯(lián)分析和模糊聚類研究[D];南京信息工程大學(xué);2013年

7 汪洋;通信網(wǎng)云計算平臺資源調(diào)度策略與算法研究[D];南昌大學(xué);2013年

8 呂天然;基于MapReduce的可視化工作流遙感并行處理平臺及關(guān)鍵技術(shù)研究[D];河南大學(xué);2013年

9 但光祥;云計算環(huán)境下混合加密算法研究與實現(xiàn)[D];重慶大學(xué);2013年

10 周濤;基于Hadoop的遙感數(shù)字圖像處理方法研究[D];東北師范大學(xué);2013年

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 李倩;;云計算與網(wǎng)格計算[J];山西電子技術(shù);2010年05期

2 賈海燕;;云計算在互動電視上的應(yīng)用[J];產(chǎn)業(yè)與科技論壇;2011年01期

3 鄭牡丹;;云計算理論初探[J];硅谷;2011年12期

4 吳吉義;傅建慶;張明西;平玲娣;;云數(shù)據(jù)管理研究綜述[J];電信科學(xué);2010年05期

5 喬文寶;;云計算應(yīng)用中的不足及改進(jìn)建議[J];電腦知識與技術(shù);2010年16期

6 袁婧;;云計算在信息技術(shù)教育教學(xué)中的應(yīng)用與展望[J];教育教學(xué)論壇;2010年18期

7 祝建武;;基于云計算的存儲服務(wù)器技術(shù)與趨勢分析[J];軟件導(dǎo)刊;2011年04期

8 朱超;;基于虛擬化技術(shù)構(gòu)建高校分布式云計算數(shù)據(jù)中心[J];武漢工程大學(xué)學(xué)報;2011年04期

9 甘鵬飛;;云環(huán)境下的個人知識管理探討[J];軟件導(dǎo)刊;2011年05期

10 郭培賢;;云計算在航空氣象領(lǐng)域的展望[J];數(shù)字技術(shù)與應(yīng)用;2011年10期

相關(guān)會議論文 前10條

1 王劍鋒;;“虛擬”豐“云”——虛擬化和云計算技術(shù)淺析[A];中國新聞技術(shù)工作者聯(lián)合會五屆一次理事會暨學(xué)術(shù)年會論文集（上篇）[C];2009年

2 涂艷麗;;云計算及在IT支撐系統(tǒng)中的應(yīng)用[A];中國通信學(xué)會第六屆學(xué)術(shù)年會論文集（上）[C];2009年

3 崔云飛;劉東;李昀;;云計算:一種新型服務(wù)計算模式[A];2008年中國高校通信類院系學(xué)術(shù)研討會論文集（下冊）[C];2009年

4 高世峰;吳迪;陳正捷;;“云計算”及其應(yīng)用研究初探[A];全國第二屆信號處理與應(yīng)用學(xué)術(shù)會議�？痆C];2008年

5 王新燕;范金剛;;初探云計算[A];兩化融合與物聯(lián)網(wǎng)發(fā)展學(xué)術(shù)研討會論文集[C];2010年

6 丁輝;趙煒妹;;基于云計算應(yīng)用一級部署的研究[A];2011電力通信管理暨智能電網(wǎng)通信技術(shù)論壇論文集[C];2011年

7 曾文英;趙躍龍;尚敏;;云計算及云存儲生態(tài)系統(tǒng)研究[A];2010年第16屆全國信息存儲技術(shù)大會（IST2010）論文集[C];2010年

8 孫巍;孫寶華;;企業(yè)云計算調(diào)研與應(yīng)用[A];中國通信學(xué)會信息通信網(wǎng)絡(luò)技術(shù)委員會2011年年會論文集（上冊）[C];2011年

9 何川;羅新華;秦虎;高彬;;云計算在裝備科研領(lǐng)域的應(yīng)用[A];2011年全國通信安全學(xué)術(shù)會議論文集[C];2011年

10 陳紅;任怡;劉曉建;;云計算平臺下計費機制研究[A];CCF NCSC 2011——第二屆中國計算機學(xué)會服務(wù)計算學(xué)術(shù)會議論文集[C];2011年

相關(guān)博士學(xué)位論文 前10條

1 陳海波;云計算平臺可信性增強技術(shù)的研究[D];復(fù)旦大學(xué);2008年

2 劉航;WMSNs在云計算中心節(jié)能減排中的關(guān)鍵技術(shù)研究[D];大連理工大學(xué);2011年

3 張小慶;基于云計算環(huán)境的資源提供優(yōu)化方法研究[D];武漢理工大學(xué);2013年

4 馮振乾;云計算數(shù)據(jù)中心的網(wǎng)絡(luò)帶寬隔離技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2012年

5 劉曉茜;云計算數(shù)據(jù)中心結(jié)構(gòu)及其調(diào)度機制研究[D];中國科學(xué)技術(shù)大學(xué);2011年

6 孫鑫;面向云環(huán)境數(shù)據(jù)中心的高效資源調(diào)度機制研究[D];北京郵電大學(xué);2012年

7 王智明;云數(shù)據(jù)中心資源調(diào)度機制研究[D];北京郵電大學(xué);2012年

8 吳吉義;基于DHT的開放對等云存儲服務(wù)系統(tǒng)研究[D];浙江大學(xué);2011年

9 楊際祥;并行與分布式計算負(fù)載均衡問題研究[D];大連理工大學(xué);2012年

10 李錚;多媒體云計算平臺關(guān)鍵技術(shù)研究[D];中國科學(xué)技術(shù)大學(xué);2011年

相關(guān)碩士學(xué)位論文 前10條

1 趙志雄;基于云計算的電信通信網(wǎng)絡(luò)關(guān)系分析技術(shù)研究與應(yīng)用[D];北京郵電大學(xué);2012年

2 柳妃妃;云計算環(huán)境下可證明數(shù)據(jù)持有技術(shù)研究[D];上海交通大學(xué);2011年

3 白超;基于并行計算的海量日志分析系統(tǒng)實現(xiàn)[D];安徽大學(xué);2013年

4 裴曉強;云計算環(huán)境下的容錯存儲技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2011年

5 張晨;云計算在IDC中的應(yīng)用與實現(xiàn)[D];北京郵電大學(xué);2012年

6 潘鈺;云計算平臺中的能耗管理方法[D];南京郵電大學(xué);2013年

7 汪楠;基于OpenStack云平臺的計算資源動態(tài)調(diào)度及管理[D];大連理工大學(xué);2013年

8 劉海平;基于主從備份的云計算容錯調(diào)度算法研究[D];浙江工商大學(xué);2010年

9 張密密;MapReduce模型在Hadoop實現(xiàn)中的性能分析及改進(jìn)優(yōu)化[D];電子科技大學(xué);2010年

10 閆新河;云計算下自主診斷與自我修復(fù)研究[D];電子科技大學(xué);2011年

，

本文編號：2134429