本文關(guān)鍵詞：MapReduce能耗建模及優(yōu)化分析

  更多相關(guān)文章： 綠色計(jì)算 任務(wù)調(diào)度 能耗建模 節(jié)能分析 數(shù)據(jù)布局

【摘要】：云計(jì)算中心規(guī)模的不斷擴(kuò)大以及設(shè)計(jì)時(shí)對能耗因素的忽略,使其日益暴露出高能耗低效率的問題.為提高M(jìn)apReduce框架能耗利用率,首先對MapReduce任務(wù)進(jìn)行了能耗建模,提出基于CPU利用率估算、主要部件能耗累加及平均功耗估算的任務(wù)能耗模型,并在此基礎(chǔ)上建立了MapReduce作業(yè)能耗模型.其次,基于能耗模型對能耗優(yōu)化進(jìn)行了分析,提出從優(yōu)化MapReduce作業(yè)執(zhí)行能耗、減少M(fèi)apReduce任務(wù)等待能耗與提高M(jìn)apReduce集群能源利用效率3個(gè)方向?qū)apReduce進(jìn)行能耗優(yōu)化.再次,提出異構(gòu)環(huán)境下的數(shù)據(jù)放置策略減小MapReduce任務(wù)等待能耗,提出截止時(shí)間約束下的最小資源分配方法提高M(jìn)apReduce作業(yè)能耗利用效率.通過大量的實(shí)驗(yàn)及能耗數(shù)據(jù)分析,驗(yàn)證了能耗模型及能耗優(yōu)化方法的有效性.
【作者單位】： 新疆財(cái)經(jīng)大學(xué)統(tǒng)計(jì)與信息學(xué)院;新疆大學(xué)軟件學(xué)院;新疆大學(xué)信息科學(xué)與工程學(xué)院;新疆醫(yī)科大學(xué)醫(yī)學(xué)工程技術(shù)學(xué)院;
【關(guān)鍵詞】： 綠色計(jì)算 任務(wù)調(diào)度 能耗建模 節(jié)能分析 數(shù)據(jù)布局
【基金】：國家自然科學(xué)基金項(xiàng)目(61562078,61262088,71261025) 新疆財(cái)經(jīng)大學(xué)博士科研啟動(dòng)基金項(xiàng)目(2015BS007)~~
【分類號】：TP311.13;TP393.09
【正文快照】： 數(shù)據(jù)的產(chǎn)生過程在經(jīng)歷被動(dòng)和主動(dòng)2種產(chǎn)生過分布式計(jì)算領(lǐng)域得到了廣泛運(yùn)用,并且已逐漸成為程后,發(fā)展到了自動(dòng)產(chǎn)生階段,預(yù)示著大數(shù)據(jù)時(shí)代的工業(yè)與學(xué)術(shù)屆事實(shí)上的海量數(shù)據(jù)并行處理標(biāo)準(zhǔn)[9].來臨.數(shù)據(jù)從簡單的處理對象開始轉(zhuǎn)變?yōu)橐环N基礎(chǔ)雖然Hadoop擁有諸多優(yōu)點(diǎn),但是和Google服務(wù)器

【參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前8條

1 宋杰;李甜甜;朱志良;鮑玉斌;于戈;;云數(shù)據(jù)管理系統(tǒng)能耗基準(zhǔn)測試與分析[J];計(jì)算機(jī)學(xué)報(bào);2013年07期

2 廖彬;于炯;張?zhí)?楊興耀;;基于分布式文件系統(tǒng)HDFS的節(jié)能算法[J];計(jì)算機(jī)學(xué)報(bào);2013年05期

3 廖彬;于炯;孫華;年梅;;基于存儲結(jié)構(gòu)重配置的分布式存儲系統(tǒng)節(jié)能算法[J];計(jì)算機(jī)研究與發(fā)展;2013年01期

4 廖彬;于炯;錢育蓉;楊興耀;;基于可用性度量的分布式文件系統(tǒng)節(jié)點(diǎn)失效恢復(fù)算法[J];計(jì)算機(jī)科學(xué);2013年01期

5 孟小峰;慈祥;;大數(shù)據(jù)管理:概念、技術(shù)與挑戰(zhàn)[J];計(jì)算機(jī)研究與發(fā)展;2013年01期

6 王意潔;孫偉東;周松;裴曉強(qiáng);李小勇;;云計(jì)算環(huán)境下的分布存儲關(guān)鍵技術(shù)[J];軟件學(xué)報(bào);2012年04期

7 林闖;田源;姚敏;;綠色網(wǎng)絡(luò)和綠色評價(jià):節(jié)能機(jī)制、模型和評價(jià)[J];計(jì)算機(jī)學(xué)報(bào);2011年04期

8 王鵬;孟丹;詹劍鋒;涂碧波;;數(shù)據(jù)密集型計(jì)算編程模型研究進(jìn)展[J];計(jì)算機(jī)研究與發(fā)展;2010年11期

【共引文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 徐青山;楊立華;;大數(shù)據(jù)對中國電子政務(wù)發(fā)展的影響及應(yīng)用[J];北京航空航天大學(xué)學(xué)報(bào)(社會科學(xué)版);2016年06期

2 孫曉;施雁;田梅梅;龔美芳;朱曉萍;吳茜;;基于信息化平臺護(hù)理管理系統(tǒng)的構(gòu)建及持續(xù)改進(jìn)[J];護(hù)理研究;2016年28期

3 黃國豪;;淺談大數(shù)據(jù)技術(shù)及其在土木工程中的應(yīng)用[J];江西建材;2016年18期

4 徐明;臧楊柳;;認(rèn)知語言學(xué)視角下的日漢句法研究再探——大數(shù)據(jù)帶來的啟示[J];江蘇外語教學(xué)研究;2016年03期

5 劉銘;張春平;楊志;張琦;;基于對象化并行計(jì)算復(fù)雜場景的解決方案[J];信息技術(shù);2016年09期

6 廖彬;張?zhí)?于炯;尹路通;郭剛;國冰磊;;MapReduce能耗建模及優(yōu)化分析[J];計(jì)算機(jī)研究與發(fā)展;2016年09期

7 張曉芳;黃曉濤;王芬;;大數(shù)據(jù)時(shí)代的本科數(shù)據(jù)挖掘課程建設(shè)[J];計(jì)算機(jī)時(shí)代;2016年09期

8 張琦;張春平;楊志;劉銘;;基于OPC框架的高效計(jì)算服務(wù)應(yīng)用[J];計(jì)算機(jī)系統(tǒng)應(yīng)用;2016年09期

9 謝怡文;;探討數(shù)據(jù)挖掘技術(shù)的研究現(xiàn)狀及發(fā)展方向[J];通訊世界;2016年17期

10 張鐵山;鄧新策;;基于上市大數(shù)據(jù)企業(yè)的經(jīng)營績效與研發(fā)投入關(guān)系研究[J];工業(yè)技術(shù)經(jīng)濟(jì);2016年09期

【二級參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 葉可江;吳朝暉;姜曉紅;何欽銘;;虛擬化云計(jì)算平臺的能耗管理[J];計(jì)算機(jī)學(xué)報(bào);2012年06期

2 張法;Antonio Fernandez Anta;王林;侯晨穎;劉志勇;;網(wǎng)絡(luò)能耗系統(tǒng)模型及能效算法[J];計(jì)算機(jī)學(xué)報(bào);2012年03期

3 李新;賈智平;鞠雷;趙衍恒;宗子良;;一種面向同構(gòu)集群系統(tǒng)的并行任務(wù)節(jié)能調(diào)度優(yōu)化方法[J];計(jì)算機(jī)學(xué)報(bào);2012年03期

4 林子雨;賴永炫;林琛;謝怡;鄒權(quán);;云數(shù)據(jù)庫研究[J];軟件學(xué)報(bào);2012年05期

5 劉晨;陸佳亮;孔令和;吳鳳剛;吳強(qiáng);伍民友;;基于軟件的無線網(wǎng)綠色代理系統(tǒng)[J];軟件學(xué)報(bào);2012年02期

6 林闖;田源;姚敏;;綠色網(wǎng)絡(luò)和綠色評價(jià):節(jié)能機(jī)制、模型和評價(jià)[J];計(jì)算機(jī)學(xué)報(bào);2011年04期

7 林闖;李寅;萬劍雄;;計(jì)算機(jī)網(wǎng)絡(luò)服務(wù)質(zhì)量優(yōu)化方法研究綜述[J];計(jì)算機(jī)學(xué)報(bào);2011年01期

8 王鵬;孟丹;詹劍鋒;涂碧波;;數(shù)據(jù)密集型計(jì)算編程模型研究進(jìn)展[J];計(jì)算機(jī)研究與發(fā)展;2010年11期

9 陳康;鄭緯民;;云計(jì)算:系統(tǒng)實(shí)例與研究現(xiàn)狀[J];軟件學(xué)報(bào);2009年05期

10 洪學(xué)海;詹劍鋒;樊建平;張志宏;;應(yīng)用驅(qū)動(dòng)的高效能計(jì)算機(jī)系統(tǒng)的研究與發(fā)展[J];計(jì)算機(jī)研究與發(fā)展;2007年10期

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 宗平;嚴(yán)金瑤;;云計(jì)算環(huán)境中服務(wù)器能耗管理機(jī)制的應(yīng)用研究[J];計(jì)算機(jī)技術(shù)與發(fā)展;2013年11期

2 袁中華;胡暉;;基于物聯(lián)網(wǎng)的通信能耗管控系統(tǒng)[J];現(xiàn)代電信科技;2012年10期

3 陳海雄;蔣多元;;能源管理技術(shù)在勘探開發(fā)云中心的應(yīng)用[J];數(shù)字技術(shù)與應(yīng)用;2014年02期

4 劉偉;崔永鋒;;復(fù)雜目標(biāo)進(jìn)化指導(dǎo)的高效網(wǎng)絡(luò)能耗指導(dǎo)[J];科技通報(bào);2014年04期

5 鞠寧;周建;;基于無線網(wǎng)絡(luò)的能耗實(shí)時(shí)監(jiān)測系統(tǒng)[J];中國水運(yùn)(下半月);2014年03期

6 鄧飛;;依托動(dòng)力環(huán)境監(jiān)控建立通信局站能耗管理體系[J];通信電源技術(shù);2009年S1期

7 王云生;于軍琪;楊柳;;大型公建能耗實(shí)時(shí)監(jiān)測及節(jié)能管理系統(tǒng)研究[J];建筑科學(xué);2009年08期

8 葉可江;吳朝暉;姜曉紅;何欽銘;;虛擬化云計(jì)算平臺的能耗管理[J];計(jì)算機(jī)學(xué)報(bào);2012年06期

9 雷成軍;羅亮;吳文峻;;基于云計(jì)算的集群能耗監(jiān)控與節(jié)能方法研究[J];計(jì)算機(jī)應(yīng)用與軟件;2011年11期

10 杜正杰;王衛(wèi)鋒;李鴻斌;;基于網(wǎng)絡(luò)技術(shù)的能耗監(jiān)管系統(tǒng)設(shè)計(jì)[J];測控技術(shù);2013年03期

中國重要會議論文全文數(shù)據(jù)庫 前1條

1 黃韌;羅記龍;;綠色通信能耗專家系統(tǒng)[A];通信電源新技術(shù)論壇2011通信電源學(xué)術(shù)研討會論文集[C];2011年

中國重要報(bào)紙全文數(shù)據(jù)庫 前10條

1 記者 張陸龍;我市推行更嚴(yán)格能耗管理制度[N];紹興日報(bào);2010年

2 通訊員 聶卿;漳澤發(fā)電分公司開展能耗評估[N];中國電力報(bào);2005年

3 本報(bào)記者 馬玲 通訊員 熊杰;管控住每一個(gè)能耗點(diǎn)[N];中國石化報(bào);2014年

4 郗海才;齊魯煉廠能耗管理效果顯著[N];中國石化報(bào);2004年

5 方彤;河南油田試油部三道防線降能耗[N];中國石化報(bào);2008年

6 本報(bào)記者 穆廣田 通訊員 賀地紅;打好“組合牌” 能耗降下來[N];中國石油報(bào);2013年

7 記者 王衍國 劉新圣;齊魯石化儲運(yùn)廠節(jié)能實(shí)現(xiàn)新突破[N];物資信息報(bào);2005年

8 薛振河;依靠科技進(jìn)步 加強(qiáng)能耗管理 建設(shè)節(jié)約型企業(yè)[N];中國航空報(bào);2006年

9 記者 余萬芳邋見習(xí)記者 魏金金;能耗不降,企業(yè)和政府領(lǐng)導(dǎo)一律“問責(zé)”[N];紹興日報(bào);2007年

10 劉楠;我國首個(gè)電廠能耗實(shí)時(shí)監(jiān)控系統(tǒng)問世[N];中國知識產(chǎn)權(quán)報(bào);2008年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前1條

1 郝亮;面向能耗優(yōu)化的云計(jì)算資源調(diào)度算法研究[D];哈爾濱工業(yè)大學(xué);2015年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 黃健剛;溫和地區(qū)高校教學(xué)樓建筑能耗定額研究[D];昆明理工大學(xué);2015年

2 尚振東;銑鏜床能耗測試與分析研究[D];哈爾濱工業(yè)大學(xué);2015年

3 孫紅艷;基于能源統(tǒng)計(jì)的山東省城鎮(zhèn)住宅建筑能耗的研究[D];重慶大學(xué);2015年

4 胡文虹;水泥廠能耗排放無線實(shí)時(shí)監(jiān)測系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];大連理工大學(xué);2015年

5 劉作鵬;建筑能耗無線監(jiān)測系統(tǒng)的研究與設(shè)計(jì)[D];大連理工大學(xué);2015年

6 柳紅日;面向SLA和負(fù)載均衡及能耗的多目標(biāo)云資源調(diào)度研究[D];哈爾濱工業(yè)大學(xué);2015年

7 張雪萊;基站能耗典型場景劃分及標(biāo)桿制定[D];北京郵電大學(xué);2015年

8 王穎;云計(jì)算平臺中的能耗優(yōu)化管理研究[D];南京郵電大學(xué);2015年

9 丁洪利;面向延遲及能耗優(yōu)化的云計(jì)算數(shù)據(jù)部署研究[D];合肥工業(yè)大學(xué);2015年

10 徐兆華;基于.NET的高校能耗系統(tǒng)研究[D];吉林大學(xué);2015年

，

本文編號：976902