基于機(jī)器學(xué)習(xí)特性的數(shù)據(jù)中心能耗優(yōu)化方法
本文選題:節(jié)能 + 分布式計(jì)算; 參考:《軟件學(xué)報(bào)》2014年07期
【摘要】:隨著互聯(lián)網(wǎng)的發(fā)展,各種類(lèi)型的數(shù)據(jù)呈爆炸式增長(zhǎng).通過(guò)機(jī)器學(xué)習(xí)的方法對(duì)大量數(shù)據(jù)進(jìn)行實(shí)時(shí)或離線(xiàn)的分析,獲取規(guī)律性信息,已成為各行業(yè)提升決策準(zhǔn)確性的重要途徑.因此,這些機(jī)器學(xué)習(xí)算法成為各個(gè)數(shù)據(jù)中心運(yùn)行的主要應(yīng)用.然而,隨著數(shù)據(jù)規(guī)模的增大和數(shù)據(jù)中心面臨的能耗問(wèn)題的突出,如何實(shí)現(xiàn)這些算法的低功耗處理,已成為實(shí)現(xiàn)綠色數(shù)據(jù)中心亟待解決的關(guān)鍵問(wèn)題之一.為了實(shí)現(xiàn)對(duì)這些機(jī)器算法的綠色計(jì)算,首先對(duì)運(yùn)行在數(shù)據(jù)中心中的關(guān)鍵算法進(jìn)行了深入的分析,并觀察到在這些算法中存在大量的冗余計(jì)算.在此基礎(chǔ)上,設(shè)計(jì)和實(shí)現(xiàn)了一種面向數(shù)據(jù)中心典型應(yīng)用的低功耗調(diào)度策略.該算法通過(guò)對(duì)不同計(jì)算部分的輸入數(shù)據(jù)進(jìn)行匹配來(lái)判斷計(jì)算過(guò)程中的冗余部分,并對(duì)算法進(jìn)行調(diào)度.實(shí)驗(yàn)數(shù)據(jù)顯示,對(duì)于數(shù)據(jù)中心的兩種典型應(yīng)用k-means和PageRank,該算法可以實(shí)現(xiàn)23%和17%的能耗節(jié)約.
[Abstract]:With the development of the Internet, various types of data are explosive growth. It has become an important way to improve the accuracy of decision making by analyzing a large number of data in real time or offline through machine learning to obtain regular information. Therefore, these machine learning algorithms become the main application of each data center. However, with the increase of data scale and the outstanding problem of energy consumption faced by data center, how to realize the low power processing of these algorithms has become one of the key problems to be solved urgently in the realization of green data center. In order to realize the green computing of these machine algorithms, the key algorithms running in the data center are analyzed deeply, and a large number of redundant calculations are observed in these algorithms. On this basis, a low power scheduling strategy for typical data center applications is designed and implemented. By matching the input data of different computing parts, the algorithm determines the redundant parts in the calculation process, and schedules the algorithm. Experimental data show that the algorithm can save 23% and 17% energy consumption for two typical data center applications: k-means and Page Rank.
【作者單位】: 復(fù)旦大學(xué)計(jì)算機(jī)科學(xué)技術(shù)學(xué)院;
【基金】:上海市科委科技攻關(guān)項(xiàng)目(13DZ1108800) 國(guó)家自然科學(xué)基金(61370081) 國(guó)家高技術(shù)研究發(fā)展計(jì)劃(863)(2012AA010901)
【分類(lèi)號(hào)】:TP18;TP308
【相似文獻(xiàn)】
相關(guān)期刊論文 前10條
1 秦麗;;天獅集團(tuán) 數(shù)據(jù)中心搬遷倒計(jì)時(shí)[J];信息方略;2010年12期
2 ;技術(shù)+規(guī)劃=成功——惠普亞特蘭大數(shù)據(jù)中心整合[J];每周電腦報(bào);1999年48期
3 ;24×7成功法則——簡(jiǎn)述263首都在線(xiàn)數(shù)據(jù)中心建設(shè)[J];每周電腦報(bào);2000年50期
4 胡維浩;淺談數(shù)據(jù)中心的安全運(yùn)行管理[J];華南金融電腦;2002年10期
5 ;讓你的機(jī)架式設(shè)備不再“發(fā)高燒”[J];數(shù)碼世界;2005年03期
6 N博士;數(shù)據(jù)中心要降溫更要節(jié)能[J];中國(guó)計(jì)算機(jī)用戶(hù);2005年42期
7 N博士;;機(jī)房布設(shè)需長(zhǎng)遠(yuǎn)規(guī)劃[J];中國(guó)計(jì)算機(jī)用戶(hù);2006年30期
8 王志欣;;編好一個(gè)“籃子”[J];軟件世界;2006年22期
9 宿建光;;把握企業(yè)計(jì)算未來(lái) HP顛覆IT經(jīng)濟(jì)[J];通信世界;2006年45期
10 宿建光;;Radware幫助數(shù)據(jù)中心實(shí)現(xiàn)“節(jié)能環(huán)!盵J];通信世界;2007年13期
相關(guān)會(huì)議論文 前10條
1 謝信耐;;以信息化促進(jìn)體院管理改革——構(gòu)建數(shù)據(jù)中心的設(shè)想[A];第七屆全國(guó)體育科學(xué)大會(huì)論文摘要匯編(二)[C];2004年
2 丁豪;;數(shù)據(jù)中心高可靠性供電方案研究[A];土木建筑學(xué)術(shù)文庫(kù)(第15卷)[C];2011年
3 王永明;李興林;;船舶遠(yuǎn)程識(shí)別與跟蹤系統(tǒng)的發(fā)展與應(yīng)用[A];第五屆衛(wèi)星通信新業(yè)務(wù)新技術(shù)學(xué)術(shù)年會(huì)暨衛(wèi)星通信系統(tǒng)網(wǎng)間互聯(lián)互通與接口標(biāo)準(zhǔn)研討會(huì)論文集[C];2009年
4 王];;行業(yè)統(tǒng)一數(shù)據(jù)中心在吉林煙草的實(shí)踐[A];華北、東北地區(qū)2007年度煙草學(xué)術(shù)交流研討會(huì)論文集[C];2007年
5 ;美國(guó)Airflow數(shù)據(jù)中心專(zhuān)用空調(diào)機(jī)[A];全國(guó)暖通空調(diào)制冷1996年學(xué)術(shù)年會(huì)資料集[C];1996年
6 鄧?yán)?;淺談數(shù)據(jù)中心的信息安全管理策略[A];網(wǎng)絡(luò)安全技術(shù)的開(kāi)發(fā)應(yīng)用學(xué)術(shù)會(huì)議論文集[C];2002年
7 王新峰;;淺談數(shù)據(jù)中心建設(shè)和商務(wù)智能(BI)的開(kāi)發(fā)與實(shí)施[A];河南省煙草學(xué)會(huì)2008年學(xué)術(shù)交流獲獎(jiǎng)?wù)撐募ㄉ希C];2008年
8 孫壯志;;基于信息集成的數(shù)據(jù)中心的實(shí)現(xiàn)[A];中國(guó)煙草行業(yè)信息化研討會(huì)論文集[C];2004年
9 劉圣慶;;提高數(shù)據(jù)中心機(jī)房安全可靠探討[A];通信電源新技術(shù)論壇——2008通信電源學(xué)術(shù)研討會(huì)論文集[C];2008年
10 王其英;;通信行業(yè)數(shù)據(jù)機(jī)房建設(shè)新概念[A];中國(guó)石油石化工程技術(shù)和物裝手冊(cè)(第二分冊(cè))[C];2003年
相關(guān)重要報(bào)紙文章 前10條
1 ;數(shù)據(jù)中心在變化[N];計(jì)算機(jī)世界;2004年
2 鄭燃;數(shù)據(jù)中心綠色蛻變[N];政府采購(gòu)信息報(bào);2008年
3 馬磊;綠色數(shù)據(jù)中心不能光說(shuō)不練[N];政府采購(gòu)信息報(bào);2008年
4 本報(bào)記者 劉洪宇;嘉實(shí)基金打造高端數(shù)據(jù)中心[N];中國(guó)計(jì)算機(jī)報(bào);2008年
5 本報(bào)記者 吳玉征;萬(wàn)和證券數(shù)據(jù)中心節(jié)能故事[N];計(jì)算機(jī)世界;2009年
6 電腦商報(bào)記者 祁萌;數(shù)據(jù)中心面臨的挑戰(zhàn)依然存在[N];電腦商報(bào);2010年
7 本報(bào)記者 于翔;數(shù)據(jù)中心向云擴(kuò)展[N];網(wǎng)絡(luò)世界;2010年
8 本報(bào)記者 胡英;新一代數(shù)據(jù)中心引發(fā)交換機(jī)變革[N];計(jì)算機(jī)世界;2010年
9 本報(bào)記者 郭濤;數(shù)據(jù)中心的“瘦身”良方[N];中國(guó)計(jì)算機(jī)報(bào);2008年
10 張靜;構(gòu)建新一代數(shù)據(jù)中心中國(guó)數(shù)據(jù)中心用戶(hù)大會(huì)召開(kāi)[N];中國(guó)計(jì)算機(jī)報(bào);2008年
相關(guān)博士學(xué)位論文 前10條
1 張鵬;數(shù)據(jù)中心網(wǎng)絡(luò)的流量管理和優(yōu)化問(wèn)題研究[D];北京郵電大學(xué);2013年
2 陳輝;基于虛擬化環(huán)境的數(shù)據(jù)中心節(jié)能管理技術(shù)研究[D];北京郵電大學(xué);2012年
3 黃鑫;可擴(kuò)展的數(shù)據(jù)中心網(wǎng)絡(luò)互聯(lián)關(guān)鍵技術(shù)研究[D];武漢大學(xué);2014年
4 趙威;電網(wǎng)數(shù)據(jù)中心的數(shù)據(jù)安全問(wèn)題研究[D];燕山大學(xué);2011年
5 孫鑫;面向云環(huán)境數(shù)據(jù)中心的高效資源調(diào)度機(jī)制研究[D];北京郵電大學(xué);2012年
6 夏純中;云存儲(chǔ)多數(shù)據(jù)中心QoS保障機(jī)制研究[D];江蘇大學(xué);2014年
7 曹家鑫;數(shù)據(jù)中心中的一種可擴(kuò)展和高效的可靠組數(shù)據(jù)傳輸方法[D];中國(guó)科學(xué)技術(shù)大學(xué);2013年
8 王智明;云數(shù)據(jù)中心資源調(diào)度機(jī)制研究[D];北京郵電大學(xué);2012年
9 劉曉茜;云計(jì)算數(shù)據(jù)中心結(jié)構(gòu)及其調(diào)度機(jī)制研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2011年
10 馮振乾;云計(jì)算數(shù)據(jù)中心的網(wǎng)絡(luò)帶寬隔離技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2012年
相關(guān)碩士學(xué)位論文 前10條
1 后國(guó)超;基于Web的醫(yī)療數(shù)據(jù)交換中心的設(shè)計(jì)與實(shí)現(xiàn)[D];大連理工大學(xué);2004年
2 魏金強(qiáng);多維分析技術(shù)在教務(wù)管理系統(tǒng)中的應(yīng)用與研究[D];北方工業(yè)大學(xué);2006年
3 何煜翔;銀行數(shù)據(jù)中心災(zāi)難恢復(fù)系統(tǒng)研究與實(shí)踐[D];上海交通大學(xué);2007年
4 夏東盛;高職數(shù)字化校園的設(shè)計(jì)與實(shí)現(xiàn)[D];華東師范大學(xué);2008年
5 朱應(yīng)國(guó);基于VRRP高可靠性數(shù)據(jù)中心的應(yīng)用研究與實(shí)踐[D];江南大學(xué);2009年
6 董鳳江;煙草貿(mào)易數(shù)據(jù)中心系統(tǒng)研究[D];上海交通大學(xué);2008年
7 謝紅濤;電力企業(yè)數(shù)據(jù)中心的架構(gòu)設(shè)計(jì)研究[D];復(fù)旦大學(xué);2009年
8 李宇平;AVIDM系統(tǒng)中若干問(wèn)題的研究[D];上海交通大學(xué);2008年
9 張琦;電信企業(yè)數(shù)據(jù)中心的設(shè)計(jì)與實(shí)現(xiàn)[D];西安電子科技大學(xué);2010年
10 張玢;云計(jì)算在電力企業(yè)數(shù)據(jù)中心的研究與應(yīng)用[D];華北電力大學(xué);2013年
,本文編號(hào):1860221
本文鏈接:http://sikaile.net/kejilunwen/jisuanjikexuelunwen/1860221.html