本文關(guān)鍵詞：云數(shù)據(jù)中心軟件節(jié)能關(guān)鍵技術(shù)的研究　出處：《武漢大學(xué)》2016年博士論文　論文類型：學(xué)位論文

  更多相關(guān)文章： 云數(shù)據(jù)中心 云計(jì)算 網(wǎng)絡(luò)虛擬化 重復(fù)數(shù)據(jù)刪除 軟件節(jié)能

【摘要】：能耗問題一直是制約數(shù)據(jù)中心可持續(xù)發(fā)展的關(guān)鍵問題。特別是隨著云計(jì)算、大數(shù)據(jù)的快速發(fā)展,數(shù)據(jù)中心的規(guī)模越來越大,能耗也隨之增長。據(jù)IDC research咨詢公司提供的數(shù)據(jù)顯示：2015年我國數(shù)據(jù)中心總能耗將達(dá)到1000億kWh左右,相當(dāng)于三峽電站一年的發(fā)電量,2020年將超過2500億kWh,或?qū)⒊^當(dāng)前全球數(shù)據(jù)中心的能耗總量。因此,降低云數(shù)據(jù)中心能耗已成為一個急需解決的對于環(huán)境和經(jīng)濟(jì)發(fā)展具有重要影響的重大社會問題。如何有效應(yīng)對數(shù)據(jù)中心的能耗劇增問題?不同的研究專家分別從不同的角度展開了深入研究。本文主要討論：如何通過融合云數(shù)據(jù)中心計(jì)算虛擬化、存儲虛擬化和網(wǎng)絡(luò)虛擬化所帶來的與傳統(tǒng)數(shù)據(jù)中心不一樣的軟件能力,探索適合大規(guī)模云數(shù)據(jù)中心的軟件節(jié)能機(jī)制和系統(tǒng)原型,從IT系統(tǒng)的源頭上降低云數(shù)據(jù)中心能耗需求。主要工作和創(chuàng)新如下：(1)為了減少數(shù)據(jù)計(jì)算環(huán)節(jié)的能耗,本文分析了云數(shù)據(jù)中心負(fù)載變化規(guī)律和用戶期望完成時間變化規(guī)律。并建立起了以滿足用戶動態(tài)滿意度為中心的資源分配與調(diào)度模型一云數(shù)據(jù)中心基于用戶行為特征的資源分配策略模型。并通過一系列針對實(shí)際場景下數(shù)據(jù)的統(tǒng)計(jì)與分析,論證了該模型在云數(shù)據(jù)中心場景下的正確性。在新模型中,云數(shù)據(jù)中心的資源調(diào)度與分配策略不僅依賴負(fù)載模型,同時依賴用戶預(yù)期完成時間模型。當(dāng)系統(tǒng)預(yù)測到負(fù)載高峰即將到來時,系統(tǒng)控制中心不再是單純通知資源調(diào)度中心增加資源，，而是會同步預(yù)測用戶預(yù)期完成的時間,根據(jù)兩個函數(shù)的預(yù)測結(jié)果實(shí)時刷新資源調(diào)度與分配策略。使得系統(tǒng)在滿足用戶預(yù)期任務(wù)完成時間的前提下實(shí)現(xiàn)任務(wù)并發(fā)最大化,從而提升單位資源利用率,減少無效的資源遷移與調(diào)度能源消耗。因?yàn)楸疚难芯康姆椒ㄊ且詽M足用戶靜態(tài)SLA為上限的方法,所以該方法相對其他以固定SLA為基礎(chǔ)的資源調(diào)度算法有著更低的能耗。(2)為了減少數(shù)據(jù)存儲環(huán)節(jié)的能耗,本文系統(tǒng)地分析了云數(shù)據(jù)中心重復(fù)數(shù)據(jù)的分布規(guī)律,構(gòu)建了云數(shù)據(jù)中心的重復(fù)數(shù)據(jù)分布模型,并提出了用戶感知的高性能集群重復(fù)數(shù)據(jù)刪除存儲系統(tǒng)。在新系統(tǒng)中,重復(fù)數(shù)據(jù)刪除系統(tǒng)不再基于重復(fù)數(shù)據(jù)分布的時間局部性和空間局部性特征設(shè)計(jì),而是基于新特征一重復(fù)數(shù)據(jù)用戶局部性特征而設(shè)計(jì)。即相關(guān)度越大的兩個數(shù)據(jù)Owner之間的數(shù)據(jù)會自動劃分到同一組中,檢索重復(fù)數(shù)據(jù)時也按相關(guān)度的大小在劃定的分組內(nèi)進(jìn)行檢索。這樣,新算法中需要常駐內(nèi)存的指紋數(shù)量就不再隨著數(shù)據(jù)的線性增加而線性增加,從而解決了重復(fù)數(shù)據(jù)刪除系統(tǒng)單節(jié)點(diǎn)的性能瓶頸問題。除此之外,本文還剖析了集群重復(fù)數(shù)據(jù)刪除系統(tǒng)普遍存在重刪率、性能與可擴(kuò)展性相互競爭的“三難問題”。并通過引入虛擬節(jié)點(diǎn)和全局編址法,解決了當(dāng)前集群重復(fù)數(shù)據(jù)刪除系統(tǒng)所面臨的“三難問題”。如前所述,本文解決了重復(fù)數(shù)據(jù)刪除系統(tǒng)的性能瓶頸問題,從而為其應(yīng)用到主存場景做好了準(zhǔn)備,也為大幅度減少主存設(shè)備中的重復(fù)數(shù)據(jù),降低主存設(shè)備的能耗提供了有力支撐。(3)為了減少數(shù)據(jù)傳輸環(huán)節(jié)的能耗,本文設(shè)計(jì)了一個應(yīng)用感知的網(wǎng)絡(luò)數(shù)據(jù)傳輸模型。在該模型中,網(wǎng)絡(luò)設(shè)備不再是單純的數(shù)據(jù)轉(zhuǎn)發(fā)與復(fù)制,而是可以主動感知上層應(yīng)用軟件的數(shù)據(jù)傳輸模型,并充分利用SDN網(wǎng)絡(luò)的可編程特性,自動地進(jìn)行流量整合與優(yōu)化,減少云數(shù)據(jù)中心的東西流量,達(dá)到降低能耗的目的。本文將該模型應(yīng)用到大數(shù)據(jù)處理平臺的數(shù)據(jù)存儲系統(tǒng)中,將存儲陣列的元數(shù)據(jù)有策略地發(fā)布給SDN Controller,并動態(tài)調(diào)整OpenFlow switch的流表,由管道直接分發(fā)和重定向數(shù)據(jù),減少數(shù)據(jù)在服務(wù)器端的重復(fù)處理和在數(shù)據(jù)中心網(wǎng)絡(luò)中重復(fù)流動,休眠空閑部分網(wǎng)絡(luò)設(shè)備或鏈路,提高傳輸效能,達(dá)到節(jié)能的目的。綜上所述,本文主要圍繞數(shù)據(jù)計(jì)算、數(shù)據(jù)存儲和數(shù)據(jù)傳輸三個環(huán)節(jié)的節(jié)能減排進(jìn)行技術(shù)創(chuàng)新和突破。為降低云數(shù)據(jù)中心的能源消耗提供技術(shù)支撐。
【學(xué)位授予單位】：武漢大學(xué)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2016
【分類號】：TP308

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 ;重復(fù)數(shù)據(jù)刪除可實(shí)現(xiàn)25:1壓縮[J];每周電腦報;2007年01期

2 賈志凱;王樹鵬;陳光達(dá);彭成;;一種并行層次化的重復(fù)數(shù)據(jù)刪除技術(shù)[J];計(jì)算機(jī)研究與發(fā)展;2011年S1期

3 Eric Bassier;;應(yīng)對數(shù)據(jù)增長的重磅武器——重復(fù)數(shù)據(jù)刪除技術(shù)[J];計(jì)算機(jī)與網(wǎng)絡(luò);2013年06期

4 于丹;;昆騰進(jìn)入重復(fù)數(shù)據(jù)刪除市場[J];每周電腦報;2007年09期

5 盧敏;;“零距離”重復(fù)數(shù)據(jù)刪除[J];軟件世界;2008年11期

6 盧敏;;點(diǎn)亮“重復(fù)數(shù)據(jù)刪除”[J];軟件世界;2008年06期

7 徐立洋;;選購重復(fù)數(shù)據(jù)刪除方案 軟硬兼施剔除雞肋數(shù)據(jù)[J];中國計(jì)算機(jī)用戶;2009年08期

8 邢延剛;;刪除重復(fù)值我有妙法[J];電腦迷;2009年09期

9 李剛;;重復(fù)數(shù)據(jù)刪除走向“源頭”[J];中國計(jì)算機(jī)用戶;2009年16期

10 雷赫;;重復(fù)數(shù)據(jù)刪除技術(shù)方案選型 刪除冗余 優(yōu)化存儲[J];中國計(jì)算機(jī)用戶;2009年23期

中國重要會議論文全文數(shù)據(jù)庫 前3條

1 賈志凱;王樹鵬;陳光達(dá);彭成;;一種并行層次化的重復(fù)數(shù)據(jù)刪除技術(shù)[A];2010年第16屆全國信息存儲技術(shù)大會（IST2010）論文集[C];2010年

2 楊廷梧;;基于重復(fù)數(shù)據(jù)刪除的靶場試驗(yàn)信息存儲技術(shù)[A];2009年西部光子學(xué)學(xué)術(shù)會議論文摘要集[C];2009年

3 肖鈞;黃亮;;虛擬化搭配去重,雙劍合璧更給力[A];2011年CAD/CAM學(xué)術(shù)交流會議論文集[C];2011年

中國重要報紙全文數(shù)據(jù)庫 前10條

1 本報記者 張偉;重復(fù)數(shù)據(jù)刪除能被扶正嗎[N];中國計(jì)算機(jī)報;2008年

2 王琨月;重復(fù)數(shù)據(jù)刪除不該忽視弱點(diǎn)[N];網(wǎng)絡(luò)世界;2008年

3 本報記者 郭濤;基于硬件的重復(fù)數(shù)據(jù)刪除效率更高[N];中國計(jì)算機(jī)報;2009年

4 朱皎;重復(fù)數(shù)據(jù)刪除技術(shù)漸成主流[N];電腦商報;2009年

5 邢小萍;重復(fù)數(shù)據(jù)刪除技術(shù)漸入佳境[N];網(wǎng)絡(luò)世界;2009年

6 本報記者 刑小萍;重復(fù)數(shù)據(jù)刪除市場迎來開門紅[N];網(wǎng)絡(luò)世界;2010年

7 清水　編譯;部署重復(fù)數(shù)據(jù)刪除[N];計(jì)算機(jī)世界;2010年

8 編譯 張磊;誰在拖重復(fù)數(shù)據(jù)刪除的后腿[N];中國計(jì)算機(jī)報;2009年

9 本報記者 郭濤;重復(fù)數(shù)據(jù)刪除2.0追求“雙高”[N];中國計(jì)算機(jī)報;2012年

10 編譯 沈建苗;你果真需要重復(fù)數(shù)據(jù)刪除技術(shù)嗎[N];計(jì)算機(jī)世界;2013年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 林彬;主存儲服務(wù)系統(tǒng)中高I/O性能的重復(fù)數(shù)據(jù)刪除技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2014年

2 閻芳;重復(fù)數(shù)據(jù)刪除系統(tǒng)數(shù)據(jù)組織研究[D];北京理工大學(xué);2015年

3 周炳;海量數(shù)據(jù)的重復(fù)數(shù)據(jù)刪除中元數(shù)據(jù)管理關(guān)鍵技術(shù)研究[D];清華大學(xué);2015年

4 周景才;云數(shù)據(jù)中心軟件節(jié)能關(guān)鍵技術(shù)的研究[D];武漢大學(xué);2016年

5 王國華;高效重復(fù)數(shù)據(jù)刪除技術(shù)研究[D];華南理工大學(xué);2014年

6 王燦;基于在線重復(fù)數(shù)據(jù)消除的海量數(shù)據(jù)處理關(guān)鍵技術(shù)研究[D];電子科技大學(xué);2012年

7 付印金;面向云環(huán)境的重復(fù)數(shù)據(jù)刪除關(guān)鍵技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2013年

8 周正達(dá);信息存儲系統(tǒng)中重復(fù)數(shù)據(jù)刪除技術(shù)的研究[D];華中科技大學(xué);2012年

9 楊天明;網(wǎng)絡(luò)備份中重復(fù)數(shù)據(jù)刪除技術(shù)研究[D];華中科技大學(xué);2010年

10 朱銳;重復(fù)數(shù)據(jù)刪除技術(shù)中的并行性能優(yōu)化算法研究[D];華中科技大學(xué);2013年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 張明月;客戶端加密重復(fù)數(shù)據(jù)刪除機(jī)制的研究[D];西安電子科技大學(xué);2014年

2 黃可;重復(fù)數(shù)據(jù)可刪除的云數(shù)據(jù)審計(jì)協(xié)議的研究[D];電子科技大學(xué);2015年

3 王振宇;安全云存儲中重復(fù)數(shù)據(jù)刪除機(jī)制研究[D];南京郵電大學(xué);2015年

4 李志然;云存儲中集群重復(fù)數(shù)據(jù)刪除系統(tǒng)的研究與設(shè)計(jì)[D];東北大學(xué);2014年

5 張宏亮;重復(fù)數(shù)據(jù)刪除技術(shù)在云存儲中的應(yīng)用與實(shí)現(xiàn)[D];華中科技大學(xué);2014年

6 曹秀秀;面向XML相似性重復(fù)數(shù)據(jù)的清洗方法研究[D];首都經(jīng)濟(jì)貿(mào)易大學(xué);2016年

7 彭健;基于重復(fù)數(shù)據(jù)刪除的教育資源管理系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2016年

8 陳琳;基于存儲系統(tǒng)的重復(fù)數(shù)據(jù)刪除技術(shù)的研究[D];南京郵電大學(xué);2016年

9 涂群;云存儲系統(tǒng)中重復(fù)數(shù)據(jù)刪除機(jī)制的研究[D];南京郵電大學(xué);2016年

10 曲新奎;云存儲中數(shù)據(jù)編碼優(yōu)化和重復(fù)數(shù)據(jù)刪除技術(shù)研究[D];東北大學(xué);2013年

本文編號：1318470