本文關(guān)鍵詞：面向數(shù)據(jù)中心的能耗同比性關(guān)鍵技術(shù)研究

  更多相關(guān)文章： 數(shù)據(jù)中心 能耗同比性 磁盤存儲系統(tǒng) 服務(wù)器集群

【摘要】：信息時(shí)代的發(fā)展使得越來越多的數(shù)據(jù)需要被存儲以及處理,導(dǎo)致數(shù)據(jù)中心的數(shù)量以及規(guī)模越來越大。數(shù)據(jù)中心數(shù)量與規(guī)模的不斷擴(kuò)大使得其能耗開銷也快速上升(當(dāng)前數(shù)據(jù)中心能耗開銷已占數(shù)據(jù)中心每月運(yùn)行總開銷四分之一以上)。但是,由于數(shù)據(jù)中心并不是持續(xù)處于高負(fù)載狀態(tài),因此研究者提出了“能耗同比性”設(shè)想,即數(shù)據(jù)中心的能耗與其所承擔(dān)負(fù)載成正比例關(guān)系。如果系統(tǒng)負(fù)載低,我們可以關(guān)閉部分服務(wù)器來降低能耗；如果系統(tǒng)負(fù)載高,則可以開啟大部分服務(wù)器保證性能。如果能夠?qū)崿F(xiàn)數(shù)據(jù)中心能耗同比性,則預(yù)期可以極大地節(jié)約數(shù)據(jù)中心能耗開銷。因此,數(shù)據(jù)中心的能耗同比性技術(shù)具有十分重要的研究意義,也成為近年來的一個(gè)研究熱點(diǎn)。 數(shù)據(jù)中心通常包含了由多個(gè)服務(wù)器構(gòu)成的集群系統(tǒng),并且使用了磁盤陣列等存儲設(shè)備。因此,本文著重圍繞數(shù)據(jù)中心的集群架構(gòu)和磁盤陣列存儲這兩個(gè)方面展開能耗同比性研究。論文著重研究了數(shù)據(jù)中心能耗同比性控制中的兩個(gè)關(guān)鍵問題：存儲設(shè)備能耗同比性與服務(wù)器集群能耗同比性。在存儲設(shè)備能耗同比性方面,我們研究了如何根據(jù)文件訪問負(fù)載的變化動態(tài)切換磁盤電源狀態(tài)以實(shí)現(xiàn)節(jié)能的問題。由于數(shù)據(jù)中心文件訪問請求具有傾斜性,即絕大部分文件訪問請求針對少部分文件,因此我們對冷熱文件分別進(jìn)行存儲,從而使得存放冷文件的存儲設(shè)備可以在恰當(dāng)時(shí)機(jī)切換到休眠狀態(tài)。在服務(wù)器集群能耗同比性方面,我們研究基于服務(wù)器集群負(fù)載變化的節(jié)點(diǎn)電源控制和任務(wù)調(diào)度技術(shù)。Google等企業(yè)的實(shí)踐表明,數(shù)據(jù)中心負(fù)載在大多數(shù)情況下是較低的,只有在高峰期才需要用到全部服務(wù)器資源。因此我們設(shè)計(jì)了一種服務(wù)器集群負(fù)載及電源調(diào)度策略,使得在保證性能前提下能夠根據(jù)負(fù)載情況動態(tài)調(diào)整服務(wù)器節(jié)點(diǎn)電源狀態(tài)是必要的。 本文的主要貢獻(xiàn)可總結(jié)為下面兩點(diǎn)： (1)提出了一種基于冷熱分組和動態(tài)文件重組策略的磁盤存儲系統(tǒng)節(jié)能控制方法。該方法根據(jù)文件訪問歷史將全部磁盤劃分成一個(gè)冷磁盤組與一個(gè)熱磁盤組。通過在冷熱磁盤組之間進(jìn)行文件遷移交換操作,將熱文件集中存放在熱磁盤組上,從而可以將冷磁盤組電源關(guān)閉以降低存儲系統(tǒng)能耗。為了降低冷熱磁盤組之間的遷移操作,我們設(shè)計(jì)了一種可以可以根據(jù)文件訪問模式的變化動態(tài)進(jìn)行磁盤文件重組的方法。我們引入了熱文件訪問率和熱磁盤訪問率來度量文件訪問模式的變化度,并基于變化度來決定是否執(zhí)行文件重組操作。我們在9個(gè)仿真trace和2個(gè)真實(shí)trace上開展了實(shí)驗(yàn)。結(jié)果表明,我們的方法在取得與現(xiàn)有方法相當(dāng)?shù)臅r(shí)間性能的基礎(chǔ)上,可以有效地節(jié)約能耗。 (2)提出了一種基于負(fù)載預(yù)測的服務(wù)器集群能耗同比性控制方法。我們在一個(gè)時(shí)間窗口內(nèi)采樣服務(wù)器集群負(fù)載信息,然后通過時(shí)間線性序列擬合算法找出負(fù)載變化的關(guān)鍵點(diǎn),并使用最小二乘法對關(guān)鍵點(diǎn)進(jìn)行線性擬合,然后根據(jù)擬合結(jié)果以及當(dāng)前負(fù)載信息來預(yù)測下一個(gè)時(shí)間窗口的服務(wù)器集群負(fù)載情況,進(jìn)而改變服務(wù)器的電源調(diào)度策略,實(shí)現(xiàn)服務(wù)器集群的能耗同比性。我們構(gòu)建了一個(gè)模擬服務(wù)器集群負(fù)載變化和能耗同比控制的原型系統(tǒng)進(jìn)行性能測試。在10個(gè)節(jié)點(diǎn)組成的仿真環(huán)境測試結(jié)果表明,我們的方法相對于無節(jié)能措施下的服務(wù)器集群在能耗和性能方面均取得了明顯的改進(jìn)。
【關(guān)鍵詞】：數(shù)據(jù)中心 能耗同比性 磁盤存儲系統(tǒng) 服務(wù)器集群
【學(xué)位授予單位】：中國科學(xué)技術(shù)大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2014
【分類號】：TP308
【目錄】：

• 摘要5-7
• Abstract7-12
• 圖表目錄12-14
• 第一章 緒論14-22
• 1.1 研究背景與意義14-16
• 1.2 國內(nèi)外研究現(xiàn)狀16-19
• 1.2.1 能耗同比性17
• 1.2.2 相關(guān)工作概述17-19
• 1.3 本文研究內(nèi)容與主要貢獻(xiàn)19
• 1.4 本文的組織結(jié)構(gòu)19-22
• 第二章 國內(nèi)外相關(guān)工作22-34
• 2.1 能耗同比性概述22-23
• 2.2 存儲設(shè)備能耗同比性23-28
• 2.2.1 冷熱數(shù)據(jù)判定的方法24-25
• 2.2.2 數(shù)據(jù)在存儲設(shè)備上的分配25-26
• 2.2.3 存儲設(shè)備電源調(diào)度策略26-28
• 2.3 服務(wù)器集群的能耗同比性28-31
• 2.3.1 服務(wù)器集群負(fù)載量化方法28-29
• 2.3.2 服務(wù)器集群負(fù)載預(yù)測方法29-30
• 2.3.3 服務(wù)器集群電源調(diào)度策略30-31
• 2.4 本章小結(jié)31-34
• 第三章 存儲設(shè)備的能耗同比性34-58
• 3.1 引言34-35
• 3.2 基于熱度感知和分組策略的存儲系統(tǒng)模型35-43
• 3.2.1 系統(tǒng)模型35-37
• 3.2.2 熱文件判定37-38
• 3.2.3 熱磁盤選擇38-43
• 3.3 按需文件重組算法43-44
• 3.4 實(shí)驗(yàn)驗(yàn)證44-56
• 3.4.0 實(shí)驗(yàn)設(shè)置44-46
• 3.4.1 負(fù)載46-47
• 3.4.2 熱磁盤選擇的自適應(yīng)性47-48
• 3.4.3 文件重組的有效性48-49
• 3.4.4 節(jié)能效果49-51
• 3.4.5 時(shí)間性能51-53
• 3.4.6 參數(shù)tp與δ的影響53-56
• 3.4.7 不同I/O請求類型的影響56
• 3.5 本章小結(jié)56-58
• 第四章 服務(wù)器集群的能耗同比性58-66
• 4.1 引言58
• 4.2 服務(wù)器集群系統(tǒng)負(fù)載的量化58-59
• 4.3 服務(wù)器集群負(fù)載信息采集及關(guān)鍵點(diǎn)選取59-61
• 4.3.1 服務(wù)器集群系統(tǒng)負(fù)載信息的采集59-60
• 4.3.2 服務(wù)器集群系統(tǒng)負(fù)載關(guān)鍵點(diǎn)的提取60-61
• 4.4 對服務(wù)器集群系統(tǒng)負(fù)載的預(yù)測及調(diào)度方法61-62
• 4.5 實(shí)驗(yàn)與結(jié)果分析62-65
• 4.5.1 實(shí)驗(yàn)設(shè)置及數(shù)據(jù)集62-63
• 4.5.2 負(fù)載預(yù)測準(zhǔn)確性63-64
• 4.5.3 節(jié)能效果與性能對比64-65
• 4.6 本章小結(jié)65-66
• 第五章 總結(jié)與展望66-68
• 5.1 本文工作總結(jié)66
• 5.2 下一步工作展望66-68
• 參考文獻(xiàn)68-74
• 致謝74-76
• 在讀期間發(fā)表的學(xué)術(shù)論文與取得的研究成果76

【參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前4條

1 過敏意;;綠色計(jì)算:內(nèi)涵及趨勢[J];計(jì)算機(jī)工程;2010年10期

2 謝福鼎;王赫楠;張永;;一種新的時(shí)間序列線性擬合方法[J];計(jì)算機(jī)工程;2011年22期

3 林成江，李三立;一種可適應(yīng)的分布式動態(tài)負(fù)載平衡策略及其仿真[J];計(jì)算機(jī)學(xué)報(bào);1995年10期

4 杜奕;盧德唐;李道倫;趙亦朋;;一種快速的時(shí)間序列線性擬合算法[J];中國科學(xué)技術(shù)大學(xué)學(xué)報(bào);2007年03期

，

本文編號：642218