發(fā)布時(shí)間：2017-04-20 17:11

  本文關(guān)鍵詞：面向新聞大數(shù)據(jù)的節(jié)能存儲(chǔ)策略研究，由筆耕文化傳播整理發(fā)布。

【摘要】：隨著大數(shù)據(jù)時(shí)代的到來(lái),作為其基礎(chǔ)服務(wù)載體的數(shù)據(jù)中心也隨之迅猛發(fā)展。大數(shù)據(jù)產(chǎn)業(yè)繁榮的背后,帶來(lái)的卻是耗電量暴漲、環(huán)境污染增加、土地資源消耗等不可避免的問(wèn)題。就能耗而言,耗電量的成倍增長(zhǎng)直接導(dǎo)致運(yùn)營(yíng)和管理的成本上升,因此降低數(shù)據(jù)中心的能耗,特別是降低服務(wù)器集群的能耗,就成了學(xué)術(shù)界和工業(yè)界共同關(guān)心的重大問(wèn)題。本文以數(shù)據(jù)量日益增長(zhǎng)的新聞?lì)惥W(wǎng)站為對(duì)象,深入分析和研究了新聞網(wǎng)站的訪問(wèn)日志數(shù)據(jù),初步探尋出新聞?lì)悢?shù)據(jù)的訪問(wèn)規(guī)律。本文將這些訪問(wèn)規(guī)律引入到目前廣泛使用的Hadoop分布式文件系統(tǒng)(HDFS)中,對(duì)其進(jìn)行有針對(duì)性的改進(jìn)和優(yōu)化,使HDFS最終具備節(jié)能和數(shù)據(jù)分布自均衡的特點(diǎn)。具體來(lái)說(shuō),本文提出了數(shù)據(jù)節(jié)點(diǎn)分區(qū)、最大剩余空間節(jié)點(diǎn)匹配、文件遷移和節(jié)點(diǎn)待機(jī)四條節(jié)能策略。數(shù)據(jù)節(jié)點(diǎn)分區(qū)策略將整個(gè)集群邏輯上分為“冷”、“熱”兩個(gè)區(qū)域,以便實(shí)施不同的管理方法,達(dá)到節(jié)能的目的;最大剩余空間節(jié)點(diǎn)匹配策略專門(mén)針對(duì)數(shù)據(jù)分布均衡的問(wèn)題,又分為活動(dòng)狀態(tài)節(jié)點(diǎn)優(yōu)先(Active State Node Priority,簡(jiǎn)記為ASNP)匹配和低于平均使用率節(jié)點(diǎn)優(yōu)先(Lower than Average utilization rate Node Priority,簡(jiǎn)記為L(zhǎng)ANP)匹配兩種方案,其中前者方案能達(dá)到更好的節(jié)能效果,后者方案能實(shí)現(xiàn)數(shù)據(jù)分布自均衡,從而在一定程度上平衡集群的負(fù)載;文件遷移策略則保證了新聞數(shù)據(jù)在其熱門(mén)期的高效訪問(wèn),同時(shí)又能為熱區(qū)的節(jié)點(diǎn)減輕負(fù)載,降低冷區(qū)節(jié)點(diǎn)的能耗;節(jié)點(diǎn)待機(jī)策略將冷區(qū)中沒(méi)有任務(wù)的節(jié)點(diǎn)置為待機(jī)省電狀態(tài),避免了“空轉(zhuǎn)”現(xiàn)象的發(fā)生,減少了集群的整體能耗。為了研究和驗(yàn)證節(jié)能存儲(chǔ)策略在HDFS中應(yīng)用的效果,本文還開(kāi)發(fā)了面向節(jié)能存儲(chǔ)策略研究的HDFS仿真實(shí)驗(yàn)平臺(tái),平臺(tái)通過(guò)模擬新聞文件被創(chuàng)建和訪問(wèn)的調(diào)度過(guò)程,加入了可拔插的節(jié)能策略模塊,最終輸出仿真結(jié)果。本文以維基英文新聞網(wǎng)站一個(gè)月的訪問(wèn)日志作為實(shí)驗(yàn)數(shù)據(jù)集,經(jīng)過(guò)預(yù)處理后,在本文節(jié)能策略的作用下,實(shí)驗(yàn)結(jié)果表明:使用本文節(jié)能策略的HDFS比傳統(tǒng)HDFS節(jié)能20%-34%,如果同時(shí)采用低于平均使用率優(yōu)先的最大剩余空間節(jié)點(diǎn)匹配策略,則可現(xiàn)實(shí)集群數(shù)據(jù)分布的自均衡,另外,99.8%以上的讀文件操作響應(yīng)時(shí)間都不受本文節(jié)能策略的影響,證明了策略的可行性。
【關(guān)鍵詞】：文件存儲(chǔ) 節(jié)能策略 數(shù)據(jù)分布均衡 仿真平臺(tái)
【學(xué)位授予單位】：重慶大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2015
【分類號(hào)】：TP333;TP311.13
【目錄】：

• 中文摘要3-4
• 英文摘要4-8
• 1 緒論8-14
• 1.1 研究背景和意義8-9
• 1.2 國(guó)內(nèi)外研究現(xiàn)狀9-11
• 1.3 本文主要研究?jī)?nèi)容11
• 1.4 本文組織結(jié)構(gòu)11-12
• 1.5 本章小結(jié)12-14
• 2 Hadoop分布式文件系統(tǒng)14-22
• 2.1 Hadoop生態(tài)系統(tǒng)14-15
• 2.2 HDFS基礎(chǔ)概念15-16
• 2.3 HDFS架構(gòu)16-17
• 2.4 HDFS讀寫(xiě)機(jī)制17-20
• 2.5 HDFS副本機(jī)制20-21
• 2.6 本章小結(jié)21-22
• 3 基于訪問(wèn)規(guī)律的節(jié)能存儲(chǔ)策略22-50
• 3.1 新聞數(shù)據(jù)訪問(wèn)規(guī)律分析22-27
• 3.2 數(shù)據(jù)節(jié)點(diǎn)分區(qū)策略27-30
• 3.3 最大剩余空間節(jié)點(diǎn)匹配策略30-42
• 3.3.1 HDFS默認(rèn)目標(biāo)節(jié)點(diǎn)選擇策略30-34
• 3.3.2 活動(dòng)狀態(tài)節(jié)點(diǎn)優(yōu)先匹配34-37
• 3.3.3 低于平均使用率節(jié)點(diǎn)優(yōu)先匹配37-40
• 3.3.4 對(duì)ASNP和LANP兩種方案的討論40-42
• 3.4 文件遷移策略42-45
• 3.5 節(jié)點(diǎn)待機(jī)策略45-48
• 3.6 本章小結(jié)48-50
• 4 仿真平臺(tái)開(kāi)發(fā)及實(shí)驗(yàn)結(jié)果分析50-72
• 4.1 仿真平臺(tái)簡(jiǎn)介50-60
• 4.1.1 仿真平臺(tái)功能50-51
• 4.1.2 仿真平臺(tái)開(kāi)發(fā)環(huán)境51-52
• 4.1.3 仿真平臺(tái)主要模塊52-58
• 4.1.4 仿真平臺(tái)操作使用58-60
• 4.2 仿真實(shí)驗(yàn)與結(jié)果分析60-70
• 4.2.1 測(cè)試數(shù)據(jù)集60-61
• 4.2.2 實(shí)驗(yàn)參數(shù)設(shè)置61-63
• 4.2.3 集群耗電量分析63-65
• 4.2.4 存儲(chǔ)空間使用率分析65-67
• 4.2.5 文件遷移情況分析67-68
• 4.2.6 節(jié)點(diǎn)喚醒情況分析68-70
• 4.3 本章小結(jié)70-72
• 5 總結(jié)與展望72-74
• 5.1 本文工作總結(jié)72
• 5.2 未來(lái)工作展望72-74
• 致謝74-76
• 參考文獻(xiàn)76-80
• 附錄80
• A. 作者在攻讀碩士學(xué)位期間發(fā)表的論文目錄80

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 張倩雯;李大力;;應(yīng)用于無(wú)線傳感器網(wǎng)絡(luò)的節(jié)能策略[J];現(xiàn)代電信科技;2010年10期

2 盧先領(lǐng);彭能明;陸勝男;徐保國(guó);;無(wú)線體域網(wǎng)節(jié)能策略綜述[J];計(jì)算機(jī)應(yīng)用研究;2013年02期

3 駱崇;;移動(dòng)Ad Hoc網(wǎng)絡(luò)的節(jié)能策略研究[J];科技創(chuàng)新導(dǎo)報(bào);2008年08期

4 孫霞;盧彬;;無(wú)線Ad hoc網(wǎng)絡(luò)節(jié)能策略分析[J];電信快報(bào);2008年03期

5 黃松;白海濤;;移動(dòng)Ad Hoc網(wǎng)絡(luò)的節(jié)能問(wèn)題研究和發(fā)展[J];現(xiàn)代電子技術(shù);2007年01期

6 蘇玉良;;論企業(yè)級(jí)IDC節(jié)能策略[J];資源節(jié)約與環(huán)保;2013年02期

7 楊翰超;;無(wú)線傳感器網(wǎng)絡(luò)關(guān)鍵節(jié)能技術(shù)及節(jié)能策略研究[J];中國(guó)新通信;2010年05期

8 吳凱;沈建華;;一種基于數(shù)據(jù)分組緩存的ONU節(jié)能策略[J];光通信技術(shù);2014年06期

9 姚蘭;曾鋒;;基于最大覆蓋集的無(wú)線傳感器網(wǎng)絡(luò)節(jié)能策略研究[J];計(jì)算機(jī)工程與科學(xué);2013年04期

10 王雪飛;;自組織傳感器網(wǎng)的節(jié)點(diǎn)節(jié)能與網(wǎng)絡(luò)節(jié)能策略[J];傳感器世界;2006年10期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前3條

1 魏慶們;張曉亮;王遠(yuǎn);王鑫;江億;;北京市大型商場(chǎng)用能現(xiàn)狀與主要節(jié)能策略[A];全國(guó)暖通空調(diào)制冷2006年學(xué)術(shù)年會(huì)文集[C];2006年

2 朱陳平;T.Gross;;破碎相變與移動(dòng)ad hoc通訊網(wǎng)絡(luò)的節(jié)能策略[A];第五屆全國(guó)復(fù)雜網(wǎng)絡(luò)學(xué)術(shù)會(huì)議論文（摘要）匯集[C];2009年

3 陳川;楊祖貴;;低技術(shù)節(jié)能策略在教育建筑設(shè)計(jì)中的運(yùn)用——四川音樂(lè)學(xué)院美術(shù)系教學(xué)樓方案設(shè)計(jì)[A];建筑環(huán)境與建筑節(jié)能研究進(jìn)展——2007全國(guó)建筑環(huán)境與建筑節(jié)能學(xué)術(shù)會(huì)議論文集[C];2007年

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫(kù) 前1條

1 艾默生網(wǎng)絡(luò)能源;“能效邏輯”與電信行業(yè)節(jié)能[N];通信產(chǎn)業(yè)報(bào);2009年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前2條

1 薛建彬;基于802.16e的無(wú)線網(wǎng)絡(luò)節(jié)能策略研究[D];蘭州理工大學(xué);2009年

2 文凱;無(wú)線Ad Hoc網(wǎng)絡(luò)中的節(jié)能策略研究[D];電子科技大學(xué);2008年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 王政英;云環(huán)境下基于存儲(chǔ)的副本存放節(jié)能策略[D];新疆大學(xué);2015年

2 楊雷;面向新聞大數(shù)據(jù)的節(jié)能存儲(chǔ)策略研究[D];重慶大學(xué);2015年

3 丁方偉;基于計(jì)算遷移的智能手機(jī)節(jié)能策略[D];大連理工大學(xué);2013年

4 只升陽(yáng);基于周期性休眠的以太網(wǎng)節(jié)能策略及性能研究[D];燕山大學(xué);2014年

5 李丹;無(wú)線Mesh網(wǎng)絡(luò)節(jié)能策略研究[D];廣西大學(xué);2013年

6 康利富;上海地區(qū)商業(yè)綜合體設(shè)計(jì)節(jié)能策略初探[D];同濟(jì)大學(xué);2007年

7 高玲;水下無(wú)線傳感器網(wǎng)絡(luò)節(jié)能策略研究[D];集美大學(xué);2014年

8 張偉;定位輔助搜尋Wi-Fi的移動(dòng)設(shè)備節(jié)能策略[D];大連理工大學(xué);2011年

9 劉偉;城軌列車無(wú)線傳感器監(jiān)測(cè)網(wǎng)絡(luò)節(jié)能策略研究[D];大連交通大學(xué);2013年

10 汪博文;規(guī)劃設(shè)計(jì)中的節(jié)能策略[D];南京工業(yè)大學(xué);2012年

  本文關(guān)鍵詞：面向新聞大數(shù)據(jù)的節(jié)能存儲(chǔ)策略研究，由筆耕文化傳播整理發(fā)布。

，

本文編號(hào)：319138