【摘要】：氣象云平臺(tái)是當(dāng)今氣象行業(yè)最熱門(mén)的研究項(xiàng)目之一,它旨在實(shí)時(shí)處理、存儲(chǔ)、查詢、分析和統(tǒng)計(jì)海量氣象數(shù)據(jù),以分布式節(jié)點(diǎn)存儲(chǔ)、多節(jié)點(diǎn)平行計(jì)算等方式提供智能、可線性擴(kuò)容的氣象數(shù)據(jù)處理能力,但是現(xiàn)在還處于探索階段。氣象數(shù)據(jù)是各類(lèi)氣象服務(wù)、科學(xué)研究的重要資源,保證數(shù)據(jù)的可用性和可靠性是氣象云存儲(chǔ)的重點(diǎn)研究?jī)?nèi)容之一。數(shù)據(jù)副本技術(shù)是解決氣象云存儲(chǔ)容錯(cuò)問(wèn)題的重要手段,它不僅能夠避免訪問(wèn)失效和數(shù)據(jù)丟失,而且能夠減少網(wǎng)絡(luò)帶寬以及提高數(shù)據(jù)的訪問(wèn)效率。 本文主要研究Hadoop分布式文件系統(tǒng)(HDFS, Hadoop Distributed File System)的副本管理策略,針對(duì)原有HDFS副本技術(shù)上的一些不足,在副本的初始放置階段和副本調(diào)整階段提出了新的副本策略。具體內(nèi)容及成果如下： (1)提出了基于負(fù)載量的副本放置策略。首先根據(jù)氣象文件名中的時(shí)間先后確定副本數(shù)量,然后根據(jù)節(jié)點(diǎn)的負(fù)載值高低選擇放置副本的節(jié)點(diǎn)。負(fù)載值通過(guò)評(píng)價(jià)函數(shù)計(jì)算得到,評(píng)價(jià)函數(shù)中包含了影響節(jié)點(diǎn)負(fù)載均衡的因素,即I/0訪問(wèn)率、CPU使用率、內(nèi)存使用率、節(jié)點(diǎn)失效次數(shù)率和節(jié)點(diǎn)空間負(fù)載率,各因素的權(quán)值通過(guò)層次分析法確定。該策略與HDFS默認(rèn)的副本策略相比,在系統(tǒng)負(fù)載均衡方面具有明顯優(yōu)勢(shì)。 (2)提出了基于訪問(wèn)量預(yù)測(cè)的副本調(diào)整策略。首先描述了文件熱度統(tǒng)計(jì)的方法：然后分析氣象文件訪問(wèn)特點(diǎn),具有周期性；接著將BP神經(jīng)網(wǎng)絡(luò)用于預(yù)測(cè)熱點(diǎn)氣象文件訪問(wèn)量；最后根據(jù)預(yù)測(cè)的訪問(wèn)量找出高熱點(diǎn)文件,并根據(jù)高熱點(diǎn)文件所在節(jié)點(diǎn)的I/O訪問(wèn)負(fù)載情況判斷出是否需要增加副本,增加副本數(shù),以及對(duì)冷門(mén)文件需要?jiǎng)h除多余的副本。該策略與HDFS默認(rèn)的副本策略相比,能夠根據(jù)云環(huán)境中文件訪問(wèn)量的變化,動(dòng)態(tài)調(diào)整副本數(shù)量和位置,更能夠減少數(shù)據(jù)的訪問(wèn)延遲,提高數(shù)據(jù)的訪問(wèn)效率,并使系統(tǒng)保持負(fù)載均衡。
【圖文】：

從而對(duì)HDFS默認(rèn)副本放置策略與基于負(fù)載量的副本放置策略對(duì)節(jié)點(diǎn)的負(fù)載影響進(jìn)行對(duì)比，其實(shí)驗(yàn)結(jié)果對(duì)比如圖5-1所示，圖中顯示了兩種策略負(fù)載方差隨數(shù)據(jù)量變化的情況。由圖可見(jiàn)，在負(fù)載均衡方面，，基于負(fù)載量的副本放置策略要明顯優(yōu)于HDFS默認(rèn)的副本放置策略。這是因?yàn)榛谪?fù)載量的策略考慮了多方面的因素，包括節(jié)點(diǎn)的I/O訪問(wèn)率、CPU使用率、內(nèi)存使用率、節(jié)點(diǎn)失效次數(shù)率和節(jié)點(diǎn)空間負(fù)載率，但是本實(shí)驗(yàn)沒(méi)有對(duì)節(jié)點(diǎn)失效進(jìn)行統(tǒng)計(jì)，因此該要素被忽略不計(jì)，另外由于節(jié)點(diǎn)硬件配置都一樣，所以I/O訪問(wèn)率、CPU使用率、內(nèi)存使用率相差不大，最主要的影響因素是節(jié)點(diǎn)的空間負(fù)載率。通過(guò)選擇負(fù)載較低的節(jié)點(diǎn)來(lái)放置副本，不但可以避免磁盤(pán)繁忙導(dǎo)致寫(xiě)數(shù)據(jù)塊的操作阻塞，進(jìn)而影響系43
【學(xué)位授予單位】：南京信息工程大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2014
【分類(lèi)號(hào)】：P409;TP333

【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 田秀霞;周耀君;畢忠勤;彭源;;基于Hadoop架構(gòu)的分布式計(jì)算和存儲(chǔ)技術(shù)及其應(yīng)用[J];上海電力學(xué)院學(xué)報(bào);2011年01期

2 黃昌勤;李源;湯庸;黃睿航;;面向教育資源云存儲(chǔ)系統(tǒng)的副本管理[J];北京郵電大學(xué)學(xué)報(bào);2013年02期

3 劉田甜;李超;胡慶成;張桂剛;;云環(huán)境下多副本管理綜述[J];計(jì)算機(jī)研究與發(fā)展;2011年S3期

4 沈薇;劉方愛(ài);;基于模擬退火算法的數(shù)據(jù)副本選擇策略[J];計(jì)算機(jī)工程與應(yīng)用;2006年35期

5 孫大為;常桂然;高尚;靳立忠;王興偉;;Modeling a Dynamic Data Replication Strategy to Increase System Availability in Cloud Computing Environments[J];Journal of Computer Science & Technology;2012年02期

6 董繼光;陳衛(wèi)衛(wèi);田浪軍;吳海佳;;大規(guī)模云存儲(chǔ)系統(tǒng)副本布局研究[J];計(jì)算機(jī)應(yīng)用;2012年03期

7 王意潔;孫偉東;周松;裴曉強(qiáng);李小勇;;云計(jì)算環(huán)境下的分布存儲(chǔ)關(guān)鍵技術(shù)[J];軟件學(xué)報(bào);2012年04期

8 沈文海;;從云計(jì)算看氣象部門(mén)未來(lái)的信息化趨勢(shì)[J];氣象科技進(jìn)展;2012年02期

9 肖文名;酆薇;楊根錄;;氣象信息傳輸業(yè)務(wù)流程優(yōu)化的初步分析[J];應(yīng)用氣象學(xué)報(bào);2009年04期

10 徐婧;楊壽保;王淑玲;劉曉茜;;CDRS:云存儲(chǔ)中一種代價(jià)驅(qū)動(dòng)的自適應(yīng)副本策略[J];中國(guó)科學(xué)院研究生院學(xué)報(bào);2011年06期

相關(guān)博士學(xué)位論文 前1條

1 劉曉茜;云計(jì)算數(shù)據(jù)中心結(jié)構(gòu)及其調(diào)度機(jī)制研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2011年

本文編號(hào)：2552268