【摘要】：副本管理策略是云計(jì)算環(huán)境下分布式文件系統(tǒng)的重要研究方向之一。合理的副本因子以及副本放置策略不僅可以為用戶提供更加可靠的數(shù)據(jù)訪問(wèn)服務(wù),同時(shí)能夠提高系統(tǒng)的負(fù)載均衡和云計(jì)算平臺(tái)的計(jì)算效率。論文首先對(duì)Hadoop平臺(tái)下的分布式文件系統(tǒng)HDFS進(jìn)行了研究,詳細(xì)介紹了HDFS的副本管理策略,分析了不同副本管理策略的優(yōu)缺點(diǎn),同時(shí)對(duì)HDFS數(shù)據(jù)塊均衡策略進(jìn)行了詳細(xì)分析。其次,分析了HDFS默認(rèn)數(shù)據(jù)塊均衡策略的局限性,并在此基礎(chǔ)上提出了適用于異構(gòu)環(huán)境的數(shù)據(jù)塊負(fù)載均衡算法,該算法基于各個(gè)節(jié)點(diǎn)的性能及存儲(chǔ)空間等參數(shù)計(jì)算得出各節(jié)點(diǎn)的理論空間利用率,并將用戶輸入的閾值轉(zhuǎn)化為各節(jié)點(diǎn)的參數(shù)化閾值,從而實(shí)現(xiàn)了在異構(gòu)環(huán)境下對(duì)數(shù)據(jù)分布的負(fù)載均衡。論文修改了Hadoop源碼并重新編譯部署,搭建測(cè)試環(huán)境進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明該算法在異構(gòu)環(huán)境下,能夠讓集群的數(shù)據(jù)分布達(dá)到更加均衡的狀態(tài),一定程度上提高了集群的整體性能。然后,論文對(duì)副本管理策略中的副本因子決策算法進(jìn)行了研究。指出當(dāng)前文件熱度可能存在較大差異,對(duì)熱點(diǎn)數(shù)據(jù)的訪問(wèn)將影響作業(yè)的執(zhí)行效率。而現(xiàn)有副本因子調(diào)整策略基于當(dāng)前熱度,不僅具有滯后性,亦會(huì)受到突發(fā)訪問(wèn)波動(dòng)的影響,因此副本因子決策應(yīng)當(dāng)以文件的未來(lái)熱度為依據(jù)�；诖�,建立了以灰色預(yù)測(cè)為基礎(chǔ)的預(yù)測(cè)模型,并利用馬爾科夫模型修正突發(fā)訪問(wèn)造成的預(yù)測(cè)偏差,然后基于文件的預(yù)測(cè)熱度建立有限通道服務(wù)模型,決策出符合用戶需求的副本因子。最后,對(duì)副本因子調(diào)整過(guò)程中新增副本的放置策略進(jìn)行了優(yōu)化研究。在副本因子動(dòng)態(tài)調(diào)整過(guò)程中,目前多數(shù)副本放置算法優(yōu)化目標(biāo)單一,而傳統(tǒng)多目標(biāo)優(yōu)化方法存在權(quán)值系數(shù)的選取依賴專家經(jīng)驗(yàn)、優(yōu)化結(jié)果受該系數(shù)影響較大、建模過(guò)程復(fù)雜等缺陷。在此研究基礎(chǔ)上,論文提出了一個(gè)基于多目標(biāo)優(yōu)化的新增副本放置策略。首先建立網(wǎng)絡(luò)流量、節(jié)點(diǎn)性能負(fù)載均衡度、存儲(chǔ)空間均衡度等多個(gè)優(yōu)化目標(biāo);然后引入多目標(biāo)優(yōu)化算法NSGA-II進(jìn)行分析求解;最后提出一種基于解空間中個(gè)體密度的最優(yōu)目標(biāo)選擇策略,從非支配解集中決策出最終副本放置方案。論文首先進(jìn)行了仿真實(shí)驗(yàn),仿真結(jié)果表明該算法具有較好的收斂性,驗(yàn)證了算法的有效性;然后在實(shí)際集群環(huán)境中修改了Hadoop源碼,對(duì)本文提出的副本因子決策算法以及副本放置策略進(jìn)行了實(shí)驗(yàn)分析。實(shí)驗(yàn)結(jié)果表明:改進(jìn)后的算法可有效減少熱點(diǎn)數(shù)據(jù)的訪問(wèn)沖突,提高系統(tǒng)的吞吐量,并有效減少副本移動(dòng)過(guò)程中的網(wǎng)絡(luò)負(fù)載,在整體性能上具有更好的優(yōu)化效果。
【學(xué)位授予單位】：南京航空航天大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2015
【分類號(hào)】：TP311.13

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 ;NetIQ Identity Integration Suite對(duì)異構(gòu)環(huán)境的用戶訪問(wèn)進(jìn)行集中管理和控制[J];鐵路計(jì)算機(jī)應(yīng)用;2010年03期

2 張步忠;金海東;金海平;;一個(gè)異構(gòu)環(huán)境下的分布式開(kāi)發(fā)方案[J];計(jì)算機(jī)與現(xiàn)代化;2007年01期

3 狄振強(qiáng);徐培松;;異構(gòu)環(huán)境下空閑計(jì)算資源的共享與聚集[J];計(jì)算機(jī)工程;2010年16期

4 董國(guó)鋼;鄭永昌;朱華;黎同根;;異構(gòu)環(huán)境下數(shù)據(jù)記錄的復(fù)制與追加[J];微計(jì)算機(jī)信息;2012年09期

5 李軍懷,張景,呂林濤,羅作民,李朋;異構(gòu)環(huán)境下信息資源集成與訪問(wèn)模型研究[J];大連理工大學(xué)學(xué)報(bào);2003年S1期

6 張實(shí),肖衛(wèi)東,唐九陽(yáng);基于Web Services的異構(gòu)空間信息共享[J];計(jì)算機(jī)應(yīng)用研究;2004年10期

7 馮錫煒;王艷秋;薛峰;張同衛(wèi);盧紅杰;;異構(gòu)環(huán)境數(shù)據(jù)交換主動(dòng)發(fā)現(xiàn)技術(shù)研究與實(shí)現(xiàn)[J];遼寧石油化工大學(xué)學(xué)報(bào);2009年02期

8 郝明明;呂宏偉;;異構(gòu)環(huán)境下數(shù)據(jù)傳輸?shù)难芯颗c實(shí)現(xiàn)[J];機(jī)械工程與自動(dòng)化;2010年01期

9 趙建,李蔚清,楊秋昊;異構(gòu)網(wǎng)絡(luò)互連及其實(shí)時(shí)通信的研究與實(shí)現(xiàn)[J];南京理工大學(xué)學(xué)報(bào);2000年06期

10 黃學(xué)武;李麗;;異構(gòu)環(huán)境下分布式事務(wù)控制協(xié)議選取和系統(tǒng)建立[J];韶關(guān)學(xué)院學(xué)報(bào);2007年09期

相關(guān)會(huì)議論文 前4條

1 蔡德勛;唐韶華;;網(wǎng)格環(huán)境下基于WS-Federation的跨異構(gòu)域信任認(rèn)證機(jī)制[A];2008通信理論與技術(shù)新進(jìn)展——第十三屆全國(guó)青年通信學(xué)術(shù)會(huì)議論文集（上）[C];2008年

2 馮錫煒;張同衛(wèi);薛峰;;基于發(fā)布/訂閱方式異構(gòu)環(huán)境數(shù)據(jù)交換技術(shù)[A];IT服務(wù)促進(jìn)企業(yè)信息化——第十一屆中國(guó)Java技術(shù)及應(yīng)用交流大會(huì)文集[C];2008年

3 劉方;;異構(gòu)SAP系統(tǒng)遷移實(shí)踐[A];第十屆中國(guó)科協(xié)年會(huì)科技創(chuàng)新與工業(yè)強(qiáng)市戰(zhàn)略論壇論文匯編[C];2008年

4 趙坤榮;全鼎余;林奎;楊大勇;楊劍;;面向異構(gòu)環(huán)境監(jiān)測(cè)網(wǎng)絡(luò)的構(gòu)件管理系統(tǒng)設(shè)計(jì)[A];2010中國(guó)環(huán)境科學(xué)學(xué)會(huì)學(xué)術(shù)年會(huì)論文集(第二卷)[C];2010年

相關(guān)重要報(bào)紙文章 前8條

1 賀宏良;工具的宣言[N];中國(guó)計(jì)算機(jī)報(bào);2004年

2 本報(bào)記者 張峰;實(shí)現(xiàn)效用計(jì)算 異構(gòu)軟件當(dāng)先[N];網(wǎng)絡(luò)世界;2004年

3 李琨;在異構(gòu)環(huán)境下創(chuàng)造信息平原[N];中國(guó)計(jì)算機(jī)報(bào);2006年

4 劉鵬;Cactus：在異構(gòu)環(huán)境中優(yōu)化應(yīng)用[N];中國(guó)計(jì)算機(jī)報(bào);2004年

5 CPW記者 凡妮;IBM eServer z系列要簡(jiǎn)約快跑[N];電腦商報(bào);2005年

6 ;英信NS5200異構(gòu)環(huán)境耍大刀[N];計(jì)算機(jī)世界;2003年

7 郭濤;親臨富士通平臺(tái)解決方案中心[N];中國(guó)計(jì)算機(jī)報(bào);2006年

8 ;IT保平安[N];計(jì)算機(jī)世界;2002年

相關(guān)博士學(xué)位論文 前3條

1 曹維;大規(guī)模CFD高效CPU/GPU異構(gòu)并行計(jì)算關(guān)鍵技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2014年

2 李偉平;異構(gòu)環(huán)境下協(xié)同設(shè)計(jì)研究及其在汽車產(chǎn)品設(shè)計(jì)中的應(yīng)用[D];湖南大學(xué);2007年

3 賈虹;基于Web的產(chǎn)品遠(yuǎn)程協(xié)同設(shè)計(jì)關(guān)鍵技術(shù)研究[D];浙江工業(yè)大學(xué);2012年

相關(guān)碩士學(xué)位論文 前10條

1 韓寶剛;面向異構(gòu)環(huán)境的訪問(wèn)控制系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];西安電子科技大學(xué);2014年

2 張松;Hadoop異構(gòu)環(huán)境中數(shù)據(jù)副本動(dòng)態(tài)管理研究[D];南京航空航天大學(xué);2015年

3 卓輝;異構(gòu)環(huán)境下實(shí)時(shí)協(xié)同中適應(yīng)性感知的研究與實(shí)現(xiàn)[D];浙江大學(xué);2007年

4 安彪;異構(gòu)/融合網(wǎng)絡(luò)業(yè)務(wù)質(zhì)量評(píng)價(jià)系統(tǒng)的研究[D];北京郵電大學(xué);2011年

5 李杜;異構(gòu)服務(wù)組裝中資源發(fā)現(xiàn)與組織管理工具及關(guān)鍵技術(shù)研究[D];中南大學(xué);2008年

6 張琳;異構(gòu)環(huán)境下基于DHT的P2P應(yīng)用的研究與設(shè)計(jì)[D];西北工業(yè)大學(xué);2006年

7 謝禮坤;分布式異構(gòu)環(huán)境下信息共享與服務(wù)機(jī)制研究[D];福州大學(xué);2004年

8 房成萍;面向分布式異構(gòu)環(huán)境的輕量級(jí)數(shù)據(jù)傳輸協(xié)議及其應(yīng)用研究[D];濟(jì)南大學(xué);2011年

9 王少卿;異構(gòu)CVE系統(tǒng)研究[D];浙江大學(xué);2005年

10 熊敏;基于CORBA和移動(dòng)Agent的異構(gòu)環(huán)境通信研究[D];廣東工業(yè)大學(xué);2008年

本文編號(hào)：2729738