【摘要】：云計算是并行計算、網(wǎng)格計算、虛擬化、分布式計算、網(wǎng)絡(luò)存儲、負(fù)載均衡等技術(shù)融合發(fā)展的產(chǎn)物。云計算技術(shù)的出現(xiàn),將原本用戶端的工作放在云端執(zhí)行,云數(shù)據(jù)中心承擔(dān)著復(fù)雜忙碌的工作。對于云數(shù)據(jù)存儲,云數(shù)據(jù)中心涉及成千上萬臺服務(wù)器和網(wǎng)絡(luò)設(shè)備,這些節(jié)點分布不均、節(jié)點的配置存在差異、資源訪問熱度不同,用戶的需求多樣、實時、復(fù)雜,造成云數(shù)據(jù)中心的數(shù)據(jù)存儲不均衡。例如一些節(jié)點存儲了大量數(shù)據(jù)而另一些節(jié)點負(fù)載較輕;一些節(jié)點存儲的文件訪問熱度高,需要頻繁地應(yīng)對用戶的訪問請求,而另一些節(jié)點非常空閑等。數(shù)據(jù)存儲的不均衡將影響系統(tǒng)的性能、降低系統(tǒng)的響應(yīng)時間,更嚴(yán)重地會引起節(jié)點的宕機(jī)。對于云資源調(diào)度,云中的節(jié)點的異構(gòu)性及用戶需求的多樣性、不確定性,導(dǎo)致某些節(jié)點負(fù)載重,非常忙碌,相反另一些節(jié)點負(fù)載輕,非常輕松,將影響整個系統(tǒng)的性能及資源利用率。因此必須解決云存儲及云資源調(diào)度的負(fù)載均衡問題�；谏鲜鰧υ朴嬎阖�(fù)載均衡的必要性的分析,本文提出Hadoop的云存儲負(fù)載均衡的優(yōu)化策略、多因素優(yōu)化的云存儲負(fù)載均衡模型、基于動態(tài)副本的負(fù)載均衡策略、基于虛擬機(jī)遷移的資源調(diào)度負(fù)載均衡策略。本文的主要貢獻(xiàn)如下:1.Hadoop的HDFS文件存儲系統(tǒng)以數(shù)據(jù)塊為單位存儲數(shù)據(jù),每個數(shù)據(jù)塊用副本保證數(shù)據(jù)的冗余,數(shù)據(jù)塊的不斷存放、刪除導(dǎo)致各節(jié)點數(shù)據(jù)存儲不均衡。HDFS為了解決負(fù)載不均衡的問題,將存儲空間負(fù)載重的節(jié)點的數(shù)據(jù)遷移到負(fù)載輕的節(jié)點。均衡過程首先在機(jī)架內(nèi)進(jìn)行,然后在機(jī)架間進(jìn)行,經(jīng)研究發(fā)現(xiàn)這種負(fù)載均衡策略會延誤負(fù)載重的機(jī)架的均衡時機(jī),本文以超負(fù)載機(jī)架的優(yōu)先處理為核心思想提出兩個方面的優(yōu)化。第一個優(yōu)化是優(yōu)先處理負(fù)載超重的機(jī)架。超過負(fù)載閾值的為超負(fù)載機(jī)架,對這些機(jī)架設(shè)計優(yōu)先處理策略。第二個優(yōu)化是負(fù)載重的節(jié)點按未使用空間大小升序排序,負(fù)載輕的節(jié)點按未使用空間降序排列,均衡時分別從兩個隊列中順次選取節(jié)點,將負(fù)載重的節(jié)點的負(fù)載遷移到負(fù)載輕的節(jié)點。2.在解決云數(shù)據(jù)存儲負(fù)載均衡的問題時,很多算法均僅僅考慮存儲空間一個因素,將剩余存儲空間少的節(jié)點的數(shù)據(jù)遷移到剩余存儲空間多的節(jié)點上。但實際上每個節(jié)點的配置存在差異性,配置高的節(jié)點的處理能力顯然比配置低的節(jié)點的處理能力強(qiáng);節(jié)點間的網(wǎng)絡(luò)帶寬存在差異性,網(wǎng)絡(luò)帶寬大的節(jié)點能夠響應(yīng)更多的用戶需求;文件的訪問熱度不相同,存儲空間利用率低的節(jié)點存儲了較多的熱點文件,也會造成該節(jié)點的負(fù)載重。本文提出了多因素優(yōu)化的負(fù)載均衡模型,綜合文件大小、文件訪問熱度、節(jié)點CPU處理能力、節(jié)點內(nèi)存大小、帶寬等多種因素,評價節(jié)點的負(fù)載,根據(jù)綜合負(fù)載進(jìn)行數(shù)據(jù)的遷移。3.云存儲系統(tǒng)中,為了避免數(shù)據(jù)失效,通常用副本機(jī)制實現(xiàn)數(shù)據(jù)冗余,副本分布在不同的機(jī)架、不同的節(jié)點上。文件副本的訪問頻率將直接影響節(jié)點的性能,對于訪問頻率高的副本,增加它的數(shù)量能夠減輕節(jié)點的負(fù)擔(dān),實現(xiàn)各節(jié)點的負(fù)載均衡;反之,對于訪問頻率低的副本,減少它的數(shù)量能夠降低節(jié)點的存儲空間使用率。本文提出了基于文件熱度的副本管理策略解決負(fù)載均衡問題。該策略根據(jù)文件訪問熱度、節(jié)點的存儲空間、網(wǎng)絡(luò)帶寬、副本維護(hù)一致性成本等因素確定副本的數(shù)量、副本的位置。當(dāng)文件副本的訪問頻率低或者長時間不被訪問時進(jìn)行副本的刪除,釋放節(jié)點的存儲空間。4.云計算中各個節(jié)點共同合作響應(yīng)用戶的需求,這些節(jié)點數(shù)量龐大、地理位置分散、異構(gòu)性很強(qiáng),同時用戶的應(yīng)用多樣、復(fù)雜、實時。本文提出了基于虛擬機(jī)遷移的資源調(diào)度負(fù)載均衡策略應(yīng)對這些問題。該策略包括采集模塊、監(jiān)測模塊、預(yù)測模塊、選擇模塊、遷移模塊等。采集模塊負(fù)責(zé)采集各節(jié)點的負(fù)載值,負(fù)載值主要包括CPU利用率、內(nèi)存利用率及帶寬利用率,采用中央節(jié)點定時讀取及各節(jié)點主動發(fā)送相結(jié)合的方式采集節(jié)點負(fù)載值。監(jiān)測模塊負(fù)責(zé)判定高負(fù)載節(jié)點及低負(fù)載節(jié)點,設(shè)定高位閾值、自適應(yīng)閾值及低位閾值作為判定條件。預(yù)測模塊輔助監(jiān)測模塊決定是否啟動遷移,使用一次指數(shù)平滑法作為預(yù)測算法預(yù)測未來數(shù)值,避免負(fù)載的瞬時峰值啟動不必要的遷移。選擇模塊負(fù)責(zé)選擇遷移源機(jī)及目標(biāo)機(jī),使用基于信息熵的選擇策略,根據(jù)節(jié)點的實時狀況客觀確定各個分量的權(quán)值。
【圖文】：

HDFS架構(gòu)模型

橫坐標(biāo)表示節(jié)點編號，，縱的空間使用率，點虛線表示 Hado表示本文算法均衡后的各節(jié)點的，圖 3.3 的 threshold 的值為 15表 3.1 節(jié)點的初始數(shù)據(jù)存儲率
【學(xué)位授予單位】：吉林大學(xué)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2016
【分類號】：TP333

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 孫德印;孫鐵強(qiáng);;彩電檢修的新方法——“節(jié)點”分析法[J];家電檢修技術(shù);2003年08期

2 李斌,張陽;節(jié)點與屏幕墻[J];現(xiàn)代電視技術(shù);2004年06期

3 劉茂立;鄧忠良;;基于選擇關(guān)鍵節(jié)點的網(wǎng)絡(luò)易損性評估法[J];艦船電子工程;2011年01期

4 張啟忠;席旭剛;;基于粗糙集分解的傳感器網(wǎng)絡(luò)節(jié)點故障診斷方法[J];杭州電子科技大學(xué)學(xué)報;2010年04期

5 高志鵬;黃日茂;陳穎慧;芮蘭蘭;;一種無線傳感器網(wǎng)絡(luò)節(jié)點故障的檢測方法(英文)[J];中國通信;2011年01期

6 王俊;劉剛;;基于時間序列和神經(jīng)網(wǎng)絡(luò)的溫室傳感器節(jié)點故障診斷[J];中國農(nóng)業(yè)大學(xué)學(xué)報;2011年06期

7 李宏慧;付學(xué)良;;可擴(kuò)展的節(jié)點保護(hù)的預(yù)連接圓的設(shè)計[J];內(nèi)蒙古農(nóng)業(yè)大學(xué)學(xué)報(自然科學(xué)版);2012年02期

8 張R

本文編號：2547166