【摘要】：云計算是并行計算、網格計算、虛擬化、分布式計算、網絡存儲、負載均衡等技術融合發(fā)展的產物。云計算技術的出現(xiàn),將原本用戶端的工作放在云端執(zhí)行,云數(shù)據中心承擔著復雜忙碌的工作。對于云數(shù)據存儲,云數(shù)據中心涉及成千上萬臺服務器和網絡設備,這些節(jié)點分布不均、節(jié)點的配置存在差異、資源訪問熱度不同,用戶的需求多樣、實時、復雜,造成云數(shù)據中心的數(shù)據存儲不均衡。例如一些節(jié)點存儲了大量數(shù)據而另一些節(jié)點負載較輕;一些節(jié)點存儲的文件訪問熱度高,需要頻繁地應對用戶的訪問請求,而另一些節(jié)點非常空閑等。數(shù)據存儲的不均衡將影響系統(tǒng)的性能、降低系統(tǒng)的響應時間,更嚴重地會引起節(jié)點的宕機。對于云資源調度,云中的節(jié)點的異構性及用戶需求的多樣性、不確定性,導致某些節(jié)點負載重,非常忙碌,相反另一些節(jié)點負載輕,非常輕松,將影響整個系統(tǒng)的性能及資源利用率。因此必須解決云存儲及云資源調度的負載均衡問題�；谏鲜鰧υ朴嬎阖撦d均衡的必要性的分析,本文提出Hadoop的云存儲負載均衡的優(yōu)化策略、多因素優(yōu)化的云存儲負載均衡模型、基于動態(tài)副本的負載均衡策略、基于虛擬機遷移的資源調度負載均衡策略。本文的主要貢獻如下:1.Hadoop的HDFS文件存儲系統(tǒng)以數(shù)據塊為單位存儲數(shù)據,每個數(shù)據塊用副本保證數(shù)據的冗余,數(shù)據塊的不斷存放、刪除導致各節(jié)點數(shù)據存儲不均衡。HDFS為了解決負載不均衡的問題,將存儲空間負載重的節(jié)點的數(shù)據遷移到負載輕的節(jié)點。均衡過程首先在機架內進行,然后在機架間進行,經研究發(fā)現(xiàn)這種負載均衡策略會延誤負載重的機架的均衡時機,本文以超負載機架的優(yōu)先處理為核心思想提出兩個方面的優(yōu)化。第一個優(yōu)化是優(yōu)先處理負載超重的機架。超過負載閾值的為超負載機架,對這些機架設計優(yōu)先處理策略。第二個優(yōu)化是負載重的節(jié)點按未使用空間大小升序排序,負載輕的節(jié)點按未使用空間降序排列,均衡時分別從兩個隊列中順次選取節(jié)點,將負載重的節(jié)點的負載遷移到負載輕的節(jié)點。2.在解決云數(shù)據存儲負載均衡的問題時,很多算法均僅僅考慮存儲空間一個因素,將剩余存儲空間少的節(jié)點的數(shù)據遷移到剩余存儲空間多的節(jié)點上。但實際上每個節(jié)點的配置存在差異性,配置高的節(jié)點的處理能力顯然比配置低的節(jié)點的處理能力強;節(jié)點間的網絡帶寬存在差異性,網絡帶寬大的節(jié)點能夠響應更多的用戶需求;文件的訪問熱度不相同,存儲空間利用率低的節(jié)點存儲了較多的熱點文件,也會造成該節(jié)點的負載重。本文提出了多因素優(yōu)化的負載均衡模型,綜合文件大小、文件訪問熱度、節(jié)點CPU處理能力、節(jié)點內存大小、帶寬等多種因素,評價節(jié)點的負載,根據綜合負載進行數(shù)據的遷移。3.云存儲系統(tǒng)中,為了避免數(shù)據失效,通常用副本機制實現(xiàn)數(shù)據冗余,副本分布在不同的機架、不同的節(jié)點上。文件副本的訪問頻率將直接影響節(jié)點的性能,對于訪問頻率高的副本,增加它的數(shù)量能夠減輕節(jié)點的負擔,實現(xiàn)各節(jié)點的負載均衡;反之,對于訪問頻率低的副本,減少它的數(shù)量能夠降低節(jié)點的存儲空間使用率。本文提出了基于文件熱度的副本管理策略解決負載均衡問題。該策略根據文件訪問熱度、節(jié)點的存儲空間、網絡帶寬、副本維護一致性成本等因素確定副本的數(shù)量、副本的位置。當文件副本的訪問頻率低或者長時間不被訪問時進行副本的刪除,釋放節(jié)點的存儲空間。4.云計算中各個節(jié)點共同合作響應用戶的需求,這些節(jié)點數(shù)量龐大、地理位置分散、異構性很強,同時用戶的應用多樣、復雜、實時。本文提出了基于虛擬機遷移的資源調度負載均衡策略應對這些問題。該策略包括采集模塊、監(jiān)測模塊、預測模塊、選擇模塊、遷移模塊等。采集模塊負責采集各節(jié)點的負載值,負載值主要包括CPU利用率、內存利用率及帶寬利用率,采用中央節(jié)點定時讀取及各節(jié)點主動發(fā)送相結合的方式采集節(jié)點負載值。監(jiān)測模塊負責判定高負載節(jié)點及低負載節(jié)點,設定高位閾值、自適應閾值及低位閾值作為判定條件。預測模塊輔助監(jiān)測模塊決定是否啟動遷移,使用一次指數(shù)平滑法作為預測算法預測未來數(shù)值,避免負載的瞬時峰值啟動不必要的遷移。選擇模塊負責選擇遷移源機及目標機,使用基于信息熵的選擇策略,根據節(jié)點的實時狀況客觀確定各個分量的權值。
【圖文】：

HDFS架構模型

橫坐標表示節(jié)點編號，，縱的空間使用率，點虛線表示 Hado表示本文算法均衡后的各節(jié)點的，圖 3.3 的 threshold 的值為 15表 3.1 節(jié)點的初始數(shù)據存儲率
【學位授予單位】：吉林大學
【學位級別】：博士
【學位授予年份】：2016
【分類號】：TP333

【相似文獻】

相關期刊論文 前10條

1 孫德印;孫鐵強;;彩電檢修的新方法——“節(jié)點”分析法[J];家電檢修技術;2003年08期

2 李斌,張陽;節(jié)點與屏幕墻[J];現(xiàn)代電視技術;2004年06期

3 劉茂立;鄧忠良;;基于選擇關鍵節(jié)點的網絡易損性評估法[J];艦船電子工程;2011年01期

4 張啟忠;席旭剛;;基于粗糙集分解的傳感器網絡節(jié)點故障診斷方法[J];杭州電子科技大學學報;2010年04期

5 高志鵬;黃日茂;陳穎慧;芮蘭蘭;;一種無線傳感器網絡節(jié)點故障的檢測方法(英文)[J];中國通信;2011年01期

6 王俊;劉剛;;基于時間序列和神經網絡的溫室傳感器節(jié)點故障診斷[J];中國農業(yè)大學學報;2011年06期

7 李宏慧;付學良;;可擴展的節(jié)點保護的預連接圓的設計[J];內蒙古農業(yè)大學學報(自然科學版);2012年02期

8 張R

本文編號：2547166