數(shù)據(jù)中心優(yōu)化放置和容錯存儲策略研究
發(fā)布時間:2021-09-02 06:48
隨著云計算的快速發(fā)展,數(shù)據(jù)中心作為云計算的核心基礎(chǔ)設(shè)施也開始了高速發(fā)展,傳統(tǒng)數(shù)據(jù)中心的集中式網(wǎng)絡(luò)分布被打破。隨著分布式取代了集中式,當今數(shù)據(jù)中心對海量數(shù)據(jù)的高效存儲和管理,大量而多變的通信交互模式和低往返時延等方面提出了很高的要求,傳統(tǒng)的協(xié)議和算法難以在現(xiàn)有數(shù)據(jù)中心網(wǎng)絡(luò)中發(fā)揮功效。近幾年來,大量的研究工作圍繞著如何優(yōu)化數(shù)據(jù)中心中數(shù)據(jù)的放置和存儲策略展開,這些研究工作主要包括兩個方面:第一,如何實現(xiàn)一種高效的內(nèi)容放置策略,選擇最優(yōu)的放置節(jié)點,減少訪問時延,同時改進節(jié)點負載均衡。第二,如何實現(xiàn)一種具有容錯性的存儲策略,減少節(jié)點失效后,數(shù)據(jù)恢復(fù)的時間,最小化節(jié)點失效的影響。強化學(xué)習算法是一種與動態(tài)規(guī)劃相關(guān)的算法,適合解決數(shù)據(jù)放置這類優(yōu)化的問題。本文將強化學(xué)習算法應(yīng)用到數(shù)據(jù)中心內(nèi)容放置問題中,提出了基于強化學(xué)習算法的優(yōu)化放置策略,并應(yīng)用糾刪碼技術(shù)提出了基于關(guān)聯(lián)性的容錯存儲策略。針對數(shù)據(jù)中心的內(nèi)容放置策略,本文第一部分將強化學(xué)習算法中的Q學(xué)習方法應(yīng)用到數(shù)據(jù)中心網(wǎng)絡(luò)的內(nèi)容放置中,通過最優(yōu)化平均鏈路帶寬和節(jié)點存儲負載建立放置模型,設(shè)計了運用Q學(xué)習方法的副本數(shù)據(jù)放置策略。課題采用的是以交換機為核心的架...
【文章來源】:哈爾濱工業(yè)大學(xué)黑龍江省 211工程院校 985工程院校
【文章頁數(shù)】:58 頁
【學(xué)位級別】:碩士
【部分圖文】:
(n,k)糾刪碼編碼和解碼過程
修復(fù)系統(tǒng)源數(shù)據(jù)
而不必像 MDS 編碼一樣,每個源數(shù)據(jù)獨立進行傳輸。修復(fù)系統(tǒng)源數(shù)據(jù)和修復(fù)編碼數(shù)據(jù)的示意圖分別如圖 2-4 和圖2-5 所示,在使用再生碼的數(shù)據(jù)恢復(fù)過程,修復(fù)系統(tǒng)源數(shù)據(jù)或者編碼數(shù)據(jù)都只需要傳輸 3 個數(shù)據(jù)塊。而在直接使用 MDS(4,2)編碼的系統(tǒng)當中,當一個節(jié)點失效時,想要成功恢復(fù)數(shù)據(jù)則傳輸?shù)臄?shù)據(jù)塊個數(shù)不能小于 4。圖 2-4 修復(fù)系統(tǒng)源數(shù)據(jù)[36]圖 2-5 修復(fù)編碼數(shù)據(jù)[36]
【參考文獻】:
期刊論文
[1]云計算中的數(shù)據(jù)放置與任務(wù)調(diào)度算法[J]. 王強,李雄飛,王婧. 計算機研究與發(fā)展. 2014(11)
[2]Erasure Coding for Cloud Storage Systems: A Survey[J]. Jun Li,Baochun Li. Tsinghua Science and Technology. 2013(03)
[3]一種改進的Hadoop數(shù)據(jù)放置策略[J]. 林偉偉. 華南理工大學(xué)學(xué)報(自然科學(xué)版). 2012(01)
碩士論文
[1]云計算環(huán)境下的容錯存儲技術(shù)研究[D]. 裴曉強.國防科學(xué)技術(shù)大學(xué) 2011
本文編號:3378531
【文章來源】:哈爾濱工業(yè)大學(xué)黑龍江省 211工程院校 985工程院校
【文章頁數(shù)】:58 頁
【學(xué)位級別】:碩士
【部分圖文】:
(n,k)糾刪碼編碼和解碼過程
修復(fù)系統(tǒng)源數(shù)據(jù)
而不必像 MDS 編碼一樣,每個源數(shù)據(jù)獨立進行傳輸。修復(fù)系統(tǒng)源數(shù)據(jù)和修復(fù)編碼數(shù)據(jù)的示意圖分別如圖 2-4 和圖2-5 所示,在使用再生碼的數(shù)據(jù)恢復(fù)過程,修復(fù)系統(tǒng)源數(shù)據(jù)或者編碼數(shù)據(jù)都只需要傳輸 3 個數(shù)據(jù)塊。而在直接使用 MDS(4,2)編碼的系統(tǒng)當中,當一個節(jié)點失效時,想要成功恢復(fù)數(shù)據(jù)則傳輸?shù)臄?shù)據(jù)塊個數(shù)不能小于 4。圖 2-4 修復(fù)系統(tǒng)源數(shù)據(jù)[36]圖 2-5 修復(fù)編碼數(shù)據(jù)[36]
【參考文獻】:
期刊論文
[1]云計算中的數(shù)據(jù)放置與任務(wù)調(diào)度算法[J]. 王強,李雄飛,王婧. 計算機研究與發(fā)展. 2014(11)
[2]Erasure Coding for Cloud Storage Systems: A Survey[J]. Jun Li,Baochun Li. Tsinghua Science and Technology. 2013(03)
[3]一種改進的Hadoop數(shù)據(jù)放置策略[J]. 林偉偉. 華南理工大學(xué)學(xué)報(自然科學(xué)版). 2012(01)
碩士論文
[1]云計算環(huán)境下的容錯存儲技術(shù)研究[D]. 裴曉強.國防科學(xué)技術(shù)大學(xué) 2011
本文編號:3378531
本文鏈接:http://sikaile.net/kejilunwen/jisuanjikexuelunwen/3378531.html
最近更新
教材專著