面向雙層云存儲服務(wù)的在線成本優(yōu)化算法研究
發(fā)布時間:2021-07-27 18:20
云存儲有效地解決了當(dāng)今時代大數(shù)據(jù)存儲、訪問的需求,開始為越來越多的用戶提供服務(wù)。數(shù)據(jù)管理中,數(shù)據(jù)溫度用于表示數(shù)據(jù)被訪問的頻率,通常稱那些需要被計算節(jié)點頻繁訪問的在線類數(shù)據(jù)為熱數(shù)據(jù);而稱訪問頻率較低、不需要實時訪問的數(shù)據(jù)為冷數(shù)據(jù)。為了滿足不同的存儲服務(wù)要求,新一代的存儲即服務(wù)(Storage As AService)云提供了不同的數(shù)據(jù)存儲分層、分級選項,比如微軟Azure云提供商提供了具有不同存儲成本、訪問延遲和訪問成本特征的熱訪問層(簡稱熱層)和冷訪問層(簡稱冷層)的存儲選擇。在熱層中存儲數(shù)據(jù)會導(dǎo)致較高的存儲成本,但同時會帶來較低的訪問成本和延遲,而冷層能夠以較低的成本存儲大量數(shù)據(jù),從而提供較低的成本和較高的延遲。不同訪問頻率的數(shù)據(jù)存儲到合適的層中能夠很好地避免成本的浪費。一般來說,用戶最初常將數(shù)據(jù)存儲在熱層,但是隨著時間的消逝,數(shù)據(jù)的訪問頻率往往會發(fā)生變化,數(shù)據(jù)繼續(xù)保持在熱層的成本會相對存儲在冷層較高。這時將數(shù)據(jù)轉(zhuǎn)移到冷層,可以很好地利用冷層存儲花費低的好處。然而,由于數(shù)據(jù)轉(zhuǎn)移本身也是有費用的,如果用戶將數(shù)據(jù)轉(zhuǎn)移到冷層后數(shù)據(jù)訪問再次變頻繁,數(shù)據(jù)轉(zhuǎn)移決策反而給用戶帶來了更多的花費。因此...
【文章來源】:山東大學(xué)山東省 211工程院校 985工程院校 教育部直屬院校
【文章頁數(shù)】:61 頁
【學(xué)位級別】:碩士
【部分圖文】:
圖2-1?Azure的雙層存儲服務(wù)??將數(shù)據(jù)的生命周期分成r個長度為r的時間段,用價=1,2,3...?;〇表示,&和??
山東大學(xué)碩士學(xué)位論文??在其余時間很少被訪問。第4組由均值大、標(biāo)準(zhǔn)差小的數(shù)據(jù)組成,該組數(shù)據(jù)訪問??頻繁,訪問頻率比較穩(wěn)定。??〇?>1〇5?,??5?■??4?■??劣3?????■??運??????.???*??2?::?????????'??AS,?.??????I??0?1?2?3?4?5?6?7??均?ffi?^105??圖3-1數(shù)據(jù)訪問情況統(tǒng)計??本章實驗中的所有成本計算都進(jìn)行規(guī)一化處理,這里的1即為數(shù)據(jù)不改變當(dāng)??前存儲訪問層的成本。因為我們的實驗是對比使用在線算法對數(shù)據(jù)在其生命周期??中進(jìn)行存儲訪問層改變與不改變數(shù)據(jù)當(dāng)前存儲現(xiàn)狀的成本優(yōu)化的性能。在我們的??實驗中,增加了與離線算法的對比實驗。本章前面已經(jīng)給出了本文所使用的最優(yōu)??離線算法求解問題的方式,即在數(shù)據(jù)未來訪問頻率己知的情況下通過動態(tài)規(guī)劃遞??歸計算公式(3-1)求得成本的最小值。我們這里進(jìn)行對比的離線算法并不一定是最??優(yōu)的,因為這取決于我們選取統(tǒng)計數(shù)據(jù)訪問情況的周期。??本文選取了微軟Azure提供的四個具有代表性地區(qū)的冷熱雙層云存儲服務(wù)??的收費模型,如表3-2所示。首先,我們使用微軟Azure規(guī)定的美國中部地區(qū)的??定價標(biāo)準(zhǔn)進(jìn)行實驗,圖3-2展示了本文提出的在線算法與離線算法的成本節(jié)約的??累積分布函數(shù)(CDF)。在實驗過程中我們將最大決策周期心設(shè)置為40天。??本文從對分組數(shù)據(jù)進(jìn)行實驗的研究結(jié)果來看,本文總結(jié)了以下幾點:如圖3-??2中的“b”和“d”所示,可以看出對于頻繁訪問的數(shù)據(jù),算法選擇將數(shù)據(jù)繼續(xù)??保留在熱訪問層。其次,一些數(shù)據(jù)在其生命周期中始終保存在當(dāng)前存儲訪問層,??因此這些數(shù)據(jù)
山東大學(xué)碩士學(xué)位論文??做出存儲訪問層轉(zhuǎn)變決策的時候高,則這部分?jǐn)?shù)據(jù)的規(guī)范化成本大于1。從圖3-??2中的“a”和“c”可以看出,對于訪問次數(shù)一直較少的數(shù)據(jù)或者訪問次數(shù)逐漸??減少的數(shù)據(jù),該算法有效地節(jié)約了成本。從圖3-2看出本文所提出的算法,為組??1中90%多的數(shù)據(jù)節(jié)省了成本,為組3中50%的數(shù)據(jù)節(jié)省了成本。因此,對于被??訪問較為頻繁的數(shù)據(jù)來說,存儲在熱訪問層較為劃算,而對于那些從一開始就訪??問較少或者訪問頻率隨著時間逐漸下降的數(shù)據(jù)則一開始就存儲在冷訪問層或者??轉(zhuǎn)移到冷訪問層較為劃算。??08???|=3'??08?/?/?0.8??07?/?J??0.7????,/?/?.,丨?!??805?r?Q〇.s-?/??-0.4?y????03?0.3??〇2?02??7?■?L.?.?.__.__—J?7?.?..I..'??05?0.6?07?0.8?0.9?1?1.1?0.65?0.7?0.75?0.8?0.85?0?&?0?95?t?1.05?1,1?1.15??Normalized?Cost?Normalized?Cost??(a)?Cost?CDF?(第一組)?(b)?Cost?CDF?(第二組)??1??.???1?1???■->???1? ̄ ̄i?.??.?■ ̄??■■…OL?丨-??09?OFFj?'?0?9?'?OFF)????0.8?■?0.8?-????-?;-??0.7?■?Q.7?-??'0.6???0.6?-?-??g?0-5?■?一-?-_■圓■!?
【參考文獻(xiàn)】:
期刊論文
[1]數(shù)據(jù)中心分層存儲技術(shù)探究及實踐[J]. 金斌,劉禮加. 中國金融電腦. 2016(05)
[2]基于模糊邏輯的數(shù)據(jù)分級存儲模型研究[J]. 施光源,張宇. 計算機(jī)科學(xué). 2013(S2)
[3]淺談云存儲技術(shù)的應(yīng)用[J]. 王瑰琦. 電子制作. 2013(06)
[4]基于概率分布的局內(nèi)特殊優(yōu)惠卡問題及其競爭分析[J]. 辛春林,徐寅峰,馬衛(wèi)民. 系統(tǒng)工程理論與實踐. 2007(10)
[5]住房租賃占線算法及其競爭策略[J]. 劉斌,崔文田,辛春林. 系統(tǒng)工程. 2007(06)
碩士論文
[1]面向云存儲系統(tǒng)的綠色數(shù)據(jù)管理策略研究[D]. 董池.杭州電子科技大學(xué) 2015
[2]分布式文件存儲系統(tǒng)副本管理方法研究[D]. 蔣浩.浙江大學(xué) 2013
本文編號:3306303
【文章來源】:山東大學(xué)山東省 211工程院校 985工程院校 教育部直屬院校
【文章頁數(shù)】:61 頁
【學(xué)位級別】:碩士
【部分圖文】:
圖2-1?Azure的雙層存儲服務(wù)??將數(shù)據(jù)的生命周期分成r個長度為r的時間段,用價=1,2,3...?;〇表示,&和??
山東大學(xué)碩士學(xué)位論文??在其余時間很少被訪問。第4組由均值大、標(biāo)準(zhǔn)差小的數(shù)據(jù)組成,該組數(shù)據(jù)訪問??頻繁,訪問頻率比較穩(wěn)定。??〇?>1〇5?,??5?■??4?■??劣3?????■??運??????.???*??2?::?????????'??AS,?.??????I??0?1?2?3?4?5?6?7??均?ffi?^105??圖3-1數(shù)據(jù)訪問情況統(tǒng)計??本章實驗中的所有成本計算都進(jìn)行規(guī)一化處理,這里的1即為數(shù)據(jù)不改變當(dāng)??前存儲訪問層的成本。因為我們的實驗是對比使用在線算法對數(shù)據(jù)在其生命周期??中進(jìn)行存儲訪問層改變與不改變數(shù)據(jù)當(dāng)前存儲現(xiàn)狀的成本優(yōu)化的性能。在我們的??實驗中,增加了與離線算法的對比實驗。本章前面已經(jīng)給出了本文所使用的最優(yōu)??離線算法求解問題的方式,即在數(shù)據(jù)未來訪問頻率己知的情況下通過動態(tài)規(guī)劃遞??歸計算公式(3-1)求得成本的最小值。我們這里進(jìn)行對比的離線算法并不一定是最??優(yōu)的,因為這取決于我們選取統(tǒng)計數(shù)據(jù)訪問情況的周期。??本文選取了微軟Azure提供的四個具有代表性地區(qū)的冷熱雙層云存儲服務(wù)??的收費模型,如表3-2所示。首先,我們使用微軟Azure規(guī)定的美國中部地區(qū)的??定價標(biāo)準(zhǔn)進(jìn)行實驗,圖3-2展示了本文提出的在線算法與離線算法的成本節(jié)約的??累積分布函數(shù)(CDF)。在實驗過程中我們將最大決策周期心設(shè)置為40天。??本文從對分組數(shù)據(jù)進(jìn)行實驗的研究結(jié)果來看,本文總結(jié)了以下幾點:如圖3-??2中的“b”和“d”所示,可以看出對于頻繁訪問的數(shù)據(jù),算法選擇將數(shù)據(jù)繼續(xù)??保留在熱訪問層。其次,一些數(shù)據(jù)在其生命周期中始終保存在當(dāng)前存儲訪問層,??因此這些數(shù)據(jù)
山東大學(xué)碩士學(xué)位論文??做出存儲訪問層轉(zhuǎn)變決策的時候高,則這部分?jǐn)?shù)據(jù)的規(guī)范化成本大于1。從圖3-??2中的“a”和“c”可以看出,對于訪問次數(shù)一直較少的數(shù)據(jù)或者訪問次數(shù)逐漸??減少的數(shù)據(jù),該算法有效地節(jié)約了成本。從圖3-2看出本文所提出的算法,為組??1中90%多的數(shù)據(jù)節(jié)省了成本,為組3中50%的數(shù)據(jù)節(jié)省了成本。因此,對于被??訪問較為頻繁的數(shù)據(jù)來說,存儲在熱訪問層較為劃算,而對于那些從一開始就訪??問較少或者訪問頻率隨著時間逐漸下降的數(shù)據(jù)則一開始就存儲在冷訪問層或者??轉(zhuǎn)移到冷訪問層較為劃算。??08???|=3'??08?/?/?0.8??07?/?J??0.7????,/?/?.,丨?!??805?r?Q〇.s-?/??-0.4?y????03?0.3??〇2?02??7?■?L.?.?.__.__—J?7?.?..I..'??05?0.6?07?0.8?0.9?1?1.1?0.65?0.7?0.75?0.8?0.85?0?&?0?95?t?1.05?1,1?1.15??Normalized?Cost?Normalized?Cost??(a)?Cost?CDF?(第一組)?(b)?Cost?CDF?(第二組)??1??.???1?1???■->???1? ̄ ̄i?.??.?■ ̄??■■…OL?丨-??09?OFFj?'?0?9?'?OFF)????0.8?■?0.8?-????-?;-??0.7?■?Q.7?-??'0.6???0.6?-?-??g?0-5?■?一-?-_■圓■!?
【參考文獻(xiàn)】:
期刊論文
[1]數(shù)據(jù)中心分層存儲技術(shù)探究及實踐[J]. 金斌,劉禮加. 中國金融電腦. 2016(05)
[2]基于模糊邏輯的數(shù)據(jù)分級存儲模型研究[J]. 施光源,張宇. 計算機(jī)科學(xué). 2013(S2)
[3]淺談云存儲技術(shù)的應(yīng)用[J]. 王瑰琦. 電子制作. 2013(06)
[4]基于概率分布的局內(nèi)特殊優(yōu)惠卡問題及其競爭分析[J]. 辛春林,徐寅峰,馬衛(wèi)民. 系統(tǒng)工程理論與實踐. 2007(10)
[5]住房租賃占線算法及其競爭策略[J]. 劉斌,崔文田,辛春林. 系統(tǒng)工程. 2007(06)
碩士論文
[1]面向云存儲系統(tǒng)的綠色數(shù)據(jù)管理策略研究[D]. 董池.杭州電子科技大學(xué) 2015
[2]分布式文件存儲系統(tǒng)副本管理方法研究[D]. 蔣浩.浙江大學(xué) 2013
本文編號:3306303
本文鏈接:http://sikaile.net/shoufeilunwen/xixikjs/3306303.html
最近更新
教材專著