【摘要】：針對云存儲系統(tǒng)中數(shù)據(jù)獲取時延長以及數(shù)據(jù)下載不穩(wěn)定的問題,提出了一種基于存儲節(jié)點負(fù)載信息和糾刪碼技術(shù)的調(diào)度方案。首先,利用糾刪碼對文件進(jìn)行編碼存儲以降低每份數(shù)據(jù)拷貝的大小,同時利用多個線程并發(fā)下載以提高數(shù)據(jù)獲取的速度;其次,通過分析大量存儲節(jié)點的負(fù)載信息確定影響時延的性能指標(biāo)并對現(xiàn)有的云存儲系統(tǒng)架構(gòu)進(jìn)行優(yōu)化,設(shè)計了一種基于負(fù)載信息的云存儲調(diào)度算法LOAD-ALGORITHM;最后,利用開源項目Open Stack搭建了一個云計算平臺,根據(jù)真實的用戶請求數(shù)據(jù)在云平臺上進(jìn)行部署和測試。實驗結(jié)果表明,相比于現(xiàn)有的工作,調(diào)度算法在數(shù)據(jù)獲取時延方面最高能減少15%的平均時延,在數(shù)據(jù)下載穩(wěn)定性方面最高能降低40%的時延波動。該調(diào)度方案在真實的云平臺環(huán)境下能有效地提高數(shù)據(jù)獲取速度和穩(wěn)定性,降低數(shù)據(jù)獲取時延,達(dá)到更好的用戶體驗。
【圖文】：

TCP連接進(jìn)行數(shù)據(jù)下載。當(dāng)k個任務(wù)都完成后，代理節(jié)點進(jìn)行解碼并恢復(fù)用戶所請求的文件，最后將成功獲取的文件返回用戶。代理節(jié)點一般擁有固定大小的線程池用于維持與存儲節(jié)點的TCP連接，，每個任務(wù)需要消耗一個線程，當(dāng)線程池中無空閑線程時，剩余任務(wù)需要等待直到有任務(wù)完成并出現(xiàn)新的空閑線程，代理節(jié)點對等待隊列中的任務(wù)進(jìn)行調(diào)度后，新的任務(wù)才開始工作。在本文中，云存儲系統(tǒng)同樣采用了以上所描述的體系架構(gòu)，同時，在此基礎(chǔ)上新增了一個性能監(jiān)測節(jié)點用于保存每個存儲節(jié)點的性能負(fù)載信息，為代理節(jié)點提供調(diào)度依據(jù)，如圖1所示。圖1云存儲系統(tǒng)架構(gòu)Fig．1Cloudstoragesystemarchitecture本文認(rèn)為在云存儲系統(tǒng)中，用戶上傳的所有文件都使用了一定的糾刪碼進(jìn)行編碼存儲，如文件i使用(ni，ki)糾刪碼，并將編碼后的數(shù)據(jù)塊保存s個不同的存儲節(jié)點中(MAX(ni)≤s≤∑i=1ni)。當(dāng)用戶請求文件i時，代理節(jié)點通過614計算機(jī)應(yīng)用第37卷

曲線如何波動，CPU利用率、內(nèi)存利用率、磁盤利用率等曲線基本保持平穩(wěn)狀態(tài)，對于throughput_recv、disk_percent、disk_write等指標(biāo)也得出相似的結(jié)果，曲線之間基本沒有關(guān)聯(lián)性，所以本文初步確定文件獲取的平均時延基本不受這幾個指標(biāo)的影響。為了進(jìn)一步驗證該設(shè)想，本文在存儲節(jié)點中單獨部署了兩個應(yīng)用，分別用于提高存儲節(jié)點的CPU利用率和內(nèi)存利用率，發(fā)現(xiàn)隨著內(nèi)存利用率或CPU利用率的提高，文件平均下載時延并不隨之變化，而是保持平穩(wěn)狀態(tài)，所以本文有理由認(rèn)為以上幾個性能指標(biāo)基本不會對文件獲取時延產(chǎn)生影響。從圖2(b)可以發(fā)現(xiàn)，throughput_send曲線與時延曲線可能存在一定程度上的關(guān)聯(lián)性，初步確定文件獲取時延可能受到每個存儲節(jié)點吞吐量的影響。因為，數(shù)據(jù)傳輸時延=發(fā)送時延+傳播時延+等待時延，當(dāng)吞吐量增高時，一方面意味著更多數(shù)據(jù)需要傳輸，從而造成數(shù)據(jù)在等待隊列中的排隊時間更長，導(dǎo)致等待時延的增加;另一方面高吞吐量會造成丟包率的升高，從而導(dǎo)致更多的數(shù)據(jù)包需要進(jìn)行超時重傳。所以本文認(rèn)為存儲節(jié)點的吞吐量是影響文件獲取時延的一個重要因素，在之后的章節(jié)中也會通過大量的實驗結(jié)果來驗證。圖2存儲節(jié)點性能指標(biāo)分析Fig．2Analysisofperformanceindexesofstoragenode由于文件下載需要從存儲節(jié)點的磁盤讀取數(shù)據(jù)塊并發(fā)送給代理節(jié)點，假設(shè)每次磁盤讀操作讀取的數(shù)據(jù)大小相同，為d字節(jié)，那么在理想情況下，只要發(fā)送速度足夠快，throughput_send=disk_read*d，可以看出每秒發(fā)送的字節(jié)數(shù)和每秒讀取次數(shù)存在線性關(guān)系，所以本文使用吞吐量作為調(diào)度依據(jù)而不使用每秒磁盤讀操作。當(dāng)存儲節(jié)點吞吐量升高，說明代理節(jié)點中有更多的線程用于與該存儲節(jié)點建立連接并進(jìn)行數(shù)據(jù)傳輸，當(dāng)多個文件下載請求同時到達(dá)時，代理節(jié)點可能將?

【參考文獻(xiàn)】

相關(guān)期刊論文 前5條

1 蔣海波;王曉京;范明鈺;肖宜龍;袁琦釗;;基于水平糾刪碼的云存儲數(shù)據(jù)布局方法[J];四川大學(xué)學(xué)報(工程科學(xué)版);2013年02期

2 程振東;欒鐘治;孟由;李亮淑;和榮;楊婷婷;錢德沛;管剛;陳偉;;云文件系統(tǒng)中糾刪碼技術(shù)的研究與實現(xiàn)[J];計算機(jī)科學(xué)與探索;2013年04期

3 李曉愷;代翔;李文杰;崔U

本文編號：2587424