本文關(guān)鍵詞： 網(wǎng)絡(luò)編碼 分布式存儲系統(tǒng) 再生碼 緩存 數(shù)據(jù)更新　出處：《小型微型計算機(jī)系統(tǒng)》2017年03期 　論文類型：期刊論文

【摘要】：網(wǎng)絡(luò)編碼作為一種具有高可靠性和低冗余等優(yōu)點的存儲方案而被引入到分布式存儲系統(tǒng)中,但是其數(shù)據(jù)更新過程的開銷卻很大.一些更新方案為了減少I/O開銷而引入Log-based存儲機(jī)制,而沒有考慮優(yōu)化網(wǎng)絡(luò)帶寬使用量.本文中,通過分析多個數(shù)據(jù)集,發(fā)現(xiàn)了大部分更新數(shù)據(jù)塊存在著多次更新的情況,針對這一現(xiàn)象,我們提出一種更新方案CUM,利用網(wǎng)絡(luò)編碼的線性特性和更新節(jié)點的緩存區(qū)域,將更新塊和校驗塊的信息緩存起來,當(dāng)數(shù)據(jù)塊多次更新時則可以直接在緩存中讀取信息來計算新的校驗塊,從而減少了到存儲節(jié)點上讀取數(shù)據(jù)的帶寬使用量.本文在NCFS的基礎(chǔ)上建立緩存更新模型,并在真實的數(shù)據(jù)集上對CUM進(jìn)行測試.實驗結(jié)果顯示CUM相比當(dāng)前廣泛使用的Differential Update Model(DUM)在更新性能上有很大改進(jìn),帶寬使用量減少最多達(dá)總量的30%,更新時間最多減少24.57%,更新速度最多提高1.326倍.
[Abstract]:As a storage scheme with high reliability and low redundancy, network coding is introduced into distributed storage system. In order to reduce I / O overhead, some updating schemes introduce Log-based storage mechanism without considering the optimization of network bandwidth usage. By analyzing several data sets, we find that most of the updated data blocks have multiple updates. In view of this phenomenon, we propose an update scheme CUM. By using the linear characteristic of network coding and the cache region of update node, the information of update block and check block can be cached. When the data block is updated many times, the information can be read directly in the cache to calculate the new check block. In order to reduce the bandwidth usage of reading data to the storage node, this paper builds a cache update model based on NCFS. CUM was tested on the real data set. Experimental results show that CUM is more widely used than Differential Update Model. Great improvements in update performance. The bandwidth usage is reduced by 30% of the total, the renewal time is reduced by 24.57%, and the renewal speed is increased by 1.326 times.
【作者單位】： 暨南大學(xué)信息學(xué)院計算機(jī)科學(xué)系;中國科學(xué)院計算技術(shù)研究所計算機(jī)體系結(jié)構(gòu)國家重點實驗室;
【基金】：國家自然科學(xué)基金項目(61572232,61272073)資助 廣東省自然科學(xué)基金重點項目(S2013020012865)資助 中國科學(xué)院計算機(jī)系統(tǒng)結(jié)構(gòu)國家重點實驗室開放基金項目(CARCH201401)U資助 中央高�；究蒲袠I(yè)務(wù)費專項資金
【分類號】：TP333
【正文快照】： 1引言現(xiàn)如今,隨著數(shù)據(jù)量的大規(guī)模增長,減少數(shù)據(jù)的存儲開銷以及提高數(shù)據(jù)可靠性越來越受到重視[14].作為一種替代的存儲方案,網(wǎng)絡(luò)編碼[1,5]被應(yīng)用到分布式存儲系統(tǒng),通過網(wǎng)絡(luò)連接不同的節(jié)點為存儲大量的數(shù)據(jù)提供一個可靠平臺.常見的商業(yè)模型就是我們所說的云存儲,例如Amazon S3和

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 何公明;張元濤;;面向數(shù)字媒體的高性能分布式存儲系統(tǒng)的研究與應(yīng)用[J];廣播電視信息;2009年10期

2 范劍波,郭建康;分布式存儲系統(tǒng)性能模型的建立與應(yīng)用[J];計算機(jī)工程與應(yīng)用;2001年13期

3 范劍波,徐利浩;分布式存儲系統(tǒng)可靠性的研究[J];計算機(jī)工程;2001年06期

4 吳英;謝廣軍;劉t，

本文編號：1446867