發(fā)布時間：2018-09-17 20:45

【摘要】：在分布式存儲系統(tǒng)中,一般都是以磁盤空間利用率(DU)來判斷各存儲節(jié)點的負(fù)載均衡程度,當(dāng)所有節(jié)點的磁盤空間利用率相等時,是整個分布式存儲系統(tǒng)的存儲負(fù)載均衡點。但是在實際的應(yīng)用場景中,磁盤I/O速率比較低的存儲節(jié)點和可靠性比較低的存儲節(jié)點往往成為影響整個存儲系統(tǒng)數(shù)據(jù)讀寫性能的瓶頸,因此在異構(gòu)分布式存儲系統(tǒng)中,特別是各存儲節(jié)點磁盤I/O速率和可靠性差異較大的分布式存儲系統(tǒng)中,如果僅僅以磁盤空間利用率作為存儲負(fù)載均衡的判定條件,則其數(shù)據(jù)的讀寫效率必然受到限制。從讀寫效率的角度提出一種度量分布式存儲系統(tǒng)中存儲負(fù)載均衡的新思路。根據(jù)負(fù)載均衡理論和熵理論給出存儲熵(SE)的定義,并提出一種基于存儲熵的負(fù)載均衡算法,該算法通過系統(tǒng)負(fù)載判定、單節(jié)點負(fù)載判定和負(fù)載遷移實現(xiàn)了對分布式存儲系統(tǒng)存儲負(fù)載的量化調(diào)整,并通過實驗與基于磁盤空間利用率的負(fù)載均衡算法進(jìn)行了對比分析,驗證了該算法對分布式存儲系統(tǒng)中存儲負(fù)載具有良好的均衡性,有效地控制了系統(tǒng)負(fù)載失衡的問題,提高了分布式存儲系統(tǒng)的整體讀寫效率。
[Abstract]:In distributed storage system, disk space utilization (DU) is generally used to judge the load balance degree of each storage node. When the disk space utilization ratio of all nodes is equal, it is the storage load balancing point of the whole distributed storage system. However, in the practical application scenario, the storage nodes with low I / O rate and low reliability often become the bottleneck that affects the performance of data reading and writing of the whole storage system, so in heterogeneous distributed storage system, the storage nodes with low I / O rate and low reliability often become the bottleneck of the data reading and writing performance of the whole storage system. Especially in distributed storage systems where the disk I / O rate and reliability of storage nodes vary greatly the efficiency of data reading and writing is bound to be limited if the disk space utilization is only taken as the criterion of storage load balancing. From the point of view of reading and writing efficiency, a new idea to measure storage load balance in distributed storage system is proposed. According to the load balancing theory and entropy theory, the definition of storage entropy (SE) is given, and a load balancing algorithm based on storage entropy is proposed. Single node load decision and load migration realize the quantitative adjustment of storage load in distributed storage system, and compared with the load balancing algorithm based on disk space utilization through experiments. It is verified that the algorithm has a good balance for storage load in distributed storage system, effectively controls the problem of system load imbalance, and improves the overall reading and writing efficiency of distributed storage system.
【作者單位】： 中國科學(xué)院成都計算機(jī)應(yīng)用研究所;中國科學(xué)院大學(xué);
【基金】：四川省科技支撐計劃項目(2014GZ0013)~~
【分類號】：TP333

【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 文莎;;分布式文件系統(tǒng)綜述[J];軟件導(dǎo)刊;2015年11期

2 耿志強(qiáng);姬威;韓永明;曹健;;基于維度最大熵數(shù)據(jù)流聚類的異常檢測方法[J];控制與決策;2016年02期

3 黃昌勤;李源;吳洪艷;湯庸;羅旋;;云存儲系統(tǒng)中數(shù)據(jù)副本服務(wù)的可靠性保障研究[J];通信學(xué)報;2014年10期

4 羅鵬;龔勛;;HDFS數(shù)據(jù)存放策略的研究與改進(jìn)[J];計算機(jī)工程與設(shè)計;2014年04期

5 陳吉榮;樂嘉錦;;基于Hadoop生態(tài)系統(tǒng)的大數(shù)據(jù)解決方案綜述[J];計算機(jī)工程與科學(xué);2013年10期

6 左利云;曹志波;董守斌;;云計算虛擬資源的熵優(yōu)化和動態(tài)加權(quán)評估模型[J];軟件學(xué)報;2013年08期

7 劉琨;鈕文良;;一種改進(jìn)的Hadoop數(shù)據(jù)負(fù)載均衡算法[J];河南理工大學(xué)學(xué)報(自然科學(xué)版);2013年03期

8 馬紀(jì)明;萬蔚;曾聲奎;;基于浴盆曲線故障率函數(shù)的FFOP預(yù)計方法[J];航空學(xué)報;2012年09期

9 董繼光;陳衛(wèi)衛(wèi);吳海佳;田浪軍;;基于動態(tài)副本技術(shù)的云存儲負(fù)載均衡研究[J];計算機(jī)應(yīng)用研究;2012年09期

10 劉琨;肖琳;趙海燕;;Hadoop中云數(shù)據(jù)負(fù)載均衡算法的研究及優(yōu)化[J];微電子學(xué)與計算機(jī);2012年09期

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 周渭博;鐘勇;李振東;;基于存儲熵的存儲負(fù)載均衡算法[J];計算機(jī)應(yīng)用;2017年08期

2 楊連群;宋津旭;李翔宇;;網(wǎng)絡(luò)日志和流量關(guān)聯(lián)分析的必要性[J];電子技術(shù)與軟件工程;2017年14期

3 王瑞娜;;基于自適應(yīng)拍賣和遷移機(jī)制的云計算資源調(diào)度算法[J];西南師范大學(xué)學(xué)報(自然科學(xué)版);2017年07期

4 農(nóng)惜玲;孟軍;伍寧芳;黃小益;甘宇健;;基于大數(shù)據(jù)分析的數(shù)碼產(chǎn)品價格預(yù)測網(wǎng)站設(shè)計[J];電腦知識與技術(shù);2017年17期

5 李棕;崔得龍;;基于高斯過程回歸和強(qiáng)化學(xué)習(xí)的云資源調(diào)度算法[J];電子設(shè)計工程;2017年11期

6 張彬;李衛(wèi)平;王晉;;基于業(yè)務(wù)統(tǒng)一部署與管理的資源調(diào)度算法[J];吉林大學(xué)學(xué)報(理學(xué)版);2017年03期

7 葉春蕾;;基于Hadoop的高校圖書館大數(shù)據(jù)關(guān)鍵技術(shù)研究[J];數(shù)字圖書館論壇;2017年05期

8 張志強(qiáng);;基于數(shù)據(jù)挖掘的網(wǎng)絡(luò)用戶興趣分類研究[J];電子設(shè)計工程;2017年10期

9 李豐;;大數(shù)據(jù)技術(shù)在高校學(xué)生助學(xué)金評比中的應(yīng)用[J];計算機(jī)教育;2017年05期

10 鐘凡;;基于熵值耦合算法的企業(yè)戰(zhàn)略項目管理研究[J];電子設(shè)計工程;2017年09期

【二級參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 張春明;芮建武;何婷婷;;一種Hadoop小文件存儲和讀取的方法[J];計算機(jī)應(yīng)用與軟件;2012年11期

2 林偉偉;劉波;;基于動態(tài)帶寬分配的Hadoop數(shù)據(jù)負(fù)載均衡方法[J];華南理工大學(xué)學(xué)報(自然科學(xué)版);2012年09期

3 劉琨;肖琳;趙海燕;;Hadoop中云數(shù)據(jù)負(fù)載均衡算法的研究及優(yōu)化[J];微電子學(xué)與計算機(jī);2012年09期

4 王意潔;孫偉東;周松;裴曉強(qiáng);李小勇;;云計算環(huán)境下的分布存儲關(guān)鍵技術(shù)[J];軟件學(xué)報;2012年04期

5 周敬利;周正達(dá);;改進(jìn)的云存儲系統(tǒng)數(shù)據(jù)分布策略[J];計算機(jī)應(yīng)用;2012年02期

6 林偉偉;;一種改進(jìn)的Hadoop數(shù)據(jù)放置策略[J];華南理工大學(xué)學(xué)報(自然科學(xué)版);2012年01期

7 開華東;田琪;;基于MapReduce集群的加權(quán)公平隊列調(diào)度算法研究[J];電腦知識與技術(shù);2011年09期

8 孫蛟;虞健飛;;飛機(jī)MFOP概念與應(yīng)用研究[J];航空維修與工程;2010年02期

9 張建勛;古志民;鄭超;;云計算研究進(jìn)展綜述[J];計算機(jī)應(yīng)用研究;2010年02期

10 谷國太;肖漢;;并行計算與并行處理技術(shù)的應(yīng)用研究[J];河南理工大學(xué)學(xué)報(自然科學(xué)版);2009年05期

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 ;廉價、高效、穩(wěn)定 微軟新一代分布式存儲系統(tǒng)[J];新電腦;2006年06期

2 何公明;張元濤;;面向數(shù)字媒體的高性能分布式存儲系統(tǒng)的研究與應(yīng)用[J];廣播電視信息;2009年10期

3 范劍波,郭建康;分布式存儲系統(tǒng)性能模型的建立與應(yīng)用[J];計算機(jī)工程與應(yīng)用;2001年13期

4 范劍波,徐利浩;分布式存儲系統(tǒng)可靠性的研究[J];計算機(jī)工程;2001年06期

5 吳英;謝廣軍;劉t，

本文編號：2247041