本文關(guān)鍵詞：分布式鍵值存儲系統(tǒng)高效能數(shù)據(jù)布局技術(shù)研究　出處：《華中科技大學(xué)》2016年博士論文　論文類型：學(xué)位論文

  更多相關(guān)文章： 一致性哈希算法 能耗管理 鍵值存儲系統(tǒng) 可靠性 損耗均衡

【摘要】：分布式鍵值存儲系統(tǒng)是最常用的分布式存儲系統(tǒng)之一,目前被廣泛部署在大規(guī)模數(shù)據(jù)中心中。然而,大規(guī)模數(shù)據(jù)中心的能耗是一個亟待解決的問題。其中,服務(wù)器的能耗占到了整個數(shù)據(jù)中心的大部分能耗。隨著網(wǎng)絡(luò)數(shù)據(jù)量的持續(xù)增加,數(shù)據(jù)中心對服務(wù)器的需求量會越來越大。因此,服務(wù)器能耗已經(jīng)成為企業(yè)數(shù)據(jù)中心的一個嚴重問題。目前,很多節(jié)能技術(shù)采用關(guān)閉存儲設(shè)備或者服務(wù)器的方式進行節(jié)能。但是,在分布式鍵值存儲系統(tǒng)中關(guān)閉服務(wù)器是極具挑戰(zhàn)性的,因為系統(tǒng)可靠性可能會降低。關(guān)閉存儲設(shè)備帶來的可靠性問題已經(jīng)成為節(jié)能研究的關(guān)注重點。另外,由于固態(tài)盤在性能和能耗方面的優(yōu)勢,以及基于NAND閃存的固態(tài)盤存儲容量的持續(xù)增加和價格的降低,越來越多的固態(tài)盤被配置到服務(wù)器存儲系統(tǒng)中作為緩存或者存儲設(shè)備。但是,基于閃存的服務(wù)器之間的I/O負載是不均衡的,這種不均衡會導(dǎo)致閃存磨損不均衡。磨損不均衡會對整個鍵值存儲集群的可靠性、性能以及壽命產(chǎn)生負面影響。針對基于一致性哈希的分布式鍵值存儲系統(tǒng)的能耗問題,本文首先提出了GreenCHT節(jié)能技術(shù),它包括一個分層副本放置策略和一個預(yù)測性能耗模式調(diào)節(jié)器PMS。數(shù)據(jù)對象的副本被分布到互不重疊的哈希環(huán)上而不是隨機放置在哈希環(huán)的某一些節(jié)點上。這種放置策略可以通過關(guān)閉部分服務(wù)器,使得系統(tǒng)進入不同的能耗模式,而不會影響數(shù)據(jù)的可用性。另外,能耗模式調(diào)節(jié)器PMS能夠預(yù)測I/O負載,并且根據(jù)負載的高低波動變化來相應(yīng)關(guān)閉或者開啟某些節(jié)點層,進入不同的能耗模式.因此,系統(tǒng)的性能和能耗是與系統(tǒng)的負載成比例的。通過關(guān)閉不同數(shù)目的節(jié)點層,系統(tǒng)可以切換到不同能耗模式來滿足不同的能耗和性能需求,同時不會影響數(shù)據(jù)的可用性。為了解決低能耗數(shù)據(jù)布局中存在的可靠性問題,本文提出了一個分布式的Log-store來維持數(shù)據(jù)的可靠性：當(dāng)一部分服務(wù)器被關(guān)閉后,所有的訪問待機服務(wù)器的寫請求都以一種可靠的數(shù)據(jù)布局方式被重新分布到其他活動的服務(wù)器上。這樣的布局方式不僅可以保證數(shù)據(jù)的可靠性同時還能夠維護寫請求的并行性.即使是在低能耗狀態(tài),Log-store也可以保證副本的冗余度。當(dāng)系統(tǒng)出現(xiàn)服務(wù)器宕機時,系統(tǒng)可以開啟一層服務(wù)器并且開始數(shù)據(jù)恢復(fù)。這樣,即使是在部分節(jié)點被關(guān)閉的低能耗模式下,系統(tǒng)仍然可以容R-1個節(jié)點出錯,其中R為副本的冗余度。本文還給出了分布式Log-store處理服務(wù)器故障的具體容錯方案。另外,本文提出了一個基于閃存耐久性的寫轉(zhuǎn)移技術(shù)稱為EWO,用來均衡不同閃存服務(wù)器之間的損耗差異。由于基于數(shù)據(jù)遷移的損耗均衡算法產(chǎn)生了大量的額外的寫請求,這些寫請求會導(dǎo)致相當(dāng)大的額外磨損,EWO的設(shè)計是利用閃存存儲器異地更新的特性,通過將寫請求或者更新請求在不同閃存服務(wù)器之間轉(zhuǎn)移或者重定向來減少均衡過程帶來的額外損耗。為了將擦除次數(shù)均勻的分布到閃存服務(wù)器上,EWO首先基于垃圾回收的頻率計算出：多少寫請求需要從擦除次數(shù)比較多的閃存服務(wù)器轉(zhuǎn)移到擦除次數(shù)比較低的閃存服務(wù)器上,然后進行寫請求重新分配或者重定向來均衡損耗。為了降低寫轉(zhuǎn)移操作帶來的元數(shù)據(jù)開銷,EWO采用了一個熱切片轉(zhuǎn)移策略HSO,來達到額外的損耗開銷和元數(shù)據(jù)開銷之間的平衡。
[Abstract]:Distributed key value storage system is one of the most commonly used in distributed storage systems, has been widely deployed in large-scale data centers. However, consumption of large-scale data centers is an urgent problem to be solved. The server energy consumption accounted for most of the entire data center's energy consumption. With the continued increase in the amount of network data, data the center server demand will become increasingly large. Therefore, the server power consumption has become a serious problem in the enterprise data center. At present, many energy-saving technology using closed storage devices or servers in such way. However, the server is very challenging in the closed distributed key value storage system, because the system reliability may be reduced. Closed storage device reliability problems bring have become the focus of attention on energy conservation. In addition, due to the solid state disk in performance and energy consumption. The advantages, and based on the lower solid disc storage capacity NAND flash and prices continued to increase, more and more solid state disk is configured to cache or storage devices as the server storage system. However, between the flash I/O server load is not balanced based on this imbalance will lead to uneven wear. The wear of flash memory unbalanced reliability of the key storage cluster, have a negative impact on performance and life. To solve the problem of power consumption in distributed key value storage system based on consistent hashing, this paper firstly put forward the energy saving technology of GreenCHT, which includes a copy of a hierarchical replica placement strategy and a predictive power mode regulator of the PMS. data object is distributed to the hash ring do not overlap each other instead of randomly placed at some nodes. This hash ring can be closed part of the service placement strategy Is the system into different modes of energy consumption, but does not affect the availability of data. In addition, the energy consumption mode regulator PMS can predict the I/O load, and according to the fluctuation of load changes corresponding to close or open certain node layer into energy consumption pattern. Because of this, the performance and energy consumption of the system and system the load is proportional. The different number of nodes is closed, the system can be switched to different energy consumption and energy consumption model to meet different performance requirements, but will not affect the availability of data. In order to solve the reliability problems of low energy consumption data in the layout, this paper proposes a distributed Log-store to maintain the reliability of the data: when a part of the server is closed, all write requests access to standby servers are in a reliable data layout was redistributed to other activities of the server . the design can not only ensure the reliability of data can also maintain the parallelism of write requests. Even if it is in the state of low energy consumption, Log-store can also guarantee the redundant copy. When the system server downtime, the system can open a layer of server and start the data recovery. In this way, even if it is a low power consumption mode was shut down in parts of the node, the system can still let R-1 nodes, where R is the redundant copy. This paper also gives the concrete scheme of distributed fault tolerant Log-store server failure. In addition, this paper presents a written transfer flash durability called EWO based on the differences between the different equilibrium, for loss flash server. Because of the loss equalization algorithm based on data migration produced a large number of additional write requests, these write requests will lead to additional considerable wear, EWO. The characteristics of remote meter is updated using flash memory, always reduce the extra loss brought by the equilibrium process of write requests or update request transfer between different servers or Flash retracking. In order to erase times evenly distributed to the flash memory on the server, EWO first based on the garbage collection frequency is calculated: the number of write requests more from the server to erase flash erase times low flash memory on the server, and then write request redirection or re allocation. In order to reduce the loss of balance caused by write transfer operation metadata overhead, EWO uses a hot slice transfer strategy HSO, to achieve between the additional loss cost and metadata cost balance.

【學(xué)位授予單位】：華中科技大學(xué)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2016
【分類號】：TP333

【相似文獻】

相關(guān)期刊論文 前10條

1 李紅;藍光存儲系統(tǒng) 光盤容量高達23G[J];信息記錄材料;2004年01期

2 ;存儲系統(tǒng) 金融行業(yè)應(yīng)用卓越獎 醫(yī)療行業(yè)應(yīng)用卓越獎[J];每周電腦報;2004年20期

3 諾拉;EMC Symmetrix DMX-3存儲系統(tǒng) 超大容量 高速存取[J];中國計算機用戶;2005年31期

4 謝世誠;;浪潮推出4Gb光纖存儲系統(tǒng)[J];微型機與應(yīng)用;2006年07期

5 ;昆騰分級存儲系統(tǒng)[J];軟件世界;2009年11期

6 ;超低功耗云存儲系統(tǒng)或被地方政府看好[J];中國有線電視;2013年08期

7 湯赫男;;云存儲系統(tǒng)的分析與應(yīng)用研究[J];計算機光盤軟件與應(yīng)用;2013年24期

8 諶偉;;云存儲系統(tǒng)的分析與應(yīng)用探討[J];數(shù)字技術(shù)與應(yīng)用;2013年10期

9 雅君;跟上企業(yè)的匆匆腳步——利用HP SureStoreEXP256構(gòu)筑企業(yè)存儲系統(tǒng)[J];中國計算機用戶;2000年08期

10 賈莉;;Symmetrix8000實現(xiàn)19TB存儲[J];每周電腦報;2000年18期

相關(guān)會議論文 前10條

1 趙志剛;;存儲系統(tǒng)在企業(yè)信息化中的應(yīng)用[A];2005年安徽通信論文集[C];2006年

2 黃曉峰;張杰;;礦井信息中心存儲系統(tǒng)設(shè)計[A];安全高效礦井機電裝備及信息化技術(shù)——陜西省煤炭學(xué)會學(xué)術(shù)年會論文集（2011）[C];2011年

3 孫哲;李昌銀;;構(gòu)建核電高可用云存儲系統(tǒng)[A];2012電力行業(yè)信息化年會優(yōu)秀論文專輯[C];2012年

4 焦超;周天彤;李祥學(xué);李建華;;面向災(zāi)備的高性能可信存儲系統(tǒng)設(shè)計[A];第十一屆保密通信與信息安全現(xiàn)狀研討會論文集[C];2009年

5 汪位龍;;設(shè)計院存儲系統(tǒng)建設(shè)初探[A];中國公路學(xué)會計算機應(yīng)用分會2004年年會學(xué)術(shù)論文集[C];2004年

6 梅松竹;李宗伯;;Storage 7000系列混合存儲系統(tǒng)分析[A];2009年中國高校通信類院系學(xué)術(shù)研討會論文集[C];2009年

7 王克敏;張璽;胡江凱;王毅濤;;NWP資料歸檔方法及其存儲系統(tǒng)的應(yīng)用[A];中國氣象學(xué)會2006年年會“中尺度天氣動力學(xué)、數(shù)值模擬和預(yù)測”分會場論文集[C];2006年

8 孫哲;李昌銀;;DeDu:基于云計算的冗余刪除存儲系統(tǒng)[A];電力行業(yè)新一代信息技術(shù)研討會論文集[C];2011年

9 高小伍;黨齊民;林晨;;校園網(wǎng)存儲系統(tǒng)的研究與實現(xiàn)[A];中國高等教育學(xué)會教育信息化分會第十次學(xué)術(shù)年會論文集[C];2010年

10 宮海林;郭長國;苑洪亮;王懷民;;支持事務(wù)的非結(jié)構(gòu)化數(shù)據(jù)聚合存儲系統(tǒng)GSL[A];2006年全國開放式分布與并行計算機學(xué)術(shù)會議論文集（三）[C];2006年

相關(guān)重要報紙文章 前10條

1 ;第三季度中國存儲系統(tǒng)市場達19.1億元[N];中國高新技術(shù)產(chǎn)業(yè)導(dǎo)報;2005年

2 本報記者 薛斐;服務(wù)：存儲系統(tǒng)的靈魂[N];計算機世界;2002年

3 單群一;惠普推出全新一體化存儲系統(tǒng)[N];中國稅務(wù)報;2007年

4 ;浪潮推出4Gb光纖存儲系統(tǒng)[N];人民郵電;2006年

5 ;今年第二季度 存儲系統(tǒng)市場價值達12.6億元[N];人民郵電;2006年

6 郭;日立推出普及型存儲系統(tǒng)[N];計算機世界;2007年

7 陳耀光;朗登 扛起存儲系統(tǒng)設(shè)計院的大旗[N];中國企業(yè)報;2001年

8 ;富士通存儲系統(tǒng)全面升級[N];網(wǎng)絡(luò)世界;2009年

9 ;EMC亞洲生產(chǎn)制造中心落戶深圳[N];網(wǎng)絡(luò)世界;2009年

10 臨履;存儲系統(tǒng)有了“設(shè)計院”[N];網(wǎng)絡(luò)世界;2001年

相關(guān)博士學(xué)位論文 前10條

1 趙雨虹;云存儲系統(tǒng)資源調(diào)度技術(shù)研究[D];華中科技大學(xué);2015年

2 王福偉;列存儲系統(tǒng)的數(shù)據(jù)安全與網(wǎng)絡(luò)性能優(yōu)化模型研究[D];燕山大學(xué);2016年

3 張菁;大規(guī)模分布式糾刪碼存儲系統(tǒng)中的高效數(shù)據(jù)傳輸技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2015年

4 沈志榮;糾刪碼存儲系統(tǒng)性能優(yōu)化研究[D];清華大學(xué);2015年

5 黃志杰;容錯存儲系統(tǒng)中的MDS陣列碼研究[D];華中科技大學(xué);2016年

6 劉進軍;云存儲系統(tǒng)中基于溯源關(guān)系的文件查詢與管理方法研究[D];華中科技大學(xué);2016年

7 趙楠楠;分布式鍵值存儲系統(tǒng)高效能數(shù)據(jù)布局技術(shù)研究[D];華中科技大學(xué);2016年

8 陸承濤;存儲系統(tǒng)性能管理問題的研究[D];華中科技大學(xué);2010年

9 聶雪軍;內(nèi)容感知存儲系統(tǒng)中信息信息生命周期管理關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2011年

10 羅東健;大規(guī)模存儲系統(tǒng)高可靠性關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2011年

相關(guān)碩士學(xué)位論文 前10條

1 馮漢超;基于Hadoop的分布式副本策略研究[D];河北工程大學(xué);2015年

2 張明;IaaS中基于熱點數(shù)據(jù)的存儲系統(tǒng)研究與實現(xiàn)[D];哈爾濱工業(yè)大學(xué);2015年

3 蔣靜遠;基于數(shù)據(jù)通道的非結(jié)構(gòu)化數(shù)據(jù)多存儲系統(tǒng)[D];浙江大學(xué);2015年

4 郭暉;面向高清視頻監(jiān)控的流存儲系統(tǒng)設(shè)計與實現(xiàn)[D];電子科技大學(xué);2015年

5 許孟杰;嵌入式快速存儲模塊的研究與實現(xiàn)[D];中國艦船研究院;2015年

6 何潔和;面向POI的分布式結(jié)構(gòu)化存儲系統(tǒng)存儲引擎設(shè)計與實現(xiàn)[D];電子科技大學(xué);2014年

7 王曉;混合存儲系統(tǒng)高效快照技術(shù)研究[D];北京理工大學(xué);2015年

8 邱登峰;基于Hadoop可公共審計云存儲的設(shè)計與實現(xiàn)[D];大連理工大學(xué);2015年

9 張致元;電子商品存儲系統(tǒng)設(shè)計與研究[D];復(fù)旦大學(xué);2014年

10 劉秉煦;云存儲環(huán)境下的混合存儲算法研究與實現(xiàn)[D];上海交通大學(xué);2015年

，

本文編號：1381844