【摘要】：近年來隨著移動互聯(lián)網(wǎng)的發(fā)展,鍵值對存儲系統(tǒng)被廣泛使用,它適用于大規(guī)模的小尺寸對象存儲,并能支持高性能高并發(fā)的數(shù)據(jù)密集型應(yīng)用。集群中每臺機器通常存有百億數(shù)量級別的鍵值對,大部分?jǐn)?shù)據(jù)的訪問頻率隨著時間推移由高變低,甚至不再會被訪問。因此為了降低存儲成本,需要將大量長期未被訪問的鍵值對遷移到采用更低廉存儲介質(zhì)、高壓縮率的下級存儲集群。針對以上需求,提出面向鍵值對存儲系統(tǒng)的高效數(shù)據(jù)遷移機制。先對采樣周期內(nèi)所有訪問過的鍵值對進(jìn)行全量采樣,識別出訪問過與未被訪問過的鍵值對,再對未被訪問過的鍵值對進(jìn)行遷移。數(shù)據(jù)采樣過程在系統(tǒng)存取的關(guān)鍵路徑上,使用高并發(fā)的分塊式布隆過濾器(Bloom Filter),通過原子操作與CPU高速緩存預(yù)取,保證多線程采樣到全局布隆過濾器的高性能;設(shè)計周期性變換布隆過濾器哈希函數(shù)的算法,在保證時空復(fù)雜度不變的情況下降低布隆過濾器誤判率的影響;同時使用用戶態(tài)的讀拷貝更新(Read-Copy Update)機制代替全局鎖機制來保護全局布隆過濾器,使得多線程采樣到布隆過濾器與后臺線程持久化及更新布隆過濾器的操作可以完全并發(fā)進(jìn)行。數(shù)據(jù)遷移過程先利用LevelDB的版本機制實現(xiàn)多進(jìn)程間的數(shù)據(jù)庫快照備份,再使用多線程來并行遍歷數(shù)據(jù)庫快照數(shù)據(jù)、識別并批量遷移鍵值對,保證整個流程對用戶訪問數(shù)據(jù)的透明;標(biāo)識被遷移后的鍵值對,通過版本號機制處理標(biāo)識鍵值對操作與用戶更新鍵值對操作的寫沖突。使用存儲端的異步訪問機制代理訪問被遷移到下級存儲集群的鍵值對。經(jīng)過實驗測試,設(shè)計的遷移機制能正常運行。測試結(jié)果表明,在高并發(fā)環(huán)境下使用分塊式布隆過濾器僅增加0.2微秒的延遲,且用戶態(tài)讀拷貝更新機制的讀端性能相比全局鎖機制能提高兩個數(shù)量級,表明數(shù)據(jù)采樣不影響系統(tǒng)性能。數(shù)據(jù)遷移過程中僅增加7.5%的用戶訪問延時,且批量遷移鍵值對相比于每次遷移單個鍵值對至少能提高一倍的吞吐量。
【圖文】：

讀線程數(shù)量增加的讀端開吞吐量的影響，然后測試 4 部分測試訪問本地集的讀取響應(yīng)時間對比。rver 的配置文件中，這里配，，采樣周期設(shè)置為 3 個備行一次臨時采樣數(shù)據(jù)快照快照。群的 DataServer 寫入 5 個如圖 5-1。

第2個采樣備份周期內(nèi)測試的訪問操作
【學(xué)位授予單位】：華中科技大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2019
【分類號】：TP333;TP311.13

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 徐逸文;方鈺;陳閎中;;一種處理B~+樹重復(fù)鍵值的方法[J];計算機工程;2009年05期

2 楊小小;;在重啟中被替換的鍵值[J];辦公自動化;2007年01期

3 楊小小;;在重啟中被替換的鍵值[J];電腦知識與技術(shù)(經(jīng)驗技巧);2007年01期

4 楊小小;;重啟中被替換的鍵值[J];辦公自動化;2007年08期

5 盧僑生;;一個鍵值讓文件在重啟過程中替換[J];電腦愛好者;2006年21期

6 史軍絨;Windows2000注冊表鍵值類型的探索[J];現(xiàn)代情報;2005年06期

7 王祿;;多鍵值字符串鍵樹的原理及實現(xiàn)[J];電腦知識與技術(shù)(學(xué)術(shù)交流);2007年02期

8 劉曉;;大數(shù)據(jù)環(huán)境下分布式鍵值系統(tǒng)的架構(gòu)研究[J];中國金融電腦;2015年06期

9 孫洪秋;刪除相關(guān)鍵值巧裝超級解霸[J];電腦愛好者;2001年24期

10 蔣天發(fā);蔣巍;王維虎;熊祥光;;基于轉(zhuǎn)換鍵值的非對稱數(shù)字水印算法[J];信息安全與技術(shù);2010年08期

相關(guān)會議論文 前3條

1 翁曉毅;劉曉平;程磊;;三維曲面的鍵值函數(shù)定義及計算研究[A];全國第十五屆計算機科學(xué)與技術(shù)應(yīng)用學(xué)術(shù)會議論文集[C];2003年

2 袁錦繡;錢雪忠;汪錦嶺;;一種基于位置和DHT的移動ad hoc網(wǎng)絡(luò)服務(wù)發(fā)現(xiàn)方案[A];2006年全國開放式分布與并行計算學(xué)術(shù)會議論文集（一）[C];2006年

3 張智江;王志軍;張尼;;一種可應(yīng)用于大流量環(huán)境下的雙層散列算法研究[A];中國通信學(xué)會信息通信網(wǎng)絡(luò)技術(shù)委員會2011年年會論文集（下冊）[C];2011年

相關(guān)重要報紙文章 前10條

1 王林穎 陳佳佳;一鍵值守48小時[N];中國航天報;2019年

2 編譯 沈建苗;鍵值數(shù)據(jù)存儲未來會流行嗎?[N];計算機世界;2015年

3 山東 郭忠勇;注冊表禁用30項[N];電腦報;2001年

4 上海 SNSN;自由操控MSN Messanger的啟動[N];電腦報;2002年

5 章海峰;排名新方法：無比排序[N];電腦報;2001年

6 江蘇 飛浪;Windows NT 4.0操作技巧16則[N];電腦報;2001年

7 江蘇 周勇生;Windows NT 4.0應(yīng)用精粹（一）[N];中國計算機報;2001年

8 福建 柳堅;讓“我的電腦”不再受“壓迫”[N];電腦報;2002年

9 陳彪;設(shè)置自動刷新窗口[N];中國電腦教育報;2000年

10 山西 閆錦鋒;找回失去的登錄窗口[N];電腦報;2002年

相關(guān)博士學(xué)位論文 前4條

1 徐辰;鍵值存儲系統(tǒng)中的質(zhì)量感知調(diào)度[D];華東師范大學(xué);2014年

2 張凱;基于多核/眾核體系結(jié)構(gòu)構(gòu)建高性能網(wǎng)絡(luò)系統(tǒng)的研究[D];中國科學(xué)技術(shù)大學(xué);2016年

3 黃玉龍;基于GPU的查詢技術(shù)并行化研究[D];華南理工大學(xué);2013年

4 趙楠楠;分布式鍵值存儲系統(tǒng)高效能數(shù)據(jù)布局技術(shù)研究[D];華中科技大學(xué);2016年

相關(guān)碩士學(xué)位論文 前10條

1 孟嘉豪;一種面向鍵值對存儲系統(tǒng)的高效數(shù)據(jù)遷移機制的設(shè)計與實現(xiàn)[D];華中科技大學(xué);2019年

2 王成;基于RDMA的鍵值存儲系統(tǒng)性能優(yōu)化[D];南京大學(xué);2019年

3 張月明;基于LSM-tree鍵值系統(tǒng)讀性能優(yōu)化[D];中國科學(xué)技術(shù)大學(xué);2018年

4 匡雯;在等概率和不等概率條件下多級索引模型的鍵值選擇策略研究[D];江蘇大學(xué);2018年

5 桂清鑫;一種輕量級鍵值存儲系統(tǒng)的研究與實現(xiàn)[D];華中科技大學(xué);2018年

6 高陽;基于Open-Channel SSD特性的LSM-tree鍵值存儲研究[D];華中科技大學(xué);2018年

7 趙鑫;鍵值數(shù)據(jù)庫在云計算中的應(yīng)用與實現(xiàn)[D];電子科技大學(xué);2015年

8 吳玉;面向OLAP的分布式鍵值存儲引擎[D];電子科技大學(xué);2016年

9 陳陸;分布式鍵值存儲引擎的研究與實現(xiàn)[D];江蘇科技大學(xué);2017年

10 羅青;面向多源鍵值數(shù)據(jù)庫的矢量地理數(shù)據(jù)引擎關(guān)鍵技術(shù)研究[D];南京師范大學(xué);2014年

本文編號：2708900