持久化鍵值存儲(chǔ)系統(tǒng)廣泛部署在數(shù)據(jù)中心為數(shù)據(jù)密集型應(yīng)用提供服務(wù),且應(yīng)用對(duì)系統(tǒng)訪問(wèn)性能和存儲(chǔ)容量的要求越來(lái)越高。新型非易失內(nèi)存(NVM,Non-Volaitle Memory)具有可字節(jié)尋址、掉電數(shù)據(jù)不丟失、大容量、低功耗等特性,與DRAM構(gòu)成的混合內(nèi)存系統(tǒng)可支持大規(guī)模數(shù)據(jù)的快速訪存和持久化。與DRAM相比,NVM具有較高的讀寫(xiě)延遲和有限的寫(xiě)入壽命,現(xiàn)有工作通過(guò)構(gòu)建混合索引支持高效的鍵值操作,然而對(duì)NVM上索引的讀寫(xiě)暴露在鍵值操作的關(guān)鍵路徑上,導(dǎo)致鍵值操作的延遲較高,并限制了對(duì)減少NVM寫(xiě)次數(shù)的優(yōu)化,影響系統(tǒng)性能和壽命。針對(duì)以上問(wèn)題,設(shè)計(jì)實(shí)現(xiàn)了基于DRAM-NVM內(nèi)存的混合索引持久化鍵值存儲(chǔ)系統(tǒng)DuetKV�；贜VM中鍵值操作的延遲分析,后臺(tái)執(zhí)行NVM中索引的讀寫(xiě),減少NVM讀寫(xiě)延遲對(duì)鍵值操作性能的影響;基于負(fù)載中請(qǐng)求的時(shí)間局部性,設(shè)計(jì)命令緩存隊(duì)列減少NVM中索引的請(qǐng)求處理次數(shù)。充分利用有限的低延遲DRAM資源,在DRAM中實(shí)現(xiàn)哈希表索引支持最優(yōu)性能的點(diǎn)操作。構(gòu)建后臺(tái)持久化的B+Tree索引,在DRAM中創(chuàng)建內(nèi)部節(jié)點(diǎn)和葉子緩存節(jié)點(diǎn),加速鍵的對(duì)比并實(shí)現(xiàn)范圍查詢操作;在NVM中創(chuàng)建葉子節(jié)點(diǎn),提供持久化保證。葉子節(jié)點(diǎn)內(nèi)部鍵值對(duì)無(wú)序存放,由位圖和原子寫(xiě)保證一致性;實(shí)現(xiàn)了根據(jù)持久化的葉子節(jié)點(diǎn)重新構(gòu)建混合索引的方法,完成系統(tǒng)快速恢復(fù);創(chuàng)建多棵B+Tree進(jìn)一步減小后臺(tái)索引操作的耗時(shí)。通過(guò)無(wú)鎖命令隊(duì)列保證哈希表和B+Tree索引的狀態(tài)一致,此外,實(shí)現(xiàn)了兩種命令緩存隊(duì)列方案FIFO-Lock和WriteBatch,緩存合并對(duì)相同鍵的寫(xiě)請(qǐng)求以減少對(duì)NVM的寫(xiě)入次數(shù)。測(cè)試結(jié)果表明,鍵值操作的性能測(cè)試中,DuetKV比FPTree提高79%~5.6x;比HiKV寫(xiě)操作性能提高9.1%~46.8%,但范圍查詢性能下降5%~10%。使用YCSB測(cè)試負(fù)載的執(zhí)行性能,DuetKV性能高于FPTree約65%~3.8x,比HiKV提高9.0%~14.6%;NVM讀延遲測(cè)試中,DuetKV鍵值操作延遲比HiKV降低13.7%~36.1%。使用YCSB_A測(cè)試兩種命令緩存隊(duì)列對(duì)減少NVM寫(xiě)次數(shù)的效果和性能開(kāi)銷,在不同隊(duì)列深度下,FIFO-Lock可以減少寫(xiě)次數(shù)13.6%到22%但性能下降12%,WriteBatch避免了性能損失同時(shí)減少11.4%到20%對(duì)NVM的寫(xiě)次數(shù)。
【學(xué)位單位】：華中科技大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位年份】：2019
【中圖分類】：TP333
【文章目錄】：
摘要
Abstract
1 緒論
    1.1 研究背景與意義
    1.2 國(guó)內(nèi)外研究概況
    1.3 本文研究?jī)?nèi)容
    1.4 論文結(jié)構(gòu)
2 相關(guān)技術(shù)及問(wèn)題分析
    2.1 非易失內(nèi)存介質(zhì)
    2.2 內(nèi)存索引數(shù)據(jù)結(jié)構(gòu)
    2.3 問(wèn)題分析和總結(jié)
    2.4 本章小結(jié)
3 DuetKV系統(tǒng)設(shè)計(jì)
    3.1 總體設(shè)計(jì)
    3.2 混合索引設(shè)計(jì)
    3.3 命令緩存隊(duì)列的設(shè)計(jì)
    3.4 一致性和持久化設(shè)計(jì)
    3.5 基本操作流程
    3.6 本章小結(jié)
4 DuetKV系統(tǒng)實(shí)現(xiàn)
    4.1 混合索引實(shí)現(xiàn)
    4.2 命令緩存隊(duì)列
    4.3 命令處理流程
    4.4 持久化與恢復(fù)
    4.5 測(cè)試模塊實(shí)現(xiàn)
    4.6 本章小結(jié)
5 性能測(cè)試與結(jié)果分析
    5.1 測(cè)試環(huán)境與測(cè)試負(fù)載
    5.2 測(cè)試對(duì)照方案
    5.3 測(cè)試結(jié)果分析
    5.4 本章小結(jié)
6 總結(jié)與展望
致謝
參考文獻(xiàn)
附錄 攻讀碩士學(xué)位期間發(fā)表的論文和專利

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 徐逸文;方鈺;陳閎中;;一種處理B~+樹(shù)重復(fù)鍵值的方法[J];計(jì)算機(jī)工程;2009年05期

2 楊小小;;在重啟中被替換的鍵值[J];辦公自動(dòng)化;2007年01期

3 楊小小;;在重啟中被替換的鍵值[J];電腦知識(shí)與技術(shù)(經(jīng)驗(yàn)技巧);2007年01期

4 楊小小;;重啟中被替換的鍵值[J];辦公自動(dòng)化;2007年08期

5 盧僑生;;一個(gè)鍵值讓文件在重啟過(guò)程中替換[J];電腦愛(ài)好者;2006年21期

6 史軍絨;Windows2000注冊(cè)表鍵值類型的探索[J];現(xiàn)代情報(bào);2005年06期

7 王祿;;多鍵值字符串鍵樹(shù)的原理及實(shí)現(xiàn)[J];電腦知識(shí)與技術(shù)(學(xué)術(shù)交流);2007年02期

8 劉曉;;大數(shù)據(jù)環(huán)境下分布式鍵值系統(tǒng)的架構(gòu)研究[J];中國(guó)金融電腦;2015年06期

9 孫洪秋;刪除相關(guān)鍵值巧裝超級(jí)解霸[J];電腦愛(ài)好者;2001年24期

10 蔣天發(fā);蔣巍;王維虎;熊祥光;;基于轉(zhuǎn)換鍵值的非對(duì)稱數(shù)字水印算法[J];信息安全與技術(shù);2010年08期

相關(guān)博士學(xué)位論文 前4條

1 徐辰;鍵值存儲(chǔ)系統(tǒng)中的質(zhì)量感知調(diào)度[D];華東師范大學(xué);2014年

2 張凱;基于多核/眾核體系結(jié)構(gòu)構(gòu)建高性能網(wǎng)絡(luò)系統(tǒng)的研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2016年

3 黃玉龍;基于GPU的查詢技術(shù)并行化研究[D];華南理工大學(xué);2013年

4 趙楠楠;分布式鍵值存儲(chǔ)系統(tǒng)高效能數(shù)據(jù)布局技術(shù)研究[D];華中科技大學(xué);2016年

相關(guān)碩士學(xué)位論文 前10條

1 楊李楊;基于分布式流處理系統(tǒng)的分組策略研究[D];哈爾濱工業(yè)大學(xué);2019年

2 李娟;基于Key-Value的大容量SSD閃存轉(zhuǎn)換層的研究與實(shí)現(xiàn)[D];國(guó)防科技大學(xué);2017年

3 馮小川;云存儲(chǔ)中鍵值型數(shù)據(jù)庫(kù)訪問(wèn)模式保護(hù)的研究與實(shí)現(xiàn)[D];西安電子科技大學(xué);2019年

4 馮淇;基于LSM-Tree的鍵值存儲(chǔ)引擎的優(yōu)化研究與實(shí)現(xiàn)[D];華中科技大學(xué);2019年

5 張大年;面向內(nèi)存分區(qū)的自適應(yīng)鍵值數(shù)據(jù)庫(kù)[D];華中科技大學(xué);2019年

6 吳海源;基于DRAM-NVM混合內(nèi)存的持久化鍵值存儲(chǔ)系統(tǒng)研究[D];華中科技大學(xué);2019年

7 林立亞;無(wú)垃圾回收的鍵值分離存儲(chǔ)系統(tǒng)優(yōu)化設(shè)計(jì)與實(shí)現(xiàn)[D];華中科技大學(xué);2019年

8 胡澤鑫;基于非易失內(nèi)存的混合鍵值存儲(chǔ)系統(tǒng)的研究與實(shí)現(xiàn)[D];華中科技大學(xué);2019年

9 孟嘉豪;一種面向鍵值對(duì)存儲(chǔ)系統(tǒng)的高效數(shù)據(jù)遷移機(jī)制的設(shè)計(jì)與實(shí)現(xiàn)[D];華中科技大學(xué);2019年

10 王成;基于RDMA的鍵值存儲(chǔ)系統(tǒng)性能優(yōu)化[D];南京大學(xué);2019年

本文編號(hào)：2887658