一種輕量級鍵值存儲系統(tǒng)的研究與實現(xiàn)
發(fā)布時間:2021-11-23 04:53
瓦記錄技術(shù)能夠提升磁盤的存儲密度,被廣泛應(yīng)用于海量數(shù)據(jù)存儲系統(tǒng)中。以鍵值(Key-Value,K-V)系統(tǒng)為代表的非關(guān)系型數(shù)據(jù)庫,能夠為大數(shù)據(jù)應(yīng)用提供高性能,高擴展性,高靈活性的數(shù)據(jù)處理服務(wù)。日志結(jié)構(gòu)合并樹(Log-Structure merge tree,LSM樹)是K-V系統(tǒng)的主流索引結(jié)構(gòu)之一,能夠提供較高的寫入性能。然而,LSM樹的內(nèi)部合并會帶來很高的讀寫放大,而在瓦記錄磁盤隨機寫性能缺陷的影響下,讀寫放大會進一步增加,使現(xiàn)有的LSM樹系統(tǒng)不能很好地應(yīng)用于瓦記錄磁盤之上。因此,研究基于瓦記錄磁盤的鍵值系統(tǒng)具有重要的現(xiàn)實意義�;贚SM樹結(jié)構(gòu),提出輕量級合并(Light-Weight Compaction,LWC)算法。輕量級合并過程中采用元數(shù)據(jù)合并與數(shù)據(jù)追加的策略,在保證元數(shù)據(jù)查找效率的基礎(chǔ)上,能夠減少合并時的磁盤開銷,提高合并效率;輕量級合并完成后采用元數(shù)據(jù)聚集策略,減少下一次合并時的讀開銷�;谳p量級合并算法設(shè)計并實現(xiàn)LWC樹存儲引擎。結(jié)合瓦記錄磁盤物理結(jié)構(gòu),使用自定義的磁盤空間管理策略,設(shè)計并實現(xiàn)LWC樹存儲系統(tǒng),將LWC樹存儲引擎運行于瓦記錄磁盤之上,規(guī)避隨機寫的性能缺陷...
【文章來源】:華中科技大學(xué)湖北省 211工程院校 985工程院校 教育部直屬院校
【文章頁數(shù)】:81 頁
【學(xué)位級別】:碩士
【文章目錄】:
摘要
ABSTRACT
1 緒論
1.1 課題背景
1.2 國內(nèi)外研究現(xiàn)狀
1.3 主要研究工作
2 相關(guān)技術(shù)分析
2.1 瓦記錄技術(shù)
2.2 LSM樹結(jié)構(gòu)
2.3 LEVELDB中的LSM樹結(jié)構(gòu)
2.4 本章小結(jié)
3 輕量級鍵值存儲系統(tǒng)LWC方案設(shè)計
3.1 問題分析
3.2 輕量級合并LWC算法思想
3.3 LWC存儲系統(tǒng)整體結(jié)構(gòu)設(shè)計
3.4 LWC樹引擎模塊設(shè)計
3.5 瓦記錄磁盤空間管理模塊設(shè)計
3.6 本章小結(jié)
4 輕量級鍵值存儲系統(tǒng)LWC方案實現(xiàn)
4.1 LWC樹存儲引擎模塊實現(xiàn)
4.2 瓦記錄磁盤空間管理模塊實現(xiàn)
4.3 本章小結(jié)
5 測試與分析
5.1 測試環(huán)境
5.2 對比測試與結(jié)果分析
5.3 參數(shù)敏感性測試
5.4 本章小結(jié)
6 總結(jié)與展望
6.1 全文總結(jié)
6.2 研究展望
致謝
參考文獻
附錄1 攻讀碩士學(xué)位期間發(fā)表的論文
附錄2 攻讀碩士學(xué)位期間發(fā)表的專利
本文編號:3513170
【文章來源】:華中科技大學(xué)湖北省 211工程院校 985工程院校 教育部直屬院校
【文章頁數(shù)】:81 頁
【學(xué)位級別】:碩士
【文章目錄】:
摘要
ABSTRACT
1 緒論
1.1 課題背景
1.2 國內(nèi)外研究現(xiàn)狀
1.3 主要研究工作
2 相關(guān)技術(shù)分析
2.1 瓦記錄技術(shù)
2.2 LSM樹結(jié)構(gòu)
2.3 LEVELDB中的LSM樹結(jié)構(gòu)
2.4 本章小結(jié)
3 輕量級鍵值存儲系統(tǒng)LWC方案設(shè)計
3.1 問題分析
3.2 輕量級合并LWC算法思想
3.3 LWC存儲系統(tǒng)整體結(jié)構(gòu)設(shè)計
3.4 LWC樹引擎模塊設(shè)計
3.5 瓦記錄磁盤空間管理模塊設(shè)計
3.6 本章小結(jié)
4 輕量級鍵值存儲系統(tǒng)LWC方案實現(xiàn)
4.1 LWC樹存儲引擎模塊實現(xiàn)
4.2 瓦記錄磁盤空間管理模塊實現(xiàn)
4.3 本章小結(jié)
5 測試與分析
5.1 測試環(huán)境
5.2 對比測試與結(jié)果分析
5.3 參數(shù)敏感性測試
5.4 本章小結(jié)
6 總結(jié)與展望
6.1 全文總結(jié)
6.2 研究展望
致謝
參考文獻
附錄1 攻讀碩士學(xué)位期間發(fā)表的論文
附錄2 攻讀碩士學(xué)位期間發(fā)表的專利
本文編號:3513170
本文鏈接:http://sikaile.net/kejilunwen/jisuanjikexuelunwen/3513170.html
最近更新
教材專著