大數(shù)據(jù)環(huán)境下,傳統(tǒng)關(guān)系型數(shù)據(jù)庫難以滿足應(yīng)用對高性能、低帶寬等存儲系統(tǒng)的需求,而基于LSM-tree的鍵值存儲系統(tǒng)具有高吞吐量、高擴展性等優(yōu)點,逐漸替代傳統(tǒng)關(guān)系型數(shù)據(jù)庫而被廣泛部署到大規(guī)模數(shù)據(jù)中心。然而,在隨機寫密集型負載下,LSM-tree鍵值存儲系統(tǒng)會頻繁執(zhí)行compaction操作,引起數(shù)據(jù)寫放大,降低系統(tǒng)的吞吐量�，F(xiàn)有compaction的優(yōu)化方法大多采用以主機端CPU為中心的方案來降低寫放大,提高系統(tǒng)性能,但該類方法較依賴主機端CPU和I/O資源,數(shù)據(jù)傳輸量較大且系統(tǒng)資源利用率較低。本文利用存儲系統(tǒng)中近數(shù)據(jù)計算模型(Near-Data Processing,NDP),提出了兩種compaction操作優(yōu)化方案(Co-KV和DStore),實現(xiàn)主機端與設(shè)備端并行執(zhí)行compaction任務(wù),降低主機端CPU負擔(dān),減少I/O數(shù)據(jù)傳輸量,以提高LSM-tree存儲系統(tǒng)的性能。首先,本文提出面向compaction任務(wù)的靜態(tài)優(yōu)化策略Co-KV。Co-KV是一種基于近數(shù)據(jù)計算架構(gòu)的compaction任務(wù)靜態(tài)卸載策略和主機端-設(shè)備端協(xié)同執(zhí)行compaction任務(wù)的方案。當compact...

【文章頁數(shù)】：80 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
Abstract
第一章 緒論
    1.1 研究背景
    1.2 國內(nèi)外研究現(xiàn)狀
        1.2.1 LSM-tree存儲系統(tǒng)的研究現(xiàn)狀
        1.2.2 近數(shù)據(jù)計算模型的研究現(xiàn)狀
    1.3 研究動機與研究內(nèi)容
        1.3.1 研究動機
        1.3.2 研究內(nèi)容
    1.4 論文組織結(jié)構(gòu)
第二章 鍵值存儲和近數(shù)據(jù)計算相關(guān)工作
    2.1 LSM-tree鍵值存儲系統(tǒng)
        2.1.1 概念介紹
        2.1.2 相關(guān)工作
    2.2 近數(shù)據(jù)計算相關(guān)工作
    2.3 本章小結(jié)
第三章 Co-KV:面向Compaction任務(wù)的靜態(tài)優(yōu)化方法
    3.1 引言
    3.2 Co-KV系統(tǒng)架構(gòu)
    3.3 靜態(tài)卸載策略和算法
        3.3.1 Co-KV靜態(tài)卸載策略
        3.3.2 Co-KV靜態(tài)卸載理論分析
        3.3.3 Co-KV靜態(tài)卸載算法
    3.4 實驗環(huán)境與驗證
        3.4.1 NDP模擬環(huán)境
        3.4.2 真實硬件環(huán)境
        3.4.3 測試負載
        3.4.4 基于db_bench負載的測試
        3.4.5 基于YCSB負載的測試
    3.5 本章小結(jié)
第四章 DStore:基于按需調(diào)度的Compaction任務(wù)動態(tài)優(yōu)化方法
    4.1 引言
    4.2 DStore設(shè)計和實現(xiàn)
        4.2.1 主機端系統(tǒng)
        4.2.2 設(shè)備端系統(tǒng)
        4.2.3 運行時系統(tǒng)
    4.3 DStore按需調(diào)度雙端隊列
    4.4 DStore按需調(diào)度策略和算法實現(xiàn)
        4.4.1 按需調(diào)度的動態(tài)卸載策略
        4.4.2 DStore核心算法
    4.5 實驗環(huán)境與驗證
        4.5.1 實驗配置
        4.5.2 基于db_bench負載的測試
        4.5.3 基于YCSB負載的測試
        4.5.4 可擴展性驗證實驗
    4.6 本章小結(jié)
第五章 總結(jié)與展望
    5.1 本文總結(jié)
    5.2 工作展望
參考文獻
圖表目錄
List of Figures and Tables
致謝
在讀期間發(fā)表的學(xué)術(shù)論文
在讀期間參加的科研項目



本文編號：3827804