大數(shù)據(jù)環(huán)境下,傳統(tǒng)關系型數(shù)據(jù)庫難以滿足應用對高性能、低帶寬等存儲系統(tǒng)的需求,而基于LSM-tree的鍵值存儲系統(tǒng)具有高吞吐量、高擴展性等優(yōu)點,逐漸替代傳統(tǒng)關系型數(shù)據(jù)庫而被廣泛部署到大規(guī)模數(shù)據(jù)中心。然而,在隨機寫密集型負載下,LSM-tree鍵值存儲系統(tǒng)會頻繁執(zhí)行compaction操作,引起數(shù)據(jù)寫放大,降低系統(tǒng)的吞吐量�，F(xiàn)有compaction的優(yōu)化方法大多采用以主機端CPU為中心的方案來降低寫放大,提高系統(tǒng)性能,但該類方法較依賴主機端CPU和I/O資源,數(shù)據(jù)傳輸量較大且系統(tǒng)資源利用率較低。本文利用存儲系統(tǒng)中近數(shù)據(jù)計算模型(Near-Data Processing,NDP),提出了兩種compaction操作優(yōu)化方案(Co-KV和DStore),實現(xiàn)主機端與設備端并行執(zhí)行compaction任務,降低主機端CPU負擔,減少I/O數(shù)據(jù)傳輸量,以提高LSM-tree存儲系統(tǒng)的性能。首先,本文提出面向compaction任務的靜態(tài)優(yōu)化策略Co-KV。Co-KV是一種基于近數(shù)據(jù)計算架構的compaction任務靜態(tài)卸載策略和主機端-設備端協(xié)同執(zhí)行compaction任務的方案。當compact...

【文章頁數(shù)】：80 頁

【學位級別】：碩士

【文章目錄】：
摘要
Abstract
第一章 緒論
    1.1 研究背景
    1.2 國內(nèi)外研究現(xiàn)狀
        1.2.1 LSM-tree存儲系統(tǒng)的研究現(xiàn)狀
        1.2.2 近數(shù)據(jù)計算模型的研究現(xiàn)狀
    1.3 研究動機與研究內(nèi)容
        1.3.1 研究動機
        1.3.2 研究內(nèi)容
    1.4 論文組織結構
第二章 鍵值存儲和近數(shù)據(jù)計算相關工作
    2.1 LSM-tree鍵值存儲系統(tǒng)
        2.1.1 概念介紹
        2.1.2 相關工作
    2.2 近數(shù)據(jù)計算相關工作
    2.3 本章小結
第三章 Co-KV:面向Compaction任務的靜態(tài)優(yōu)化方法
    3.1 引言
    3.2 Co-KV系統(tǒng)架構
    3.3 靜態(tài)卸載策略和算法
        3.3.1 Co-KV靜態(tài)卸載策略
        3.3.2 Co-KV靜態(tài)卸載理論分析
        3.3.3 Co-KV靜態(tài)卸載算法
    3.4 實驗環(huán)境與驗證
        3.4.1 NDP模擬環(huán)境
        3.4.2 真實硬件環(huán)境
        3.4.3 測試負載
        3.4.4 基于db_bench負載的測試
        3.4.5 基于YCSB負載的測試
    3.5 本章小結
第四章 DStore:基于按需調度的Compaction任務動態(tài)優(yōu)化方法
    4.1 引言
    4.2 DStore設計和實現(xiàn)
        4.2.1 主機端系統(tǒng)
        4.2.2 設備端系統(tǒng)
        4.2.3 運行時系統(tǒng)
    4.3 DStore按需調度雙端隊列
    4.4 DStore按需調度策略和算法實現(xiàn)
        4.4.1 按需調度的動態(tài)卸載策略
        4.4.2 DStore核心算法
    4.5 實驗環(huán)境與驗證
        4.5.1 實驗配置
        4.5.2 基于db_bench負載的測試
        4.5.3 基于YCSB負載的測試
        4.5.4 可擴展性驗證實驗
    4.6 本章小結
第五章 總結與展望
    5.1 本文總結
    5.2 工作展望
參考文獻
圖表目錄
List of Figures and Tables
致謝
在讀期間發(fā)表的學術論文
在讀期間參加的科研項目



本文編號：3827804