隨著大規(guī)模分布式存儲(chǔ)技術(shù)的發(fā)展,對(duì)傳統(tǒng)關(guān)系型數(shù)據(jù)庫的改造研究成為熱點(diǎn),出現(xiàn)了諸多以RocksDB作為存儲(chǔ)引擎的新型數(shù)據(jù)庫系統(tǒng)。RocksDB是一種基于日志結(jié)構(gòu)合并樹的鍵值對(duì)系統(tǒng),它具有化隨機(jī)I/O為順序I/O的優(yōu)點(diǎn),是當(dāng)前大規(guī)模數(shù)據(jù)存儲(chǔ)的首選產(chǎn)品。然而,RocksDB也存在存儲(chǔ)參數(shù)不能適應(yīng)工作負(fù)載變化和讀性能低下的缺點(diǎn)。在極端環(huán)境中,RocksDB的默認(rèn)參數(shù)配置會(huì)由于后臺(tái)合并操作隊(duì)列過長(zhǎng),導(dǎo)致出現(xiàn)線程阻塞甚至寫停止的狀況,性能大幅下降。在讀性能方面,RocksDB中的讀操作可能會(huì)在多個(gè)層級(jí)中發(fā)生I/O,并且不能無限制的通過增加索引和布隆過濾器加以緩解,導(dǎo)致不可避免的性能損失。因此,RocksDB雖然具有顯著的寫優(yōu)勢(shì),但這些存在的問題也制約了其進(jìn)一步的應(yīng)用。針對(duì)上述問題,本文以建立工作負(fù)載自適應(yīng)的存儲(chǔ)引擎為目標(biāo),以機(jī)器學(xué)習(xí)技術(shù)為核心方法,對(duì)RocksDB存儲(chǔ)引擎中的存儲(chǔ)參數(shù)配置問題與熱點(diǎn)數(shù)據(jù)主動(dòng)緩存問題進(jìn)行了深入的研究,論文主要貢獻(xiàn)如下:1)針對(duì)默認(rèn)參數(shù)不夠靈活的問題,本文以提升RocksDB對(duì)通用工作負(fù)載的感知,自動(dòng)調(diào)整存儲(chǔ)參數(shù)為目的,設(shè)計(jì)并實(shí)現(xiàn)了基于強(qiáng)化學(xué)習(xí)的智能調(diào)參模塊。該模塊捕捉... 

【文章來源】：南京大學(xué)江蘇省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：89 頁

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
Abstract
1 緒論
    1.1 研究背景和意義
    1.2 RocksDB系統(tǒng)概況
        1.2.1 組成結(jié)構(gòu)
        1.2.2 基本操作與高級(jí)應(yīng)用
        1.2.3 面臨的挑戰(zhàn)
        1.2.4 性能優(yōu)化研究現(xiàn)狀
    1.3 本文的主要工作
    1.4 本文組織結(jié)構(gòu)
2 相關(guān)工作
    2.1 讀/寫/空間開銷權(quán)衡
        2.1.1 RUM猜想
        2.1.2 寫性能優(yōu)化
        2.1.3 讀性能優(yōu)化
        2.1.4 空間占用優(yōu)化
        2.1.5 開銷權(quán)衡優(yōu)化
    2.2 工作負(fù)載和測(cè)試工具
        2.2.1 核心工作負(fù)載
        2.2.2 工作負(fù)載測(cè)試工具
    2.3 基于機(jī)器學(xué)習(xí)的系統(tǒng)優(yōu)化工作
        2.3.1 針對(duì)工作負(fù)載的建模
        2.3.2 基于學(xué)習(xí)的系統(tǒng)設(shè)計(jì)
        2.3.3 面向環(huán)境的智能調(diào)參
    2.4 小結(jié)
3 基于強(qiáng)化學(xué)習(xí)的存儲(chǔ)參數(shù)自動(dòng)調(diào)優(yōu)
    3.1 RocksDB中的參數(shù)調(diào)優(yōu)問題
        3.1.1 存儲(chǔ)參數(shù)簡(jiǎn)介
        3.1.2 問題定義
        3.1.3 問題難點(diǎn)
        3.1.4 解決思路
    3.2 自動(dòng)調(diào)參框架
        3.2.1 系統(tǒng)準(zhǔn)備
        3.2.2 系統(tǒng)監(jiān)控
        3.2.3 系統(tǒng)交互
        3.2.4 系統(tǒng)測(cè)試
    3.3 系統(tǒng)實(shí)現(xiàn)
        3.3.1 模型原理
        3.3.2 模型實(shí)現(xiàn)細(xì)節(jié)
        3.3.3 MyRocks守護(hù)線程實(shí)現(xiàn)
    3.4 實(shí)驗(yàn)設(shè)計(jì)與分析
        3.4.1 實(shí)驗(yàn)設(shè)置
        3.4.2 系統(tǒng)性能分析
    3.5 小結(jié)
4 基于預(yù)測(cè)分析的熱點(diǎn)數(shù)據(jù)主動(dòng)緩存
    4.1 RocksDB中的熱點(diǎn)數(shù)據(jù)讀取問題
        4.1.1 數(shù)據(jù)訪問模式簡(jiǎn)介
        4.1.2 問題定義和難點(diǎn)
        4.1.3 解決思路
    4.2 主動(dòng)緩存框架
        4.2.1 數(shù)據(jù)采集
        4.2.2 系統(tǒng)交互
        4.2.3 系統(tǒng)測(cè)試
    4.3 系統(tǒng)實(shí)現(xiàn)
        4.3.1 數(shù)據(jù)處理
        4.3.2 模型實(shí)現(xiàn)
    4.4 實(shí)驗(yàn)設(shè)計(jì)和分析
        4.4.1 工作負(fù)載設(shè)計(jì)
        4.4.2 性能分析
    4.5 小結(jié)
5 總結(jié)與展望
    5.1 本文總結(jié)
    5.2 未來展望
致謝
參考文獻(xiàn)
簡(jiǎn)歷與科研成果



本文編號(hào)：3170758