在大數(shù)據(jù)和分布式相關(guān)技術(shù)日漸成熟的今天,數(shù)據(jù)庫在業(yè)務(wù)系統(tǒng)中承擔(dān)了越來越重要的作用。在面臨海量數(shù)據(jù)時(shí),提升數(shù)據(jù)庫的吞吐量、降低操作響應(yīng)時(shí)延成為互聯(lián)網(wǎng)企業(yè)需要考慮的重要問題。在這個(gè)背景下,如何充分地利用硬件資源,在較低成本的硬件資源配置方案下滿足線上系統(tǒng)的性能要求,成為了一個(gè)具有實(shí)際意義的問題和研究課題。針對(duì)上述的數(shù)據(jù)庫資源配置優(yōu)化問題,本文結(jié)合分布式系統(tǒng)以及數(shù)據(jù)庫應(yīng)用實(shí)踐相關(guān)資料,選擇了分布式數(shù)據(jù)存儲(chǔ)系統(tǒng)HBase作為研究對(duì)象。使用隨機(jī)森林算法對(duì)硬件配置參數(shù)與HBase吞吐量和響應(yīng)時(shí)延的關(guān)系進(jìn)行建模,設(shè)計(jì)實(shí)現(xiàn)了改進(jìn)粒子群算法,對(duì)資源配置與資金成本關(guān)系的數(shù)學(xué)模型進(jìn)行了優(yōu)化,并在實(shí)際環(huán)境中驗(yàn)證優(yōu)化結(jié)果,實(shí)現(xiàn)HBase資源配置方案的優(yōu)化。本文研究內(nèi)容包括以下步驟:(1)生成實(shí)驗(yàn)方案。查閱相關(guān)資料,獲取與HBase性能相關(guān)的硬件配置參數(shù)。根據(jù)實(shí)驗(yàn)環(huán)境的硬件資源確定每個(gè)特征參數(shù)的取值范圍,使用正交試驗(yàn)設(shè)計(jì)的方法得到實(shí)驗(yàn)方案,參照實(shí)驗(yàn)方案在HBase集群上進(jìn)行實(shí)驗(yàn)。(2)構(gòu)建預(yù)測(cè)模型。根據(jù)實(shí)驗(yàn)數(shù)據(jù)得到訓(xùn)練樣本,作為隨機(jī)森林算法的輸入。使用交叉驗(yàn)證的方式構(gòu)建性能預(yù)測(cè)模型并進(jìn)行模型驗(yàn)證。根據(jù)模型驗(yàn)證方法...

【文章頁數(shù)】：75 頁

【學(xué)位級(jí)別】：碩士

圖5.1UH工作負(fù)載實(shí)驗(yàn)運(yùn)行結(jié)果

本文編號(hào)：3886625