并行數(shù)據(jù)處理是一種十分重要的計(jì)算機(jī)技術(shù),該技術(shù)目前在很多領(lǐng)域發(fā)揮著重要作用。通過開發(fā)一個支持并行數(shù)據(jù)處理的中間件,將集群并行計(jì)算機(jī)各節(jié)點(diǎn)上分布的數(shù)據(jù)庫連接起來,構(gòu)成數(shù)據(jù)并行處理中間件系統(tǒng),系統(tǒng)中各節(jié)點(diǎn)并行工作,可以以較小的代價(jià)獲得接近并行數(shù)據(jù)庫的性能。在SN結(jié)構(gòu)的并行數(shù)據(jù)庫中,數(shù)據(jù)被劃分到多個處理節(jié)點(diǎn)上,查詢由多個節(jié)點(diǎn)共同完成。在此應(yīng)用環(huán)境中,劃分方法的優(yōu)劣對提高系統(tǒng)并行性,減少數(shù)據(jù)傾斜,提高系統(tǒng)性能具有重要作用。數(shù)據(jù)存儲分配是查詢處理并行化的基礎(chǔ),是并行數(shù)據(jù)處理技術(shù)研究的重要方向之一。本文通過對存儲分配策略的研究,研究并提出最大程度適合本系統(tǒng)的數(shù)據(jù)存儲分配策略,以提高系統(tǒng)性能。本文首先描述了數(shù)據(jù)并行處理中間件的系統(tǒng)結(jié)構(gòu)和工作原理,以此為應(yīng)用和研究環(huán)境,研究如何對關(guān)系進(jìn)行分片,提出一種基于連結(jié)代價(jià)的劃分屬性選擇算法,對Range和Hash劃分方法進(jìn)行改進(jìn),提出適合本系統(tǒng)的R-H劃分算法,該算法比原有的Range和Hash方法更有利于實(shí)現(xiàn)數(shù)據(jù)均衡,避免初始數(shù)據(jù)傾斜的產(chǎn)生。針對系統(tǒng)長期運(yùn)行后可能發(fā)生的數(shù)據(jù)傾斜,本文研究了中間件系統(tǒng)中數(shù)據(jù)重分布策略。研究在發(fā)生數(shù)據(jù)傾斜時(shí),如何確定過載節(jié)點(diǎn)、過... 

【文章來源】：哈爾濱工程大學(xué)黑龍江省211工程院校

【文章頁數(shù)】：69 頁

【學(xué)位級別】：碩士

【部分圖文】：

關(guān)系存儲設(shè)置圖

點(diǎn)、熱點(diǎn)關(guān)系以及熱點(diǎn)關(guān)系中的過熱數(shù)據(jù)塊;最后，在后臺進(jìn)行重分布轉(zhuǎn)移數(shù)據(jù)，并修改數(shù)據(jù)字典中的數(shù)據(jù)分布信J自、。具體過程如下:(1)執(zhí)行節(jié)點(diǎn)的監(jiān)聽模塊對系統(tǒng)負(fù)載信息進(jìn)行監(jiān)聽(圖5.4為某個執(zhí)行節(jié)點(diǎn)內(nèi)存負(fù)載信自、)，檢測各處理節(jié)點(diǎn)是否發(fā)生數(shù)據(jù)傾斜，是否達(dá)到重分布的臨界)汽氣。細(xì)細(xì)哥籌哥哥產(chǎn)f。，3矛￡。xZ口文本‘.口蓬報(bào)川圖5.4內(nèi)存負(fù)載信息(2)如達(dá)到，則根據(jù)各處理節(jié)點(diǎn)的負(fù)載情況，確定需要重分布的關(guān)系，確定需要轉(zhuǎn)移數(shù)據(jù)和接收數(shù)據(jù)的處理節(jié)傲，確定要轉(zhuǎn)移的數(shù)據(jù)塊。

根據(jù)上述查詢負(fù)載，分別在單節(jié)點(diǎn)、4節(jié)點(diǎn)、8節(jié)點(diǎn)以及16節(jié)點(diǎn)情況下對系統(tǒng)的并行加速比進(jìn)行了測試，劃分方案1是系統(tǒng)初始采用的Range劃分方法，劃分方案2是采用的R一H劃分方法，其結(jié)果如圖5.5所示:1412 ////////廣 廣///廠 廠///廠 廠 /////.../丫‘‘·Range方法~R一H方法具瑕蘭1節(jié)點(diǎn)4節(jié)點(diǎn)8節(jié)點(diǎn)16節(jié)點(diǎn)圖5.5不同劃分方案的加速比圖5.5表明R一H劃分方法相對于Range劃分方法具有更好的并行加速比，這與通過查詢代價(jià)模型計(jì)算得到的劃分代價(jià)是一致的�？紤]到所涉及的查一詢負(fù)載中連接與聚集操作所占的比重比較大，說明當(dāng)查詢越復(fù)雜，系統(tǒng)的并行能力越好。5】


本文編號：3628462