發(fā)布時(shí)間：2017-05-14 19:03

  本文關(guān)鍵詞：基于連接順序優(yōu)化的分布式能耗數(shù)據(jù)存儲(chǔ)系統(tǒng)的研究與實(shí)現(xiàn)，由筆耕文化傳播整理發(fā)布。

【摘要】：連接優(yōu)化一直是關(guān)系型數(shù)據(jù)庫(kù)領(lǐng)域的研究熱點(diǎn)之一。對(duì)于同樣的連接查詢(xún)目的,數(shù)據(jù)庫(kù)需要對(duì)執(zhí)行方案進(jìn)行規(guī)劃與選擇,使執(zhí)行代價(jià)最小化,執(zhí)行性能最大化。在分布式環(huán)境下,由于應(yīng)用系統(tǒng)間數(shù)據(jù)模型、部署模型、以及并發(fā)模型的獨(dú)特性,分布式數(shù)據(jù)庫(kù)提供中間件級(jí)別的連接優(yōu)化,難以滿(mǎn)足所有應(yīng)用場(chǎng)景的需求。在華南理工大學(xué)分布式能耗數(shù)據(jù)存儲(chǔ)系統(tǒng)中,由于上層數(shù)據(jù)分析系統(tǒng)的需求,需要頻繁地執(zhí)行多關(guān)系跨庫(kù)連接查詢(xún)。研究發(fā)現(xiàn),目前使用的分布式數(shù)據(jù)庫(kù)中間件Presto所提供的連接優(yōu)化方案并不適用于我們的應(yīng)用場(chǎng)景,導(dǎo)致跨庫(kù)連接查詢(xún)的性能受制于查詢(xún)語(yǔ)句的連接順序。針對(duì)這一事實(shí),本文對(duì)分布式環(huán)境下的連接優(yōu)化技術(shù)進(jìn)行研究,針對(duì)應(yīng)用場(chǎng)景進(jìn)行分析,并將優(yōu)化方案集成于分布式數(shù)據(jù)庫(kù)中間件Presto,最終應(yīng)用到分布式能耗數(shù)據(jù)存儲(chǔ)系統(tǒng)中。本文的主要研究工作有以下幾個(gè)方面:首先,本文基于上層能耗分析系統(tǒng)對(duì)數(shù)據(jù)存儲(chǔ)系統(tǒng)的需求,結(jié)合云端部署環(huán)境的優(yōu)勢(shì)與不足,應(yīng)用了分布式存儲(chǔ)系統(tǒng)的三層架構(gòu)。三層架構(gòu)的新存儲(chǔ)系統(tǒng)不僅提高了原有存儲(chǔ)系統(tǒng)的可用性,更是將原來(lái)零散的數(shù)據(jù)子庫(kù)進(jìn)行中心化維護(hù),并向上層能耗分析系統(tǒng)提供分布式查詢(xún)支持。其次,本文對(duì)分布式環(huán)境下連接優(yōu)化技術(shù)進(jìn)行研究,尤其是連接順序優(yōu)化技術(shù)。通過(guò)對(duì)搜索空間進(jìn)行剪枝,對(duì)查詢(xún)代價(jià)評(píng)估模型以及元數(shù)據(jù)獲取方案進(jìn)行優(yōu)化,設(shè)計(jì)了適用于目前應(yīng)用場(chǎng)景的連接順序優(yōu)化方案。再次,通過(guò)對(duì)分布式數(shù)據(jù)庫(kù)中間件Presto進(jìn)行研究,將連接順序優(yōu)化方案集成到Presto中,并將優(yōu)化器實(shí)現(xiàn)上推到Github。最后,本文還設(shè)計(jì)了一系列的功能測(cè)試與性能測(cè)試,表明了新存儲(chǔ)系統(tǒng)足以支撐上層分析系統(tǒng)的業(yè)務(wù)需求,并且在目前的應(yīng)用場(chǎng)景下,對(duì)比原生中間件在跨庫(kù)連接操作上擁有更優(yōu)的查詢(xún)性能。
【關(guān)鍵詞】：分布式 連接順序優(yōu)化 Presto 分布式存儲(chǔ)系統(tǒng) 三層架構(gòu)
【學(xué)位授予單位】：華南理工大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2015
【分類(lèi)號(hào)】：TP333
【目錄】：

• 摘要5-6
• ABSTRACT6-11
• 第一章 緒論11-16
• 1.1 論文研究背景11-12
• 1.2 國(guó)內(nèi)外研究現(xiàn)狀12-14
• 1.3 論文研究?jī)?nèi)容及意義14
• 1.4 論文組織結(jié)構(gòu)14-16
• 第二章 技術(shù)調(diào)研16-29
• 2.1 分布式存儲(chǔ)架構(gòu)16-20
• 2.1.1 Real Application Cluster與PGXC16-18
• 2.1.2 基于中間件的架構(gòu)18-20
• 2.2 連接優(yōu)化技術(shù)調(diào)研20-27
• 2.2.1 半連接優(yōu)化20-23
• 2.2.2 直接連接優(yōu)化23-25
• 2.2.3 連接順序優(yōu)化25-27
• 2.3 本章小結(jié)27-29
• 第三章 存儲(chǔ)架構(gòu)設(shè)計(jì)與實(shí)現(xiàn)29-35
• 3.1 存儲(chǔ)系統(tǒng)實(shí)現(xiàn)需求29
• 3.2 部署環(huán)境分析29-31
• 3.3 數(shù)據(jù)存儲(chǔ)三層架構(gòu)設(shè)計(jì)31-34
• 3.3.1 方案優(yōu)勢(shì)分析32-33
• 3.3.2 方案代價(jià)分析33-34
• 3.4 本章小結(jié)34-35
• 第四章 連接優(yōu)化方案設(shè)計(jì)35-48
• 4.1 數(shù)據(jù)特性分析35-38
• 4.1.1 數(shù)據(jù)特征分析35-36
• 4.1.2 適用性分析36-38
• 4.2 基于代價(jià)模型的分布式連接順序優(yōu)化算法38-47
• 4.2.1 搜索空間剪枝40-41
• 4.2.3 連接代價(jià)評(píng)估41-45
• 4.2.5 評(píng)估成本優(yōu)化45-47
• 4.3 本章小結(jié)47-48
• 第五章 基于PRESTO的優(yōu)化實(shí)現(xiàn)48-62
• 5.1 PRESTO查詢(xún)樹(shù)構(gòu)建分析48-51
• 5.2 優(yōu)化器模塊化設(shè)計(jì)51-52
• 5.3 優(yōu)化器實(shí)現(xiàn)52-61
• 5.3.1 查詢(xún)樹(shù)分析模塊53-54
• 5.3.2 查詢(xún)樹(shù)重寫(xiě)模塊54-55
• 5.3.3 優(yōu)化分析模塊55-61
• 5.4 本章小結(jié)61-62
• 第六章 系統(tǒng)測(cè)試與分析62-69
• 6.1 測(cè)試環(huán)境說(shuō)明62-64
• 6.2 性能測(cè)試64-67
• 6.3 功能測(cè)試67-68
• 6.4 本章小結(jié)68-69
• 結(jié)論與展望69-71
• 研究工作總結(jié)69-70
• 工作展望70-71
• 參考文獻(xiàn)71-75
• 致謝75-76
• 附件76

【參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前5條

1 李桂杰;梅紅;;多關(guān)系SQL查詢(xún)中連接順序的優(yōu)化[J];杭州電子科技大學(xué)學(xué)報(bào);2006年02期

2 魏士偉;黃文明;康業(yè)娜;周婭;;分布式數(shù)據(jù)庫(kù)中基于半連接的查詢(xún)優(yōu)化算法研究[J];計(jì)算機(jī)應(yīng)用;2007年S1期

3 陳樹(shù)平;關(guān)系數(shù)據(jù)庫(kù)中連接操作的代價(jià)[J];計(jì)算機(jī)與網(wǎng)絡(luò);2004年10期

4 馮凱平;;數(shù)據(jù)查詢(xún)操作代價(jià)估計(jì)[J];計(jì)算機(jī)與現(xiàn)代化;2012年07期

5 張時(shí)鵬,陶世群;大規(guī)模數(shù)據(jù)庫(kù)的一種新的分布式查詢(xún)優(yōu)化算法──二分劈開(kāi)縮減[J];計(jì)算機(jī)工程與設(shè)計(jì);1998年04期

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前1條

1 劉霖;分布式存儲(chǔ)系統(tǒng)中的能耗管理策略研究[D];華南理工大學(xué);2013年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前1條

1 李芳萍;基于半連接策略的分布式數(shù)據(jù)庫(kù)查詢(xún)優(yōu)化理論研究及應(yīng)用[D];中南大學(xué);2008年

  本文關(guān)鍵詞：基于連接順序優(yōu)化的分布式能耗數(shù)據(jù)存儲(chǔ)系統(tǒng)的研究與實(shí)現(xiàn)，由筆耕文化傳播整理發(fā)布。

，

本文編號(hào)：365975