大數(shù)據(jù)時代,如何實現(xiàn)海量數(shù)據(jù)的快速存儲和分析成為數(shù)據(jù)庫領(lǐng)域研究的熱點,具有良好性能的分布式數(shù)據(jù)庫應(yīng)運而生。傳統(tǒng)的分布式數(shù)據(jù)庫往往采用行式存儲,計算效率和存儲效率較低。分布式列式數(shù)據(jù)庫將每張表的每個列切片后分開存儲,此方式可充分利用分片數(shù)據(jù)的相似性進行高效地壓縮和提取,在計算時也能有效地利用處理器的并行處理能力加快計算速度從而提升硬件資源的利用率。本文針對分布式列式數(shù)據(jù)庫場景,設(shè)計并實現(xiàn)了一個面向聯(lián)機分析處理(Online Analytical Processing,OLAP)的查詢優(yōu)化器,目的在于解決復(fù)雜查詢場景下的查詢優(yōu)化問題,加速任務(wù)的執(zhí)行,同時高效地利用硬件資源。本文的主要工作內(nèi)容如下:1.研究對比行式數(shù)據(jù)庫和列式數(shù)據(jù)庫的查詢優(yōu)化器,設(shè)計分布式列式場景下的查詢優(yōu)化流程,完成從SQL語句解析到分布式執(zhí)行計劃分裂與調(diào)度過程的設(shè)計與實現(xiàn);2.根據(jù)列式計算特性,設(shè)計并實現(xiàn)了一整套相應(yīng)的算子,尤其在分組聚合等復(fù)雜語句的分布式調(diào)度和執(zhí)行上,設(shè)計出基于列式場景下的針對性解決方案,提高算子之間的并行度,減少數(shù)據(jù)傳輸開銷,實現(xiàn)查詢結(jié)果的快速響應(yīng);3.考慮編譯執(zhí)行技術(shù)在算子執(zhí)行時帶來的性能提升,以及...

【文章頁數(shù)】：97 頁

【學位級別】：碩士

【文章目錄】：
摘要
abstract
第一章 緒論
    1.1 研究工作的背景與意義
    1.2 國內(nèi)外研究歷史與現(xiàn)狀
    1.3 本文的主要貢獻與創(chuàng)新
    1.4 本論文的結(jié)構(gòu)安排
第二章 相關(guān)技術(shù)與典型系統(tǒng)
    2.1 查詢優(yōu)化器相關(guān)技術(shù)及理論
        2.1.1 PostgreSQL查詢優(yōu)化器
        2.1.2 Cascades查詢優(yōu)化器
        2.1.3 分布式數(shù)據(jù)庫查詢優(yōu)化器
    2.2 編譯執(zhí)行技術(shù)
    2.3 分布式調(diào)度
        2.3.1 問題模型
        2.3.2 調(diào)度算法
    2.4 本章小結(jié)
第三章 系統(tǒng)總體設(shè)計
    3.1 需求分析及設(shè)計目標
    3.2 分布式列式數(shù)據(jù)庫整體架構(gòu)設(shè)計
    3.3 查詢引擎的關(guān)鍵模塊總體設(shè)計
        3.3.1 行式計劃生成
        3.3.2 列式計劃生成
        3.3.3 列式計劃分裂
        3.3.4 編譯執(zhí)行
        3.3.5 代價估算
        3.3.6 任務(wù)調(diào)度
    3.4 本章小結(jié)
第四章 詳細設(shè)計與實現(xiàn)
    4.1 算子實現(xiàn)
        4.1.1 GetColumn算子
        4.1.2 Join算子
        4.1.3 PreGroupBy算子
        4.1.4 GroupBy算子
        4.1.5 Aggregate算子
        4.1.6 PreOrderBy與 OrderBy算子
        4.1.7 BuildRow算子
    4.2 計劃轉(zhuǎn)換實現(xiàn)
        4.2.1 Join樹轉(zhuǎn)換實現(xiàn)
        4.2.2 分組聚合轉(zhuǎn)換實現(xiàn)
        4.2.3 排序算子轉(zhuǎn)換實現(xiàn)
        4.2.4 BuildRow算子轉(zhuǎn)換實現(xiàn)
    4.3 算子分裂實現(xiàn)
        4.3.1 Join樹分裂實現(xiàn)
        4.3.2 分組聚合算子分裂實現(xiàn)
    4.4 調(diào)度模塊實現(xiàn)
    4.5 本章小結(jié)
第五章 測試與分析
    5.1 測試環(huán)境
        5.1.1 硬件環(huán)境
        5.1.2 系統(tǒng)部署
        5.1.3 測試數(shù)據(jù)集
    5.2 功能測試
        5.2.1 單表掃描功能測試
        5.2.2 謂詞篩選功能測試
        5.2.3 多表連接功能測試
        5.2.4 分組聚合功能測試
        5.2.5 排序功能測試
    5.3 性能測試
        5.3.1 單表掃描查詢延遲測試
        5.3.2 多表連接查詢延遲測試
        5.3.3 分組聚合查詢延遲測試
        5.3.4 排序查詢延遲測試
        5.3.5 復(fù)雜查詢延遲測試
    5.4 本章小結(jié)
第六章 總結(jié)與展望
致謝
參考文獻
攻讀碩士學位期間取得的成果



本文編號：3780294