本文關(guān)鍵詞：云平臺(tái)上基于OLAP的what-if分析技術(shù)研究，由筆耕文化傳播整理發(fā)布。

【摘要】：近年來(lái),由于商業(yè)環(huán)境的瞬息萬(wàn)變,決策者需要更快更準(zhǔn)的捕獲商機(jī)。從存有大量歷史數(shù)據(jù)的數(shù)據(jù)倉(cāng)庫(kù)中挖掘有價(jià)值的信息,對(duì)企業(yè)的運(yùn)營(yíng)及策略調(diào)整起著至關(guān)重要的作用。OLAP是決策支持的重要方法,在OLAP系統(tǒng)中,What-if分析是基于歷史數(shù)據(jù)對(duì)假設(shè)場(chǎng)景進(jìn)行分析的一類OLAP技術(shù),它在決策者對(duì)多種方案進(jìn)行預(yù)測(cè)和評(píng)估中扮演重要角色�；贒elta表存儲(chǔ)是實(shí)現(xiàn)what-if分析的通用解決方案,其面臨的主要難題是如何快速實(shí)現(xiàn)what-if更新和高效地執(zhí)行OLAP查詢。隨著大規(guī)模并行處理數(shù)據(jù)倉(cāng)庫(kù)的發(fā)展,可提供高效的并行查詢處理及強(qiáng)大的數(shù)據(jù)分析能力;同時(shí),云計(jì)算具有高擴(kuò)展性、計(jì)算能力強(qiáng)、資源整合、高容錯(cuò)性、處理海量數(shù)據(jù)以及低成本等特點(diǎn)。本文利用大規(guī)模并行數(shù)據(jù)處理和云計(jì)算的優(yōu)勢(shì)解決基于delta表存儲(chǔ)的what-if分析的性能問(wèn)題具有重要的意義。本文的主要工作包括:(1)設(shè)計(jì)與實(shí)現(xiàn)基于delta表的what-if分析云服務(wù)。首先,采用Proxmox VE構(gòu)建輕量級(jí)云平臺(tái)、大規(guī)模并行處理數(shù)據(jù)倉(cāng)庫(kù)Greenplum存儲(chǔ)數(shù)據(jù),為what-if分析提供環(huán)境支撐;其次,提供基于Mondrian的what-if分析引擎;最后,實(shí)現(xiàn)基于Docker的what-if分析云服務(wù)。(2)設(shè)計(jì)兩種方案對(duì)基于分布式計(jì)算的what-if分析并行處理進(jìn)行性能測(cè)試,然后針對(duì)OLAP查詢中耗時(shí)較長(zhǎng)的分布式聚集函數(shù),提出并行執(zhí)行策略;(3)分析基于delta表的what-if分析查詢性能瓶頸,并在what-if更新階段,提出基于bloom filter優(yōu)化算法,實(shí)驗(yàn)結(jié)果表明bloom filter算法生成what-if視圖比傳統(tǒng)的表連接算法性能提高約32%;在OLAP查詢階段,設(shè)計(jì)并實(shí)現(xiàn)基于Redis的查詢緩存算法WFQC,與傳統(tǒng)的物化視圖機(jī)制相比,基于Redis查詢緩存的OLAP查詢性能提升2倍。
【關(guān)鍵詞】：云計(jì)算 大規(guī)模并行處理 what-if分析 delta表 Bloom filter
【學(xué)位授予單位】：貴州大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：TP311.13
【目錄】：

• 摘要4-5
• Abstract5-6
• 第一章 緒論6-12
• 1.1 研究背景及意義6-7
• 1.2 國(guó)內(nèi)外研究現(xiàn)狀7-9
• 1.3 研究?jī)?nèi)容及創(chuàng)新點(diǎn)9-10
• 1.4 論文組織結(jié)構(gòu)10-12
• 第二章 相關(guān)技術(shù)12-27
• 2.1 基于OLAP的what-if分析技術(shù)12-16
• 2.1.1 OLAP技術(shù)12-13
• 2.1.2 what-if分析基本概念13-15
• 2.1.3 what-if分析實(shí)現(xiàn)技術(shù)15-16
• 2.2 云計(jì)算16-21
• 2.2.1 虛擬化技術(shù)17-20
• 2.2.2 多租戶技術(shù)20-21
• 2.3 大規(guī)模并行處理系統(tǒng)21-24
• 2.3.1 Hive21-23
• 2.3.2 Vertica23
• 2.3.3 Greenplum23-24
• 2.4 分布式緩存系統(tǒng)24-26
• 2.5 本章小結(jié)26-27
• 第三章 基于Delta表的what-if分析云服務(wù)設(shè)計(jì)與實(shí)現(xiàn)27-48
• 3.1 基于delta表的what-if分析相關(guān)定義27-28
• 3.2 What-if分析云服務(wù)整體設(shè)計(jì)28-31
• 3.2.1 What-if分析云服務(wù)的必要性29
• 3.2.2 What-if分析云服務(wù)架構(gòu)29-31
• 3.3 存儲(chǔ)層的設(shè)計(jì)與實(shí)現(xiàn)31-34
• 3.3.1 基于云平臺(tái)的存儲(chǔ)架構(gòu)31-32
• 3.3.2 What-if多維分析數(shù)據(jù)處理32-34
• 3.4 分析層的設(shè)計(jì)與實(shí)現(xiàn)34-44
• 3.4.1 What-if分析引擎34-37
• 3.4.2 多維模型Schema文件及模板文件Template37-40
• 3.4.3 What-if分析可視化操作40-44
• 3.5 云服務(wù)層的設(shè)計(jì)與實(shí)現(xiàn)44-47
• 3.6 本章總結(jié)47-48
• 第四章 基于Delta的what-if分析性能優(yōu)化策略48-66
• 4.1 基于delta表的what-if更新算法48-50
• 4.1.1 基于innerjoin的what-if更新48-49
• 4.1.2 基于leftjoin的what-if更新49-50
• 4.1.3 基于fulljoin的what-if更新50
• 4.2 基于分布式計(jì)算的what-if分析并行處理50-57
• 4.2.1 What-if分析的分布式并行處理51-52
• 4.2.2 分布式聚集運(yùn)算的并行執(zhí)行52-53
• 4.2.3 實(shí)驗(yàn)配置與性能測(cè)試53-57
• 4.3 基于Bloom filter的what-if更新性能優(yōu)化57-65
• 4.3.1 Bloom filter概述57-58
• 4.3.2 基于Bloom filter的what-if更新58-60
• 4.3.3 基于what-if更新的OLAP查詢優(yōu)化60-61
• 4.3.4 實(shí)驗(yàn)結(jié)果與分析61-65
• 4.4 本章小結(jié)65-66
• 第五章 總結(jié)與展望66-68
• 5.1 總結(jié)66-67
• 5.2 展望67-68
• 致謝68-69
• 參考文獻(xiàn)69-72
• 附錄72-73
• 圖表目錄73-75

  本文關(guān)鍵詞：云平臺(tái)上基于OLAP的what-if分析技術(shù)研究，，由筆耕文化傳播整理發(fā)布。

本文編號(hào)：433410