發(fā)布時間：2017-06-08 19:01

  本文關(guān)鍵詞：云平臺上基于OLAP的what-if分析技術(shù)研究，由筆耕文化傳播整理發(fā)布。

【摘要】：近年來,由于商業(yè)環(huán)境的瞬息萬變,決策者需要更快更準的捕獲商機。從存有大量歷史數(shù)據(jù)的數(shù)據(jù)倉庫中挖掘有價值的信息,對企業(yè)的運營及策略調(diào)整起著至關(guān)重要的作用。OLAP是決策支持的重要方法,在OLAP系統(tǒng)中,What-if分析是基于歷史數(shù)據(jù)對假設(shè)場景進行分析的一類OLAP技術(shù),它在決策者對多種方案進行預(yù)測和評估中扮演重要角色。基于Delta表存儲是實現(xiàn)what-if分析的通用解決方案,其面臨的主要難題是如何快速實現(xiàn)what-if更新和高效地執(zhí)行OLAP查詢。隨著大規(guī)模并行處理數(shù)據(jù)倉庫的發(fā)展,可提供高效的并行查詢處理及強大的數(shù)據(jù)分析能力;同時,云計算具有高擴展性、計算能力強、資源整合、高容錯性、處理海量數(shù)據(jù)以及低成本等特點。本文利用大規(guī)模并行數(shù)據(jù)處理和云計算的優(yōu)勢解決基于delta表存儲的what-if分析的性能問題具有重要的意義。本文的主要工作包括:(1)設(shè)計與實現(xiàn)基于delta表的what-if分析云服務(wù)。首先,采用Proxmox VE構(gòu)建輕量級云平臺、大規(guī)模并行處理數(shù)據(jù)倉庫Greenplum存儲數(shù)據(jù),為what-if分析提供環(huán)境支撐;其次,提供基于Mondrian的what-if分析引擎;最后,實現(xiàn)基于Docker的what-if分析云服務(wù)。(2)設(shè)計兩種方案對基于分布式計算的what-if分析并行處理進行性能測試,然后針對OLAP查詢中耗時較長的分布式聚集函數(shù),提出并行執(zhí)行策略;(3)分析基于delta表的what-if分析查詢性能瓶頸,并在what-if更新階段,提出基于bloom filter優(yōu)化算法,實驗結(jié)果表明bloom filter算法生成what-if視圖比傳統(tǒng)的表連接算法性能提高約32%;在OLAP查詢階段,設(shè)計并實現(xiàn)基于Redis的查詢緩存算法WFQC,與傳統(tǒng)的物化視圖機制相比,基于Redis查詢緩存的OLAP查詢性能提升2倍。
【關(guān)鍵詞】：云計算 大規(guī)模并行處理 what-if分析 delta表 Bloom filter
【學位授予單位】：貴州大學
【學位級別】：碩士
【學位授予年份】：2016
【分類號】：TP311.13
【目錄】：

• 摘要4-5
• Abstract5-6
• 第一章 緒論6-12
• 1.1 研究背景及意義6-7
• 1.2 國內(nèi)外研究現(xiàn)狀7-9
• 1.3 研究內(nèi)容及創(chuàng)新點9-10
• 1.4 論文組織結(jié)構(gòu)10-12
• 第二章 相關(guān)技術(shù)12-27
• 2.1 基于OLAP的what-if分析技術(shù)12-16
• 2.1.1 OLAP技術(shù)12-13
• 2.1.2 what-if分析基本概念13-15
• 2.1.3 what-if分析實現(xiàn)技術(shù)15-16
• 2.2 云計算16-21
• 2.2.1 虛擬化技術(shù)17-20
• 2.2.2 多租戶技術(shù)20-21
• 2.3 大規(guī)模并行處理系統(tǒng)21-24
• 2.3.1 Hive21-23
• 2.3.2 Vertica23
• 2.3.3 Greenplum23-24
• 2.4 分布式緩存系統(tǒng)24-26
• 2.5 本章小結(jié)26-27
• 第三章 基于Delta表的what-if分析云服務(wù)設(shè)計與實現(xiàn)27-48
• 3.1 基于delta表的what-if分析相關(guān)定義27-28
• 3.2 What-if分析云服務(wù)整體設(shè)計28-31
• 3.2.1 What-if分析云服務(wù)的必要性29
• 3.2.2 What-if分析云服務(wù)架構(gòu)29-31
• 3.3 存儲層的設(shè)計與實現(xiàn)31-34
• 3.3.1 基于云平臺的存儲架構(gòu)31-32
• 3.3.2 What-if多維分析數(shù)據(jù)處理32-34
• 3.4 分析層的設(shè)計與實現(xiàn)34-44
• 3.4.1 What-if分析引擎34-37
• 3.4.2 多維模型Schema文件及模板文件Template37-40
• 3.4.3 What-if分析可視化操作40-44
• 3.5 云服務(wù)層的設(shè)計與實現(xiàn)44-47
• 3.6 本章總結(jié)47-48
• 第四章 基于Delta的what-if分析性能優(yōu)化策略48-66
• 4.1 基于delta表的what-if更新算法48-50
• 4.1.1 基于innerjoin的what-if更新48-49
• 4.1.2 基于leftjoin的what-if更新49-50
• 4.1.3 基于fulljoin的what-if更新50
• 4.2 基于分布式計算的what-if分析并行處理50-57
• 4.2.1 What-if分析的分布式并行處理51-52
• 4.2.2 分布式聚集運算的并行執(zhí)行52-53
• 4.2.3 實驗配置與性能測試53-57
• 4.3 基于Bloom filter的what-if更新性能優(yōu)化57-65
• 4.3.1 Bloom filter概述57-58
• 4.3.2 基于Bloom filter的what-if更新58-60
• 4.3.3 基于what-if更新的OLAP查詢優(yōu)化60-61
• 4.3.4 實驗結(jié)果與分析61-65
• 4.4 本章小結(jié)65-66
• 第五章 總結(jié)與展望66-68
• 5.1 總結(jié)66-67
• 5.2 展望67-68
• 致謝68-69
• 參考文獻69-72
• 附錄72-73
• 圖表目錄73-75

  本文關(guān)鍵詞：云平臺上基于OLAP的what-if分析技術(shù)研究，，由筆耕文化傳播整理發(fā)布。

本文編號：433410