OLAP系統(tǒng)是一種海量數(shù)據(jù)查詢需求場景中的解決方案,被廣泛應(yīng)用在銷售、市場、統(tǒng)計等領(lǐng)域,為企業(yè)決策提供支持。如今,數(shù)據(jù)倉庫和多維分析等技術(shù)已經(jīng)逐漸成為行業(yè)主流的OLAP解決思路。在數(shù)據(jù)計算方面,Spark是相對成熟,應(yīng)用廣泛的大數(shù)據(jù)計算引擎,Kylin是一種集成性的OLAP的解決方案,通過預(yù)計算生成數(shù)據(jù)立方體以提供超高速的查詢服務(wù)。本文在對數(shù)據(jù)進(jìn)行定義、分析和整理的基礎(chǔ)上,進(jìn)行清洗、轉(zhuǎn)化和建模,構(gòu)建數(shù)據(jù)倉庫,設(shè)計數(shù)據(jù)立方體,同時對系統(tǒng)進(jìn)行了需求分析、概要設(shè)計,并詳細(xì)介紹了系統(tǒng)的實現(xiàn)。使用該系統(tǒng),用戶可以通過選擇查詢維度創(chuàng)建任務(wù),也可以通過編寫SQL語句創(chuàng)建任務(wù),從不同角度觀察訪問量、點擊通過率、收入等業(yè)務(wù)指標(biāo)。系統(tǒng)還提供了用戶權(quán)限配置的功能和任務(wù)隊列管理的功能。本系統(tǒng)的特點在于多計算引擎下的任務(wù)的調(diào)度,以及兼具并發(fā)性、擴展性和高效率的架構(gòu)設(shè)計。技術(shù)方面,系統(tǒng)使用Hive作為數(shù)據(jù)倉庫,使用Spark和Kylin作為計算引擎,并支持引擎的自動切換和擴展。使用Golang和Scala作為主要開發(fā)語言。總體架構(gòu)方面,系統(tǒng)采用三端分離的架構(gòu)方式,即前端負(fù)責(zé)用戶交互和信息展示;后端負(fù)責(zé)權(quán)限管理和任... 

【文章來源】：北京交通大學(xué)北京市 211工程院校 教育部直屬院校

【文章頁數(shù)】：100 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖１－１數(shù)據(jù)倉庫和ＯＬＡＰ??Ｆｉｕｒｅ?１．１?Ｄａｔａ?Ｗａｒｅｈｏｕｓｅ?ａｎｄ?ＯＬＡＰ??

圖１－４數(shù)據(jù)Ｃｕｂｅ示例以及常用ＯＬＡＰ操作ｍ??

圖２－１互聯(lián)網(wǎng)廣告模式圖??Ｆｉｕｒｅ?２－１?Ｉｎｔｅｒｎｅｔ?ＡｄｖｅｒｔｉｓｉｎＳｃｈｅｍａ??

【參考文獻(xiàn)】：
期刊論文
[1]基于Kylin實現(xiàn)大數(shù)據(jù)多維分析[J]. 譚志遠(yuǎn).  廣東通信技術(shù). 2018(08)
[2]Hadoop與Spark應(yīng)用場景研究[J]. 馮興杰,王文超.  計算機應(yīng)用研究. 2018(09)
[3]B\S和C\S的架構(gòu)分析[J]. 籍慧文.  電子技術(shù)與軟件工程. 2017(05)
[4]基于Hadoop的交互式大數(shù)據(jù)分析查詢處理方法[J]. 李聰穎,王瑞剛,梁小江.  計算機技術(shù)與發(fā)展. 2016(08)
[5]移動營銷常見方法及技巧[J]. 王亞明.  現(xiàn)代經(jīng)濟信息. 2016(11)
[6]基于Java的Protocol Buffers研究[J]. 何雙江.  程序員. 2009(08)
[7]Protocol Buffers——比XML快近100倍[J]. 宮唐小恒,李旭偉.  電腦與信息技術(shù). 2009(01)
[8]一種新型數(shù)據(jù)倉庫體系的實現(xiàn)[J]. 張磊,鐘勇.  計算機應(yīng)用. 2003(10)

碩士論文
[1]基于Kylin的數(shù)據(jù)實時查詢分析平臺的研究與優(yōu)化[D]. 李明昆.北京郵電大學(xué) 2018
[2]基于Protocol Buffer的即時通信監(jiān)控系統(tǒng)設(shè)計與實現(xiàn)[D]. 劉青.華中科技大學(xué) 2013



本文編號：2981928