隨著移動互聯(lián)網(wǎng)的發(fā)展和普及,越來越多用戶選擇網(wǎng)約車服務(wù)作為出行的首選,互聯(lián)網(wǎng)企業(yè)也因此收集了海量的數(shù)據(jù)。用戶在享受移動出行服務(wù)中產(chǎn)生的數(shù)據(jù)被存儲在數(shù)據(jù)倉庫中,用以支持分析和決策,然而基于Hive的數(shù)據(jù)倉庫存在查詢速度慢、操作復(fù)雜、元數(shù)據(jù)和指標(biāo)意義不清晰、數(shù)據(jù)質(zhì)量無法保證等問題。數(shù)據(jù)服務(wù)化系統(tǒng)為了讓數(shù)據(jù)更好的為用戶服務(wù),讓用戶更好的使用已構(gòu)建好的數(shù)據(jù)倉庫,提供以下服務(wù):利用HBase查詢速度快但是不支持復(fù)雜Join的特點,提供實時查詢數(shù)據(jù)集市中數(shù)據(jù)進(jìn)行聯(lián)機分析處理(Online Analytical Processing,OLAP)服務(wù),解決用戶使用Hive查詢速度慢的問題;數(shù)據(jù)倉庫元數(shù)據(jù)和指標(biāo)查詢,讓用戶不必為報表中的指標(biāo)和元數(shù)據(jù)意義不明確而困擾。同時,由于數(shù)據(jù)倉庫中數(shù)據(jù)需要業(yè)務(wù)人員基于業(yè)務(wù)數(shù)據(jù)進(jìn)行二次開發(fā),本系統(tǒng)為數(shù)據(jù)倉庫業(yè)務(wù)人員提供以下服務(wù)功能:保證數(shù)據(jù)質(zhì)量,維護(hù)數(shù)據(jù)的一致性和準(zhǔn)確性;元數(shù)據(jù)的創(chuàng)建和維護(hù);HBase中數(shù)據(jù)立方體的構(gòu)建,實時查詢用于支持OLAP。保證數(shù)據(jù)倉庫業(yè)務(wù)人員在日常工作中順利的產(chǎn)出數(shù)據(jù)。按照需求分析和功能劃分,系統(tǒng)共有元數(shù)據(jù)中心、指標(biāo)字典、數(shù)據(jù)服務(wù)化配置中心、報表系統(tǒng)四個模塊。系統(tǒng)采用四層架構(gòu)模型降低了系統(tǒng)各模塊之間的耦合度,采用My SQ作為業(yè)務(wù)數(shù)據(jù)庫和HBase作為No SQL數(shù)據(jù)庫,并最終根據(jù)測試結(jié)果和用戶反饋不斷進(jìn)行迭代優(yōu)化。數(shù)據(jù)服務(wù)化系統(tǒng)已在企業(yè)內(nèi)上線運行,幫助普通用戶解決日常工作中使用數(shù)據(jù)倉庫遇到的問題,幫助數(shù)據(jù)倉庫業(yè)務(wù)人員更高效的進(jìn)行數(shù)據(jù)開發(fā),保證數(shù)據(jù)質(zhì)量,讓數(shù)據(jù)可以更好的為用戶服務(wù)。
【學(xué)位單位】：華中科技大學(xué)
【學(xué)位級別】：碩士
【學(xué)位年份】：2018
【中圖分類】：TP311.52
【部分圖文】：

圖 1-1 數(shù)據(jù)立方體物理模型圖Cube 構(gòu)建采用的傳統(tǒng)算法是逐層算法[34]，已知一個 N 維的 Cube 可以組合出 的 N 次方個 cuboid，也就是 2 的 N 次方個子 Cube，其中包括 1 個 N 維的子 CubeN 個(N-1)維的子 Cube，N*(N-1)/2 個(N-2)維子 Cube…N 個 1 維的子 Cube， 1 個

圖 1-2 逐層算法模型圖Kylin 中采用的另一個 Cube 構(gòu)建算法是快速 Cube 算法，如圖 1-3 所示快速 Cube算法的主要思想是將給 map 任務(wù)分配的所有的數(shù)據(jù)塊，都視為一個小的 Cube 進(jìn)行計算，其中包括全部的 Cuboid；每個小的 Cube 計算完成后將計算結(jié)果輸入給 Reduce

快速Cube算法模型圖
【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 孔曉華;;OLAP技術(shù)在進(jìn)口圖書數(shù)據(jù)分析中的應(yīng)用研究[J];電子科學(xué)技術(shù);2015年04期

2 任磊;杜一;馬帥;張小龍;戴國忠;;大數(shù)據(jù)可視分析綜述[J];軟件學(xué)報;2014年09期

3 宋杰;郭朝鵬;王智;張一川;于戈;Jean-Marc PIERSON;;大數(shù)據(jù)分析的分布式MOLAP技術(shù)[J];軟件學(xué)報;2014年04期

4 董新華;李瑞軒;周灣灣;王聰;薛正元;廖東杰;;Hadoop系統(tǒng)性能優(yōu)化與功能增強綜述[J];計算機研究與發(fā)展;2013年S2期

5 孟小峰;李勇;祝建華;;社會計算:大數(shù)據(jù)時代的機遇與挑戰(zhàn)[J];計算機研究與發(fā)展;2013年12期

6 劉師語;周淵平;杜江;;基于HADOOP分布式系統(tǒng)的數(shù)據(jù)處理分析[J];通信技術(shù);2013年09期

7 李玉林;董晶;;基于Hadoop的MapReduce模型的研究與改進(jìn)[J];計算機工程與設(shè)計;2012年08期

8 郝樹魁;;Hadoop HDFS和MapReduce架構(gòu)淺析[J];郵電設(shè)計技術(shù);2012年07期

9 崔杰;李陶深;蘭紅星;;基于Hadoop的海量數(shù)據(jù)存儲平臺設(shè)計與開發(fā)[J];計算機研究與發(fā)展;2012年S1期

10 林偉偉;;一種改進(jìn)的Hadoop數(shù)據(jù)放置策略[J];華南理工大學(xué)學(xué)報(自然科學(xué)版);2012年01期

本文編號：2881804