報(bào)表系統(tǒng)一直以來(lái)是企業(yè)的基本業(yè)務(wù)要求,是企業(yè)管理的基本措施和途徑,也是企業(yè)實(shí)施商業(yè)智能戰(zhàn)略的基礎(chǔ)。隨著零售企業(yè)規(guī)模的擴(kuò)大和歷史數(shù)據(jù)快速的積累,在商業(yè)智能領(lǐng)域,如何對(duì)海量零售數(shù)據(jù)進(jìn)行多維統(tǒng)計(jì)分析和展示成為了報(bào)表系統(tǒng)亟待解決的問(wèn)題。在此背景下,提出基于數(shù)據(jù)粒度預(yù)計(jì)算的零售報(bào)表系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)。本文首先介紹了零售企業(yè)報(bào)表管理的現(xiàn)狀,同時(shí)分析了國(guó)內(nèi)外基于大數(shù)據(jù)的報(bào)表系統(tǒng)構(gòu)建的研究?jī)?nèi)容、數(shù)據(jù)倉(cāng)庫(kù)的相關(guān)理論和相關(guān)大數(shù)據(jù)處理技術(shù),確定了以空間換取時(shí)間的預(yù)計(jì)算思路。然后,本文根據(jù)業(yè)務(wù)需求分析和功能性需求分析,明確了系統(tǒng)實(shí)現(xiàn)目標(biāo),并在分析的基礎(chǔ)上對(duì)于數(shù)據(jù)處理方案進(jìn)行設(shè)計(jì)。圍繞多維數(shù)據(jù)預(yù)處理模塊,采用了Apache Kylin分析引擎構(gòu)建數(shù)據(jù)立方體和存儲(chǔ)過(guò)程實(shí)現(xiàn)物化視圖,完成對(duì)海量零售數(shù)據(jù)的預(yù)計(jì)算和存儲(chǔ),提升了報(bào)表系統(tǒng)多維數(shù)據(jù)分析查詢的效率。最后,本文選用了 SSM（Spring+SpringMVC+MyBatis）web框架對(duì)報(bào)表管理平臺(tái)進(jìn)行構(gòu)建。在整個(gè)項(xiàng)目的設(shè)計(jì)過(guò)程中,本人主要負(fù)責(zé)數(shù)據(jù)倉(cāng)庫(kù)的設(shè)計(jì)、預(yù)計(jì)算模塊的設(shè)計(jì)及報(bào)表平臺(tái)的設(shè)計(jì)和開(kāi)發(fā)工作。在實(shí)驗(yàn)驗(yàn)證方面,本文首先通過(guò)任務(wù)調(diào)度平臺(tái)驗(yàn)證了預(yù)計(jì)算任務(wù)設(shè)計(jì)的... 

【文章來(lái)源】：北京交通大學(xué)北京市 211工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：91 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

查詢性能對(duì)比

鉆�。ǎ模颍椋欤欤洌铮鳎睿┎僮魇菫榱双@取某一個(gè)維度下更細(xì)節(jié)的數(shù)據(jù)，這個(gè)數(shù)據(jù)是??基于鉆取之前數(shù)據(jù)的另一個(gè)維度的細(xì)分［１Ｇ］。如圖２－２所示，如果將整個(gè)立方體看??作鉆取之前的數(shù)據(jù)，按時(shí)間維度對(duì)第二季度的商品銷(xiāo)售進(jìn)行鉆取，則可以分別獲??取到４月、５月和６月具體的數(shù)據(jù)信息。如果對(duì)時(shí)間、商品類(lèi)型和城市三個(gè)維度進(jìn)??行逐層多次鉆取，則可以獲取到某個(gè)月某個(gè)城市某類(lèi)商品的銷(xiāo)量信息。??上卷（Ｒｏｌｌ－ｕｐ）操作的目的與鉆取相反，上卷是為了把細(xì)粒度的數(shù)據(jù)進(jìn)行聚??集，從更高的維度去觀察數(shù)據(jù)，如圖２－２所示，當(dāng)對(duì)立方體數(shù)據(jù)進(jìn)行城市維度的上??卷時(shí)，便可以只從商品分類(lèi)和時(shí)間兩個(gè)維度去分析數(shù)據(jù)。??切片（Ｓｌｉｃｅ）操作是對(duì)某個(gè)維度中特定的值進(jìn)行分析［＂１，如圖２－２所示，當(dāng)選??中的商品分類(lèi)為電子產(chǎn)品時(shí)，就可以分析電子產(chǎn)品在不同時(shí)間和不同城市的銷(xiāo)量??情況。??切塊（Ｄｉｃｅ）操作是對(duì)某個(gè)維度中某個(gè)區(qū)間的數(shù)據(jù)進(jìn)行分析［１２］，如圖２－２所示，??當(dāng)需要分析上半年的銷(xiāo)售情況時(shí)，就可以進(jìn)行切塊操作截取時(shí)間維度第一季度和??第二季度的數(shù)據(jù)。??一

從圖２－３可以看出，Ｈｉｖｅ的工作流程可以大致分為三個(gè)步驟。首先，Ｈｉｖｅ將??用戶的查詢命令解析后通過(guò)執(zhí)行引擎?zhèn)鬟f給Ｈａｄｏｏｐ。然后，Ｈａｄｏｏｐ根據(jù)查詢命令??進(jìn)行ＭａｐＲｅｄｕｃｅ后。最后，執(zhí)行引擎獲�。龋幔洌铮铮鹬械臄�(shù)據(jù)結(jié)果返回給Ｈｉｖｅ接口。??第一步驟可以細(xì)分為：通過(guò)命令行或者Ｈｉｖｅ接口將查詢命令發(fā)送給數(shù)據(jù)庫(kù)驅(qū)動(dòng)程??序，數(shù)據(jù)庫(kù)驅(qū)動(dòng)程序?qū)Σ樵冋Z(yǔ)句進(jìn)行語(yǔ)法檢查、構(gòu)建語(yǔ)法解析樹(shù)和查詢計(jì)劃，編??譯器將元數(shù)據(jù)的請(qǐng)求發(fā)送到Ｍｅｔａｓｔｏｒｅ，Ｍｅｔａｓｔｏｒｅ返回元數(shù)據(jù)信息，編譯器檢查需??求并將計(jì)劃重新發(fā)給驅(qū)動(dòng)器程序。第二個(gè)步驟可以細(xì)分為：驅(qū)動(dòng)器程序?qū)?zhí)行計(jì)??劃發(fā)送給執(zhí)行引擎，執(zhí)行Ｊｏｂ任務(wù)。第三個(gè)步驟可以細(xì)分為：執(zhí)行引擎從數(shù)據(jù)節(jié)點(diǎn)??獲取數(shù)據(jù)結(jié)果集，執(zhí)行引擎將結(jié)果值發(fā)送至驅(qū)動(dòng)器程序，驅(qū)動(dòng)器程序?qū)⒔Y(jié)果發(fā)送??至?Ｈｉｖｅ?接口?［１９］。??ｊ?１?ｊ?ｉ?ｒ?？??ＥＴＬ?Ｔｏｏｌｓ?ｊ?］?ＢＩ?Ｒｅｐｏｒｔｉｎｇ?ｊ?ｊ?ＲＤＢＭＳ??ｉ?ｊ?ｉ?ｉ?ｉ?ｉ??Ｐｉｇ（Ｄａｔａ?Ｆｌｏｗ）?Ｈｉｖｅ（ＳＱＬ）?Ｓｑｏｏｐ??Ｎ????〇??．


本文編號(hào)：3587893