本文關(guān)鍵詞：基于HIVE電子商務(wù)多維分析技術(shù)應(yīng)用研究

  更多相關(guān)文章： 數(shù)據(jù)倉庫 電子商務(wù) Hive 多維分析 Hadoop

【摘要】：現(xiàn)如今是一個互聯(lián)網(wǎng)迅速普及、電子商務(wù)飛速發(fā)展的大數(shù)據(jù)時代,數(shù)據(jù)的急速爆增已成為必然,企業(yè)能否有效利用海量數(shù)據(jù)成為提升企業(yè)競爭力的關(guān)鍵。 因為電子商務(wù)企業(yè)產(chǎn)生的經(jīng)營數(shù)據(jù)要比傳統(tǒng)商務(wù)更為完整,所以對電子商務(wù)的數(shù)據(jù)進(jìn)行多維分析就更加有實際意義,從而能夠滿足企業(yè)對信息化、商業(yè)智能化等方面服務(wù)日益增長的需求。多維分析其本質(zhì)意義就在于通過模仿用戶多角度思考問題的模式來建立多維概念的視圖或多維的數(shù)據(jù)模型。Hive是Hadoop分布式開源架構(gòu)提供的一個數(shù)據(jù)倉庫工具,并且Hive提供類似于SQL查詢語句的HQL,通過將查詢語句內(nèi)部轉(zhuǎn)換為MapReduce任務(wù)進(jìn)行查詢計算,因此借助MapReduce的高計算能力,Hive將非常適合用來做大數(shù)據(jù)的多維分析。 本文依托面向小微企業(yè)的進(jìn)銷存管理平臺,結(jié)合企業(yè)經(jīng)營的實際情況,通過對數(shù)據(jù)倉庫、多維分析、Hive等相關(guān)技術(shù)的深入研究,利用Hive技術(shù)提出了電子商務(wù)多維分析技術(shù)的解決方案,并設(shè)計和完成了一個平臺級分析系統(tǒng)模型。本文實現(xiàn)了在分布式環(huán)境下,基于Hadoop平臺搭建了平臺級Hive數(shù)據(jù)倉庫,并利用HQL語句對平臺產(chǎn)生的經(jīng)營數(shù)據(jù)進(jìn)行了多維分析；但由于Hadoop發(fā)展時間尚短缺乏可視化工具和OLAP工具,因此本文通過使用和修改Highcharts插件對結(jié)果進(jìn)行可視化處理,并通過選擇不同的維的方式,實現(xiàn)了地域、商品大類等維度上的切片、切塊以及時間維上的上下鉆取操作。
【關(guān)鍵詞】：數(shù)據(jù)倉庫 電子商務(wù) Hive 多維分析 Hadoop
【學(xué)位授予單位】：北方工業(yè)大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2015
【分類號】：TP311.13
【目錄】：

• 摘要3-4
• Abstract4-8
• 1 緒論8-13
• 1.1 選題背景及研究的意義8-9
• 1.1.1 選題背景8-9
• 1.1.2 研究的意義9
• 1.2 數(shù)據(jù)倉庫和多維分析國內(nèi)外研究現(xiàn)狀9-10
• 1.3 多維分析技術(shù)在大數(shù)據(jù)時代的新變化10-11
• 1.4 本文的研究內(nèi)容和組織結(jié)構(gòu)11-13
• 1.4.1 本文的研究內(nèi)容11-12
• 1.4.2 本文的組織結(jié)構(gòu)12-13
• 2 課題相關(guān)技術(shù)研究13-25
• 2.1 數(shù)據(jù)庫13-14
• 2.1.1 數(shù)據(jù)庫技術(shù)13
• 2.1.2 數(shù)據(jù)庫的特點13-14
• 2.1.3 HBase分布式數(shù)據(jù)庫14
• 2.2 數(shù)據(jù)倉庫14-16
• 2.2.1 數(shù)據(jù)倉庫技術(shù)14
• 2.2.2 數(shù)據(jù)倉庫的特點14-15
• 2.2.3 Hive數(shù)據(jù)倉庫及特點15-16
• 2.3 多維分析技術(shù)16-19
• 2.3.1 多維分析技術(shù)的概念和特點16
• 2.3.2 多維分析技術(shù)的邏輯概念16-17
• 2.3.3 多維分析技術(shù)的基本操作17-19
• 2.4 海量數(shù)據(jù)處理平臺Hadoop19-21
• 2.4.1 Hadoop的概念及核心組成19-20
• 2.4.2 Hadoop的優(yōu)點20
• 2.4.3 Sqoop數(shù)據(jù)遷移工具20-21
• 2.5 技術(shù)方案研究21-25
• 2.5.1 關(guān)鍵技術(shù)問題分析21-22
• 2.5.2 傳統(tǒng)解決方案研究22
• 2.5.3 Hadoop+Hive技術(shù)22-23
• 2.5.4 Mondrian+Jpivot架構(gòu)23
• 2.5.5 小結(jié)23-25
• 3 課題方案研究25-31
• 3.1 課題研究背景分析25-26
• 3.1.1 本課題項目背景分析25-26
• 3.1.2 本課題研究內(nèi)容分析26
• 3.1.3 本課題研究方案分析26
• 3.2 課題研究方案設(shè)計26-31
• 3.2.1 數(shù)據(jù)倉庫的設(shè)計26-30
• 3.2.2 實驗方案設(shè)計30-31
• 4 課題的實現(xiàn)技術(shù)31-37
• 4.1 運行環(huán)境配置31-32
• 4.1.1 開發(fā)環(huán)境搭建31
• 4.1.2 運行環(huán)境配置31-32
• 4.2 系統(tǒng)功能實現(xiàn)32-37
• 4.2.1 數(shù)據(jù)加載32
• 4.2.2 數(shù)據(jù)清洗32-33
• 4.2.3 數(shù)據(jù)倉庫的搭建33-34
• 4.2.4 分析查詢34-36
• 4.2.5 分析結(jié)果的存入和讀取36
• 4.2.6 前臺展示36-37
• 5 實驗結(jié)果分析37-44
• 5.1 銷售37-42
• 5.1.1 銷售分析37-39
• 5.1.2 商品對比39-40
• 5.1.3 商品分析40-42
• 5.1.4 銷售分析小結(jié)42
• 5.2 企業(yè)42-44
• 5.2.1 企業(yè)分析42-43
• 5.2.2 企業(yè)排名43
• 5.2.3 企業(yè)分析小結(jié)43-44
• 6 總結(jié)與展望44-45
• 6.1 總結(jié)44
• 6.2 展望44-45
• 參考文獻(xiàn)45-47
• 申請學(xué)位期間的研究成果及發(fā)表的學(xué)術(shù)論文47-48
• 致謝48

【參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 曹萍;;商務(wù)智能在電子商務(wù)中的應(yīng)用研究[J];科技和產(chǎn)業(yè);2009年05期

2 顏一鳴,張菁菁;建立數(shù)據(jù)倉庫邏輯模型的方法[J];電腦知識與技術(shù);2005年11期

3 劉洋;李攀;伍申申;;數(shù)據(jù)倉庫展示工具JPivot的研究與應(yīng)用[J];硅谷;2010年16期

4 劉永增;張曉景;李先毅;;基于Hadoop/Hive的web日志分析系統(tǒng)的設(shè)計[J];廣西大學(xué)學(xué)報(自然科學(xué)版);2011年S1期

5 殷員分;張自力;蔡海敏;曾錚;;數(shù)據(jù)倉庫與OLAP技術(shù)在高考志愿數(shù)據(jù)分析中的應(yīng)用[J];計算機科學(xué);2010年05期

6 楊勝,孫翱;OLAP技術(shù)的發(fā)展新動態(tài)[J];計算機應(yīng)用與軟件;2003年07期

7 陳南;;ASP.NET中大數(shù)據(jù)量分頁技術(shù)的研究與實現(xiàn)[J];計算機應(yīng)用與軟件;2011年04期

8 唐萍;;分布式空間數(shù)據(jù)倉庫的構(gòu)建與OLAP服務(wù)實現(xiàn)[J];計算機與現(xiàn)代化;2010年05期

9 李勇;;淺談OLAP技術(shù)在中小企業(yè)電子商務(wù)平臺的應(yīng)用[J];科技視界;2012年15期

10 聶瑞;盧建軍;衛(wèi)晨;;基于Hadoop平臺的OLAP煤炭銷售數(shù)據(jù)分析系統(tǒng)[J];工礦自動化;2012年11期

，

本文編號：765022