本文關(guān)鍵詞：基于Hadoop的數(shù)據(jù)可視化技術(shù)研究與應(yīng)用

  更多相關(guān)文章： 多數(shù)據(jù)庫環(huán)境 數(shù)據(jù)可視化 數(shù)據(jù)集成 商業(yè)數(shù)據(jù)分析

【摘要】：本課題主要研究多數(shù)據(jù)庫環(huán)境下商業(yè)數(shù)據(jù)可視化的問題,所有的業(yè)務(wù)數(shù)據(jù)存儲(chǔ)在不同的數(shù)據(jù)庫服務(wù)器上。由于多數(shù)據(jù)庫環(huán)境在對(duì)平臺(tái)整體數(shù)據(jù)進(jìn)行可視化時(shí),需要對(duì)各業(yè)務(wù)數(shù)據(jù)庫服務(wù)器分別進(jìn)行統(tǒng)計(jì)分析,再對(duì)統(tǒng)計(jì)結(jié)果進(jìn)行合并,使得數(shù)據(jù)分析階段效率較低。因此本文在研究過程中首先將分散的數(shù)據(jù)集成到數(shù)據(jù)倉庫中,然后再針對(duì)數(shù)據(jù)倉庫中的數(shù)據(jù)進(jìn)行可視化數(shù)據(jù)展現(xiàn)。首先,通過對(duì)分散數(shù)據(jù)的集成方法的研究,確定了利用Hadoop技術(shù)進(jìn)行分散數(shù)據(jù)集成。Hadoop生態(tài)系統(tǒng)提供的Hive工具可以用于多維數(shù)據(jù)分析,Sqoop工具可以實(shí)現(xiàn)關(guān)系型數(shù)據(jù)庫與Hadoop之間的數(shù)據(jù)傳輸。研究中利用Hive技術(shù)搭建數(shù)據(jù)倉庫,通過Sqoop技術(shù)將數(shù)據(jù)從分散的數(shù)據(jù)庫服務(wù)器加載到Hive數(shù)據(jù)倉庫中,完成可視化數(shù)據(jù)準(zhǔn)備工作。其次,研究行業(yè)數(shù)據(jù)可視化的技術(shù)和方法,具體分析了商業(yè)數(shù)據(jù)的特點(diǎn)及數(shù)據(jù)展現(xiàn)形式。設(shè)計(jì)實(shí)現(xiàn)了基于SVG (Scalable Vector Graphics)的地圖可視化算法,可以將可視化數(shù)據(jù)進(jìn)行維度與數(shù)量的自定義配置,使得可視化的結(jié)果更加豐富且直觀。然后,針對(duì)實(shí)際應(yīng)用,從銷售分析、商品分析、客戶購物偏好、企業(yè)排名等分析視角出發(fā),利用HQL語句對(duì)集成后的經(jīng)營(yíng)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析。通過對(duì)地圖、云圖、關(guān)聯(lián)圖等可視化技術(shù)的應(yīng)用場(chǎng)景、繪制方法、數(shù)據(jù)表達(dá)方式及交互方式的研究,結(jié)合統(tǒng)計(jì)分析結(jié)果數(shù)據(jù)的存儲(chǔ)特征,構(gòu)建可視化數(shù)據(jù)模型。最后,結(jié)合實(shí)際項(xiàng)目,選用可視化控件Echarts和基于SVG的地圖可視化算法對(duì)可視化數(shù)據(jù)模型進(jìn)行展示,實(shí)現(xiàn)了針對(duì)商業(yè)數(shù)據(jù)分析的地圖、字符云圖、和弦圖等可視化效果。驗(yàn)證了應(yīng)用Hadoop技術(shù)和可視化控件實(shí)現(xiàn)商業(yè)數(shù)據(jù)可視化的技術(shù)路線的合理性。
【關(guān)鍵詞】：多數(shù)據(jù)庫環(huán)境 數(shù)據(jù)可視化 數(shù)據(jù)集成 商業(yè)數(shù)據(jù)分析
【學(xué)位授予單位】：北方工業(yè)大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：TP311.13
【目錄】：

• 摘要3-4
• Abstract4-10
• 第一章 緒論10-15
• 1.1 課題的背景及研究意義10-11
• 1.1.1 課題的背景10
• 1.1.2 課題的研究意義10-11
• 1.2 課題相關(guān)技術(shù)的國(guó)內(nèi)外研究現(xiàn)狀11-13
• 1.2.1 可視化技術(shù)國(guó)內(nèi)外研究現(xiàn)狀11-12
• 1.2.2 Hadoop技術(shù)國(guó)內(nèi)外研究現(xiàn)狀12-13
• 1.3 課題主要研究?jī)?nèi)容13-14
• 1.3.1 數(shù)據(jù)集成技術(shù)研究13
• 1.3.2 可視化理論與技術(shù)研究13
• 1.3.3 Hadoop與分布式數(shù)據(jù)處理技術(shù)研究13-14
• 1.4 論文組織結(jié)構(gòu)14-15
• 第二章 相關(guān)理論與技術(shù)研究15-24
• 2.1 可視化相關(guān)技術(shù)研究15-18
• 2.1.1 可視化的定義15
• 2.1.2 可視化的基本流程15-16
• 2.1.3 可視化的主要布局方法16-18
• 2.1.4 可視化的主要技術(shù)18
• 2.2 客戶端繪圖技術(shù)研究18-20
• 2.2.1 可縮放矢量圖形SVG18
• 2.2.2 HTML畫布元素Canvas18-19
• 2.2.3 SVG和Canvas的對(duì)比19-20
• 2.3 當(dāng)前主流的web前端可視化工具庫20-21
• 2.4 Hadoop平臺(tái)相關(guān)技術(shù)研究21-23
• 2.4.1 HDFS分布式文件系統(tǒng)21
• 2.4.2 MapReduce并行計(jì)算框架21
• 2.4.3 Hive數(shù)據(jù)倉庫21-22
• 2.4.4 HBase數(shù)據(jù)庫22
• 2.4.5 Sqoop數(shù)據(jù)遷移工具22-23
• 2.5 DBLINK數(shù)據(jù)庫鏈接技術(shù)研究23
• 2.6 數(shù)據(jù)集成技術(shù)研究23
• 2.7 本章小結(jié)23-24
• 第三章 數(shù)據(jù)可視化方法分析與研究24-34
• 3.1 行業(yè)數(shù)據(jù)特征及其可視化呈現(xiàn)形式研究24-25
• 3.1.1 數(shù)據(jù)特征研究24
• 3.1.2 面向行業(yè)的數(shù)據(jù)可視化方式24-25
• 3.2 商業(yè)數(shù)據(jù)可視化研究25-27
• 3.2.1 商業(yè)數(shù)據(jù)的特點(diǎn)25-26
• 3.2.2 商業(yè)數(shù)據(jù)可視化的形式26-27
• 3.3 數(shù)據(jù)分析27-28
• 3.3.1 數(shù)據(jù)可視化需求分析27
• 3.3.2 可視化主題分析27-28
• 3.4 Map地圖可視化算法研究28-33
• 3.4.1 Map可視化算法的基本思想28-29
• 3.4.2 基于SVG地圖繪制算法的研究29-31
• 3.4.3 數(shù)據(jù)到顏色的映射31-32
• 3.4.4 交互事件處理32-33
• 3.5 本章小結(jié)33-34
• 第四章 基于Hadoop的數(shù)據(jù)可視化平臺(tái)實(shí)現(xiàn)與應(yīng)用34-50
• 4.1 數(shù)據(jù)可視化平臺(tái)整體方案34-35
• 4.1.1 平臺(tái)整體技術(shù)方案34-35
• 4.1.2 Hadoop數(shù)據(jù)預(yù)處理35
• 4.2 數(shù)據(jù)集成方案的設(shè)計(jì)與實(shí)現(xiàn)35-41
• 4.2.1 搭建Hive數(shù)據(jù)倉庫35-36
• 4.2.2 數(shù)據(jù)加載36-39
• 4.2.3 數(shù)據(jù)轉(zhuǎn)換39-41
• 4.3 數(shù)據(jù)分析與可視化的設(shè)計(jì)與實(shí)現(xiàn)41-45
• 4.3.1 數(shù)據(jù)分析主題的設(shè)計(jì)與實(shí)現(xiàn)41-43
• 4.3.2 模型數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)設(shè)計(jì)與實(shí)現(xiàn)43-44
• 4.3.3 可視化數(shù)據(jù)模型設(shè)計(jì)與實(shí)現(xiàn)44-45
• 4.4 可視化圖形繪制功能的實(shí)現(xiàn)45-47
• 4.4.1 Echarts的引入45-46
• 4.4.2 Echarts圖形的繪制46-47
• 4.4.3 SVG地圖的繪制47
• 4.5 可視化平臺(tái)應(yīng)用集成的實(shí)現(xiàn)47-49
• 4.6 本章小結(jié)49-50
• 第五章 實(shí)驗(yàn)結(jié)果分析50-56
• 5.1 實(shí)驗(yàn)環(huán)境50-52
• 5.1.1 硬件環(huán)境介紹50
• 5.1.2 軟件環(huán)境介紹50-51
• 5.1.3 實(shí)驗(yàn)數(shù)據(jù)準(zhǔn)備51-52
• 5.2 商業(yè)數(shù)據(jù)可視化結(jié)果展示52-55
• 5.2.1 銷售信息可視化結(jié)果展示52
• 5.2.2 企業(yè)信息可視化結(jié)果展示52-53
• 5.2.3 商品信息可視化結(jié)果展示53-54
• 5.2.4 倉庫信息的結(jié)果展示54-55
• 5.3 實(shí)驗(yàn)結(jié)果分析55-56
• 第六章 總結(jié)與展望56-58
• 6.1 總結(jié)56
• 6.2 展望56-58
• 參考文獻(xiàn)58-61
• 在學(xué)期間的研究成果61-62
• 致謝62

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫 前10條

1 姚遠(yuǎn);;數(shù)據(jù)可視化技術(shù)實(shí)現(xiàn)流程探討[J];軟件導(dǎo)刊;2010年05期

2 趙巾幗;羅慶云;;基于網(wǎng)絡(luò)的數(shù)據(jù)可視化研究與實(shí)現(xiàn)[J];大慶師范學(xué)院學(xué)報(bào);2010年06期

3 任思雨;;數(shù)字時(shí)代數(shù)據(jù)可視化的類型及其特征[J];傳播與版權(quán);2014年03期

4 陳建軍,于志強(qiáng),朱昀;數(shù)據(jù)可視化技術(shù)及其應(yīng)用[J];紅外與激光工程;2001年05期

5 劉勘,周曉崢,周洞汝;數(shù)據(jù)可視化的研究與發(fā)展[J];計(jì)算機(jī)工程;2002年08期

6 劉緒崇,鄧蘇,楊強(qiáng),陳衛(wèi)東;基于數(shù)據(jù)管技術(shù)的證券數(shù)據(jù)可視化[J];計(jì)算機(jī)工程與設(shè)計(jì);2003年06期

7 肖湘萍,尹志喜;數(shù)據(jù)可視化在流場(chǎng)數(shù)值模擬中的應(yīng)用研究[J];華北工學(xué)院學(xué)報(bào);2004年02期

8 任永功;于戈;;數(shù)據(jù)可視化技術(shù)的研究與進(jìn)展[J];計(jì)算機(jī)科學(xué);2004年12期

9 韓麗娜;;數(shù)據(jù)可視化技術(shù)及其應(yīng)用展望[J];煤礦現(xiàn)代化;2005年06期

10 丁毅;王媛媛;紀(jì)亮;任柯燕;;數(shù)據(jù)可視化技術(shù)在客流展示中的應(yīng)用研究[J];計(jì)算機(jī)與信息技術(shù);2006年10期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫 前10條

1 劉勘;周洞汝;;大型數(shù)據(jù)庫中的數(shù)據(jù)可視化技術(shù)[A];第十八屆全國(guó)數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2001年

2 袁永菊;;數(shù)據(jù)可視化技術(shù)在飛機(jī)改裝中的應(yīng)用研究[A];探索 創(chuàng)新 交流（第4集）——第四屆中國(guó)航空學(xué)會(huì)青年科技論壇文集[C];2010年

3 石昊蘇;韓麗娜;;數(shù)據(jù)可視化技術(shù)及其應(yīng)用展望[A];全國(guó)自動(dòng)化新技術(shù)學(xué)術(shù)交流會(huì)會(huì)議論文集（一）[C];2005年

4 夏菁;劉真;胡越琦;陳為;彭帝超;;基于超圖的骨生物數(shù)據(jù)可視化研究[A];第五屆全國(guó)幾何設(shè)計(jì)與計(jì)算學(xué)術(shù)會(huì)議論文集[C];2011年

5 陳進(jìn)生;羅月童;;輪廓樹及其在體數(shù)據(jù)可視化中的應(yīng)用[A];全國(guó)第21屆計(jì)算機(jī)技術(shù)與應(yīng)用學(xué)術(shù)會(huì)議（CACIS·2010）暨全國(guó)第2屆安全關(guān)鍵技術(shù)與應(yīng)用學(xué)術(shù)會(huì)議論文集[C];2010年

6 羅雄飛;廖再飛;劉偉;;流程工業(yè)多尺度數(shù)據(jù)可視化系統(tǒng)的設(shè)計(jì)與應(yīng)用[A];2009中國(guó)過程系統(tǒng)工程年會(huì)暨中國(guó)mes年會(huì)論文集[C];2009年

7 謝跟蹤;陳文惠;鄭達(dá)賢;;基于Map Info的福建省經(jīng)濟(jì)數(shù)據(jù)可視化研究[A];地圖學(xué)與GIS學(xué)術(shù)討論會(huì)論文集[C];2002年

8 王延紅;王宏亮;林成地;高菲;;基于VisIt的Fluent程序結(jié)果數(shù)據(jù)可視化[A];第十六屆全國(guó)流體力學(xué)數(shù)值方法研討會(huì)2013論文集[C];2013年

9 宋秀紅;張維石;;基于RAD的網(wǎng)站用戶瀏覽數(shù)據(jù)可視化工具研究[A];全國(guó)第十五屆計(jì)算機(jī)科學(xué)與技術(shù)應(yīng)用學(xué)術(shù)會(huì)議論文集[C];2003年

10 周楊;徐青;藍(lán)朝楨;李建勝;;深空探測(cè)地理數(shù)據(jù)可視化[A];第十四屆全國(guó)圖象圖形學(xué)學(xué)術(shù)會(huì)議論文集[C];2008年

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫 前4條

1 國(guó)家統(tǒng)計(jì)局教育中心 寧紅;數(shù)據(jù)可視化對(duì)服務(wù)型統(tǒng)計(jì)建設(shè)的啟示[N];中國(guó)信息報(bào);2013年

2 北京永洪商智科技有限公司 何春濤;一周實(shí)現(xiàn)大數(shù)據(jù)可視化分析[N];中國(guó)計(jì)算機(jī)報(bào);2014年

3 本報(bào)記者 于杰;讓POI數(shù)據(jù)可視化[N];中國(guó)計(jì)算機(jī)報(bào);2014年

4 邱燕娜;從汶川地震話位置智能[N];中國(guó)計(jì)算機(jī)報(bào);2008年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫 前7條

1 任永功;面向聚類的數(shù)據(jù)可視化方法及相關(guān)技術(shù)研究[D];東北大學(xué);2006年

2 馬仁安;基于微機(jī)的三維地震數(shù)據(jù)可視化技術(shù)研究[D];南京理工大學(xué);2004年

3 華崗;地震體數(shù)據(jù)可視化與分析研究[D];浙江大學(xué);2011年

4 周璐;復(fù)雜向量場(chǎng)數(shù)據(jù)可視化技術(shù)研究與實(shí)現(xiàn)[D];中國(guó)人民解放軍國(guó)防科學(xué)技術(shù)大學(xué);2000年

5 梁秀霞;醫(yī)學(xué)影像數(shù)據(jù)可視化中若干問題研究[D];山東大學(xué);2006年

6 常鳳香;基于生物電阻抗測(cè)量原理的經(jīng)絡(luò)診斷數(shù)據(jù)可視化方法研究[D];燕山大學(xué);2012年

7 蔣志方;城市空氣質(zhì)量預(yù)測(cè)模型與數(shù)據(jù)可視化方法研究[D];山東大學(xué);2011年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 曾悠;大數(shù)據(jù)時(shí)代背景下的數(shù)據(jù)可視化概念研究[D];浙江大學(xué);2014年

2 石雪萍;網(wǎng)易“數(shù)讀”專欄報(bào)道特色研究[D];河北大學(xué);2015年

3 陳欣;《21世紀(jì)經(jīng)濟(jì)報(bào)道—飛笛金融圈》金融新聞的數(shù)據(jù)可視化研究[D];河北大學(xué);2015年

4 張健;基于WebGIS的農(nóng)業(yè)地理數(shù)據(jù)可視化技術(shù)研究及應(yīng)用[D];浙江大學(xué);2015年

5 龔旭超;基于webGL的交互繪制應(yīng)用研究[D];浙江大學(xué);2015年

6 臧若蒙;面向車輛監(jiān)控系統(tǒng)的海量數(shù)據(jù)可視化研究[D];大連海事大學(xué);2015年

7 劉迪珊;試驗(yàn)數(shù)據(jù)云平臺(tái)中數(shù)據(jù)可視化的設(shè)計(jì)與實(shí)現(xiàn)[D];西安電子科技大學(xué);2014年

8 朱會(huì)國(guó);直觀高效的體數(shù)據(jù)可視化方法的設(shè)計(jì)與研究[D];合肥工業(yè)大學(xué);2014年

9 呂佩吾;火電廠生產(chǎn)運(yùn)行數(shù)據(jù)可視化平臺(tái)的研究與實(shí)現(xiàn)[D];華北電力大學(xué);2015年

10 戴啟濤;面向終端的移動(dòng)用戶行為可視化分析[D];清華大學(xué);2014年

，

本文編號(hào)：1055402