本文關鍵詞：探索性數(shù)據(jù)可視化分析系統(tǒng)的設計與實現(xiàn)　出處：《西南交通大學》2017年碩士論文　論文類型：學位論文

  更多相關文章： 數(shù)據(jù)可視化 大數(shù)據(jù) Spark Heatmap GeoHash

【摘要】：隨著信息技術的不斷發(fā)展,人們在日常生活中接觸到的數(shù)據(jù)正在以驚人的速度增長,數(shù)據(jù)已經(jīng)成為人們生活中的重要組成部分,如何對海量數(shù)據(jù)進行有效的分析和處理已經(jīng)成為當下的研究熱點。數(shù)據(jù)可視化技術通過將數(shù)據(jù)映射為圖形、符號和顏色等,能夠直觀展示數(shù)據(jù)內部隱含的信息,為人們對數(shù)據(jù)做進一步分析和處理提供了參考思路,是大數(shù)據(jù)分析不可或缺的重要手段和工具�？梢暬椒ǹ梢源笾路譃閮深�:探索性可視化與解釋性可視化。前者的目標是在數(shù)據(jù)處理初期階段,借助可視化圖表幫助人們在雜亂的數(shù)據(jù)中發(fā)掘數(shù)據(jù)的內在聯(lián)系;后者是在視覺呈現(xiàn)階段,將已知的信息或知識以可視的方式傳遞給公眾。針對海量未經(jīng)加工的原始數(shù)據(jù),提供一個能夠對其進行數(shù)據(jù)轉化與可視化分析的平臺十分必要。結合這一背景,本文面向普通用戶設計并構建了一個支持數(shù)據(jù)接入、數(shù)據(jù)管理、數(shù)據(jù)轉換、數(shù)據(jù)可視化等完整功能的通用探索性數(shù)據(jù)可視分析系統(tǒng)。本文的主要工作包括以下幾點:(1)對數(shù)據(jù)可視化流程、可視化編碼技術、Spark相關技術進行概述,為系統(tǒng)的設計提供理論基礎。(2)從需求分析入手,提煉了系統(tǒng)的主要功能。在此基礎上對系統(tǒng)劃分為項目管理、數(shù)據(jù)集服務、數(shù)據(jù)集轉換、數(shù)據(jù)可視化、用戶操作五個模塊。(3)基于B/S模式對系統(tǒng)進行架構設計,選用Play! Framework2作為Web服務框架。采用MVC的思想將系統(tǒng)劃分為展現(xiàn)層、控制層、業(yè)務邏輯層、數(shù)據(jù)訪問層、數(shù)據(jù)層、加速層,并對各層中使用的工具進行簡要介紹�？紤]到對于海量數(shù)據(jù)的處理需求,加速層引入分布式計算框架Spark作為數(shù)據(jù)轉換、數(shù)據(jù)查詢的引擎;數(shù)據(jù)層使用分布式文件系統(tǒng)HDFS存儲數(shù)據(jù)集文件。(4)設計各模塊業(yè)務流程,實現(xiàn)模塊功能。以活動圖闡述模塊功能的工作流程,以時序圖的形式展現(xiàn)模塊的運行邏輯與對象關系。(5)對系統(tǒng)進行功能測試以及關鍵功能的性能分析,針對目前系統(tǒng)中熱力地圖在大數(shù)據(jù)集下繪制能力的不足,提出了一個結合GeoHash算法的優(yōu)化方案,并對方案進行驗證分析。優(yōu)化方案在一定程度上減輕了前端熱力地圖繪制的壓力,并具有良好的繪制效果。
[Abstract]:......
【學位授予單位】：西南交通大學
【學位級別】：碩士
【學位授予年份】：2017
【分類號】：TP311.52

【相似文獻】

相關期刊論文 前10條

1 姚遠;;數(shù)據(jù)可視化技術實現(xiàn)流程探討[J];軟件導刊;2010年05期

2 趙巾幗;羅慶云;;基于網(wǎng)絡的數(shù)據(jù)可視化研究與實現(xiàn)[J];大慶師范學院學報;2010年06期

3 任思雨;;數(shù)字時代數(shù)據(jù)可視化的類型及其特征[J];傳播與版權;2014年03期

4 陳建軍,于志強,朱昀;數(shù)據(jù)可視化技術及其應用[J];紅外與激光工程;2001年05期

5 劉勘,周曉崢,周洞汝;數(shù)據(jù)可視化的研究與發(fā)展[J];計算機工程;2002年08期

6 劉緒崇,鄧蘇,楊強,陳衛(wèi)東;基于數(shù)據(jù)管技術的證券數(shù)據(jù)可視化[J];計算機工程與設計;2003年06期

7 肖湘萍,尹志喜;數(shù)據(jù)可視化在流場數(shù)值模擬中的應用研究[J];華北工學院學報;2004年02期

8 任永功;于戈;;數(shù)據(jù)可視化技術的研究與進展[J];計算機科學;2004年12期

9 韓麗娜;;數(shù)據(jù)可視化技術及其應用展望[J];煤礦現(xiàn)代化;2005年06期

10 丁毅;王媛媛;紀亮;任柯燕;;數(shù)據(jù)可視化技術在客流展示中的應用研究[J];計算機與信息技術;2006年10期

相關會議論文 前10條

1 劉勘;周洞汝;;大型數(shù)據(jù)庫中的數(shù)據(jù)可視化技術[A];第十八屆全國數(shù)據(jù)庫學術會議論文集（技術報告篇）[C];2001年

2 袁永菊;;數(shù)據(jù)可視化技術在飛機改裝中的應用研究[A];探索 創(chuàng)新 交流（第4集）——第四屆中國航空學會青年科技論壇文集[C];2010年

3 石昊蘇;韓麗娜;;數(shù)據(jù)可視化技術及其應用展望[A];全國自動化新技術學術交流會會議論文集（一）[C];2005年

4 夏菁;劉真;胡越琦;陳為;彭帝超;;基于超圖的骨生物數(shù)據(jù)可視化研究[A];第五屆全國幾何設計與計算學術會議論文集[C];2011年

5 陳進生;羅月童;;輪廓樹及其在體數(shù)據(jù)可視化中的應用[A];全國第21屆計算機技術與應用學術會議（CACIS·2010）暨全國第2屆安全關鍵技術與應用學術會議論文集[C];2010年

6 羅雄飛;廖再飛;劉偉;;流程工業(yè)多尺度數(shù)據(jù)可視化系統(tǒng)的設計與應用[A];2009中國過程系統(tǒng)工程年會暨中國mes年會論文集[C];2009年

7 謝跟蹤;陳文惠;鄭達賢;;基于Map Info的福建省經(jīng)濟數(shù)據(jù)可視化研究[A];地圖學與GIS學術討論會論文集[C];2002年

8 王延紅;王宏亮;林成地;高菲;;基于VisIt的Fluent程序結果數(shù)據(jù)可視化[A];第十六屆全國流體力學數(shù)值方法研討會2013論文集[C];2013年

9 宋秀紅;張維石;;基于RAD的網(wǎng)站用戶瀏覽數(shù)據(jù)可視化工具研究[A];全國第十五屆計算機科學與技術應用學術會議論文集[C];2003年

10 周楊;徐青;藍朝楨;李建勝;;深空探測地理數(shù)據(jù)可視化[A];第十四屆全國圖象圖形學學術會議論文集[C];2008年

相關重要報紙文章 前4條

1 國家統(tǒng)計局教育中心 寧紅;數(shù)據(jù)可視化對服務型統(tǒng)計建設的啟示[N];中國信息報;2013年

2 北京永洪商智科技有限公司 何春濤;一周實現(xiàn)大數(shù)據(jù)可視化分析[N];中國計算機報;2014年

3 本報記者 于杰;讓POI數(shù)據(jù)可視化[N];中國計算機報;2014年

4 邱燕娜;從汶川地震話位置智能[N];中國計算機報;2008年

相關博士學位論文 前7條

1 任永功;面向聚類的數(shù)據(jù)可視化方法及相關技術研究[D];東北大學;2006年

2 馬仁安;基于微機的三維地震數(shù)據(jù)可視化技術研究[D];南京理工大學;2004年

3 華崗;地震體數(shù)據(jù)可視化與分析研究[D];浙江大學;2011年

4 周璐;復雜向量場數(shù)據(jù)可視化技術研究與實現(xiàn)[D];中國人民解放軍國防科學技術大學;2000年

5 梁秀霞;醫(yī)學影像數(shù)據(jù)可視化中若干問題研究[D];山東大學;2006年

6 常鳳香;基于生物電阻抗測量原理的經(jīng)絡診斷數(shù)據(jù)可視化方法研究[D];燕山大學;2012年

7 蔣志方;城市空氣質量預測模型與數(shù)據(jù)可視化方法研究[D];山東大學;2011年

相關碩士學位論文 前10條

1 曾悠;大數(shù)據(jù)時代背景下的數(shù)據(jù)可視化概念研究[D];浙江大學;2014年

2 石雪萍;網(wǎng)易“數(shù)讀”專欄報道特色研究[D];河北大學;2015年

3 陳欣;《21世紀經(jīng)濟報道—飛笛金融圈》金融新聞的數(shù)據(jù)可視化研究[D];河北大學;2015年

4 張健;基于WebGIS的農(nóng)業(yè)地理數(shù)據(jù)可視化技術研究及應用[D];浙江大學;2015年

5 龔旭超;基于webGL的交互繪制應用研究[D];浙江大學;2015年

6 臧若蒙;面向車輛監(jiān)控系統(tǒng)的海量數(shù)據(jù)可視化研究[D];大連海事大學;2015年

7 劉迪珊;試驗數(shù)據(jù)云平臺中數(shù)據(jù)可視化的設計與實現(xiàn)[D];西安電子科技大學;2014年

8 朱會國;直觀高效的體數(shù)據(jù)可視化方法的設計與研究[D];合肥工業(yè)大學;2014年

9 呂佩吾;火電廠生產(chǎn)運行數(shù)據(jù)可視化平臺的研究與實現(xiàn)[D];華北電力大學;2015年

10 戴啟濤;面向終端的移動用戶行為可視化分析[D];清華大學;2014年

，

本文編號：1353475