本文選題：大數(shù)據(jù)分析 + MapReduce��； 參考：《浙江大學(xué)》2017年碩士論文

【摘要】：大數(shù)據(jù)時(shí)代,各行各業(yè)越來越多的企業(yè)或組織將受益于大數(shù)據(jù)這個(gè)發(fā)展機(jī)遇,大數(shù)據(jù)分析能夠?qū)崿F(xiàn)大數(shù)據(jù)規(guī)模效應(yīng)下的數(shù)據(jù)計(jì)算和全面的數(shù)據(jù)洞察,幫助企業(yè)提高生產(chǎn)力、提升競爭力、促進(jìn)企業(yè)革新。然而大數(shù)據(jù)分析對于許多企業(yè)或組織來說存在著許多難題,在數(shù)據(jù)庫軟件、大數(shù)據(jù)采集和規(guī)約、發(fā)展企業(yè)專業(yè)分析人員等方面仍存在著一些瓶頸。為適應(yīng)企業(yè)的大數(shù)據(jù)分析需求,本文設(shè)計(jì)了基于大數(shù)據(jù)分析的輔助專家分析系統(tǒng),集成了數(shù)據(jù)采集、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)分析、數(shù)據(jù)可視化等功能,并提供了友好的人機(jī)交互界面,屏蔽大數(shù)據(jù)分析算法細(xì)節(jié),以幫助企業(yè)人員簡單高效地使用大數(shù)據(jù)分析技術(shù)進(jìn)行高并發(fā)快速查詢,建立復(fù)雜數(shù)據(jù)處理模型,自定義可視化模塊來展現(xiàn)大數(shù)據(jù)的價(jià)值,促進(jìn)企業(yè)的業(yè)務(wù)提升、支持企業(yè)決策。本文的輔助專家分析系統(tǒng)綜合利用了阿里云的ADS和MaxCompute兩個(gè)PaaS服務(wù),后者是基于MapReduce框架的。MapReduce是在多節(jié)點(diǎn)上并行處理大數(shù)據(jù)的高可擴(kuò)展的、具有容錯(cuò)能力的編程框架,本文分類設(shè)計(jì)了基于MapReduce的基本操作模型,以供用戶自由自合配置復(fù)雜的數(shù)據(jù)處理邏輯。專家還可以根據(jù)領(lǐng)域經(jīng)驗(yàn)向平臺(tái)加入可重用可擴(kuò)展計(jì)算分析模塊以擴(kuò)充系統(tǒng)的數(shù)據(jù)分析處理能力,方便用戶進(jìn)行迭代增量式數(shù)據(jù)探索。
[Abstract]:In the era of big data, more and more enterprises or organizations from all walks of life will benefit from the development opportunity of big data. Big data analysis can realize the data calculation and comprehensive data insight under the big data scale effect, and help enterprises improve their productivity. Enhance competitiveness and promote enterprise innovation. However, there are many difficulties in big data analysis for many enterprises or organizations. There are still some bottlenecks in database software, big data collection and specification, the development of enterprise professional analysts and so on. In order to meet the needs of big data analysis of enterprises, this paper designs an assistant expert analysis system based on big data analysis, which integrates the functions of data acquisition, data storage, data analysis and data visualization, and provides a friendly man-machine interface. Shielding the details of big data analysis algorithm to help enterprise personnel to use big data analysis technology to carry out high concurrency and fast query, set up complex data processing model, and customize the visualization module to show the value of big data. Promote business promotion and support enterprise decision-making. The auxiliary expert analysis system in this paper synthesizes two PaaS services, ads and Max Compute of Ali Cloud. The latter is a highly extensible, fault-tolerant programming framework based on MapReduce framework to process big data in parallel on multiple nodes. In this paper, the basic operation model based on MapReduce is designed and classified to allow users to freely self-configure complex data processing logic. Experts can also add reusable scalable computing and analysis module to the platform according to domain experience to expand the data analysis and processing ability of the system so as to facilitate the user to explore the data iteratively and incrementally.
【學(xué)位授予單位】：浙江大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2017
【分類號(hào)】：TP311.13

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 董慶華;;數(shù)據(jù)可視化技術(shù)在農(nóng)業(yè)領(lǐng)域的應(yīng)用探討[J];山西農(nóng)業(yè)大學(xué)學(xué)報(bào)(自然科學(xué)版);2007年S1期

2 姚遠(yuǎn);;數(shù)據(jù)可視化技術(shù)實(shí)現(xiàn)流程探討[J];軟件導(dǎo)刊;2010年05期

3 趙巾幗;羅慶云;;基于網(wǎng)絡(luò)的數(shù)據(jù)可視化研究與實(shí)現(xiàn)[J];大慶師范學(xué)院學(xué)報(bào);2010年06期

4 任思雨;;數(shù)字時(shí)代數(shù)據(jù)可視化的類型及其特征[J];傳播與版權(quán);2014年03期

5 陳建軍,于志強(qiáng),朱昀;數(shù)據(jù)可視化技術(shù)及其應(yīng)用[J];紅外與激光工程;2001年05期

6 劉勘,周曉崢,周洞汝;數(shù)據(jù)可視化的研究與發(fā)展[J];計(jì)算機(jī)工程;2002年08期

7 劉緒崇,鄧蘇,楊強(qiáng),陳衛(wèi)東;基于數(shù)據(jù)管技術(shù)的證券數(shù)據(jù)可視化[J];計(jì)算機(jī)工程與設(shè)計(jì);2003年06期

8 肖湘萍,尹志喜;數(shù)據(jù)可視化在流場數(shù)值模擬中的應(yīng)用研究[J];華北工學(xué)院學(xué)報(bào);2004年02期

9 任永功;于戈;;數(shù)據(jù)可視化技術(shù)的研究與進(jìn)展[J];計(jì)算機(jī)科學(xué);2004年12期

10 韓麗娜;;數(shù)據(jù)可視化技術(shù)及其應(yīng)用展望[J];煤礦現(xiàn)代化;2005年06期

相關(guān)會(huì)議論文 前10條

1 劉勘;周洞汝;;大型數(shù)據(jù)庫中的數(shù)據(jù)可視化技術(shù)[A];第十八屆全國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2001年

2 袁永菊;;數(shù)據(jù)可視化技術(shù)在飛機(jī)改裝中的應(yīng)用研究[A];探索 創(chuàng)新 交流（第4集）——第四屆中國航空學(xué)會(huì)青年科技論壇文集[C];2010年

3 石昊蘇;韓麗娜;;數(shù)據(jù)可視化技術(shù)及其應(yīng)用展望[A];全國自動(dòng)化新技術(shù)學(xué)術(shù)交流會(huì)會(huì)議論文集（一）[C];2005年

4 夏菁;劉真;胡越琦;陳為;彭帝超;;基于超圖的骨生物數(shù)據(jù)可視化研究[A];第五屆全國幾何設(shè)計(jì)與計(jì)算學(xué)術(shù)會(huì)議論文集[C];2011年

5 陳進(jìn)生;羅月童;;輪廓樹及其在體數(shù)據(jù)可視化中的應(yīng)用[A];全國第21屆計(jì)算機(jī)技術(shù)與應(yīng)用學(xué)術(shù)會(huì)議（CACIS·2010）暨全國第2屆安全關(guān)鍵技術(shù)與應(yīng)用學(xué)術(shù)會(huì)議論文集[C];2010年

6 羅雄飛;廖再飛;劉偉;;流程工業(yè)多尺度數(shù)據(jù)可視化系統(tǒng)的設(shè)計(jì)與應(yīng)用[A];2009中國過程系統(tǒng)工程年會(huì)暨中國mes年會(huì)論文集[C];2009年

7 謝跟蹤;陳文惠;鄭達(dá)賢;;基于Map Info的福建省經(jīng)濟(jì)數(shù)據(jù)可視化研究[A];地圖學(xué)與GIS學(xué)術(shù)討論會(huì)論文集[C];2002年

8 王延紅;王宏亮;林成地;高菲;;基于VisIt的Fluent程序結(jié)果數(shù)據(jù)可視化[A];第十六屆全國流體力學(xué)數(shù)值方法研討會(huì)2013論文集[C];2013年

9 宋秀紅;張維石;;基于RAD的網(wǎng)站用戶瀏覽數(shù)據(jù)可視化工具研究[A];全國第十五屆計(jì)算機(jī)科學(xué)與技術(shù)應(yīng)用學(xué)術(shù)會(huì)議論文集[C];2003年

10 方泳;劉杰;;街道級社區(qū)服務(wù)計(jì)算機(jī)網(wǎng)絡(luò)系統(tǒng)功能設(shè)計(jì)及組織運(yùn)行機(jī)制若干問題的研究[A];全國青年管理科學(xué)與系統(tǒng)科學(xué)論文集第5卷[C];1999年

相關(guān)重要報(bào)紙文章 前4條

1 國家統(tǒng)計(jì)局教育中心 寧紅;數(shù)據(jù)可視化對服務(wù)型統(tǒng)計(jì)建設(shè)的啟示[N];中國信息報(bào);2013年

2 北京永洪商智科技有限公司 何春濤;一周實(shí)現(xiàn)大數(shù)據(jù)可視化分析[N];中國計(jì)算機(jī)報(bào);2014年

3 本報(bào)記者 趙姍;大數(shù)據(jù)時(shí)代來臨，中國準(zhǔn)備好了嗎？[N];中國經(jīng)濟(jì)時(shí)報(bào);2013年

4 本報(bào)記者 于杰;讓POI數(shù)據(jù)可視化[N];中國計(jì)算機(jī)報(bào);2014年

相關(guān)博士學(xué)位論文 前10條

1 王啟超;面向體數(shù)據(jù)可視化的數(shù)據(jù)預(yù)處理方法研究[D];浙江大學(xué);2017年

2 劉海青;大規(guī)模VANET數(shù)據(jù)傳輸策略的研究[D];山東大學(xué);2015年

3 郭長友;基于不確定理論的云數(shù)據(jù)處理關(guān)鍵技術(shù)研究[D];北京科技大學(xué);2016年

4 任永功;面向聚類的數(shù)據(jù)可視化方法及相關(guān)技術(shù)研究[D];東北大學(xué);2006年

5 馬仁安;基于微機(jī)的三維地震數(shù)據(jù)可視化技術(shù)研究[D];南京理工大學(xué);2004年

6 華崗;地震體數(shù)據(jù)可視化與分析研究[D];浙江大學(xué);2011年

7 周璐;復(fù)雜向量場數(shù)據(jù)可視化技術(shù)研究與實(shí)現(xiàn)[D];中國人民解放軍國防科學(xué)技術(shù)大學(xué);2000年

8 梁秀霞;醫(yī)學(xué)影像數(shù)據(jù)可視化中若干問題研究[D];山東大學(xué);2006年

9 常鳳香;基于生物電阻抗測量原理的經(jīng)絡(luò)診斷數(shù)據(jù)可視化方法研究[D];燕山大學(xué);2012年

10 蔣志方;城市空氣質(zhì)量預(yù)測模型與數(shù)據(jù)可視化方法研究[D];山東大學(xué);2011年

相關(guān)碩士學(xué)位論文 前10條

1 吳曉曉;基于大數(shù)據(jù)的輔助專家分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];浙江大學(xué);2017年

2 曾悠;大數(shù)據(jù)時(shí)代背景下的數(shù)據(jù)可視化概念研究[D];浙江大學(xué);2014年

3 石雪萍;網(wǎng)易“數(shù)讀”專欄報(bào)道特色研究[D];河北大學(xué);2015年

4 陳欣;《21世紀(jì)經(jīng)濟(jì)報(bào)道—飛笛金融圈》金融新聞的數(shù)據(jù)可視化研究[D];河北大學(xué);2015年

5 張健;基于WebGIS的農(nóng)業(yè)地理數(shù)據(jù)可視化技術(shù)研究及應(yīng)用[D];浙江大學(xué);2015年

6 龔旭超;基于webGL的交互繪制應(yīng)用研究[D];浙江大學(xué);2015年

7 臧若蒙;面向車輛監(jiān)控系統(tǒng)的海量數(shù)據(jù)可視化研究[D];大連海事大學(xué);2015年

8 劉迪珊;試驗(yàn)數(shù)據(jù)云平臺(tái)中數(shù)據(jù)可視化的設(shè)計(jì)與實(shí)現(xiàn)[D];西安電子科技大學(xué);2014年

9 朱會(huì)國;直觀高效的體數(shù)據(jù)可視化方法的設(shè)計(jì)與研究[D];合肥工業(yè)大學(xué);2014年

10 呂佩吾;火電廠生產(chǎn)運(yùn)行數(shù)據(jù)可視化平臺(tái)的研究與實(shí)現(xiàn)[D];華北電力大學(xué);2015年

，

本文編號(hào)：2041912