本文選題：數(shù)據(jù)爆炸 + 大數(shù)據(jù)平臺��； 參考：《北京郵電大學》2016年碩士論文

【摘要】：近年來,隨著移動通信的發(fā)展,尤其是3G/4G移動通信網(wǎng)絡的迅速擴張以及云計算技術的快速發(fā)展,各種互聯(lián)網(wǎng)技術不僅僅局限于PC端,智能設備終端以及各種云服務的迅速膨脹。隨之而來就是數(shù)據(jù)的井噴式大爆炸,在大數(shù)據(jù)時代,我們必須想方設法存儲和分析這些數(shù)據(jù)。但是目前對于任何單獨的硬件都無法存儲和分析這些超大數(shù)據(jù),因此,基于該問題以分布式系統(tǒng)為基礎,本論文旨在構建一個能夠采集、預處理、存儲、分析計算的并且可以進行資源監(jiān)控分析運行狀態(tài)的大數(shù)據(jù)平臺,并基于此平臺做一些推薦應用的簡單研究測試。本論文針對超大規(guī)模數(shù)據(jù)的存儲、分析、應用以及可監(jiān)控統(tǒng)計分析工作流的平臺需求,提出一種基于Hadoop生態(tài)系統(tǒng)及其組件的集群平臺構建模型。該模型是針對超大數(shù)據(jù)量的存儲分析而提出的,由數(shù)據(jù)采集預處理系統(tǒng)、數(shù)據(jù)存儲系統(tǒng)、數(shù)據(jù)計算分析系統(tǒng)以及平臺資源統(tǒng)計分析系統(tǒng)構成。數(shù)據(jù)采集預處理系統(tǒng)是由基于分布式消息系統(tǒng)的Kafka集群搭建而成,該系統(tǒng)既可以將數(shù)據(jù)發(fā)往基于Hadoop的離線處理系統(tǒng)又可以發(fā)往基于Spark的準實時處理系統(tǒng)。數(shù)據(jù)存儲系統(tǒng)由基于Hadoop的HDFS分布式文件系統(tǒng)和HBase分布式數(shù)據(jù)庫組成。數(shù)據(jù)計算分析系統(tǒng)是由MapReduce和以MapReduce為底層計算模型的Hive組成。平臺資源統(tǒng)計分析系統(tǒng)則對Hadoop大數(shù)據(jù)平臺集群的計算資源和存儲資源的統(tǒng)計分析進行展示,即可以實時監(jiān)控集群運行狀態(tài),也可以根據(jù)系統(tǒng)的分析模塊得出最近幾天或者當天的平臺集群的運行狀況,指導用戶使用集群各種服務、調試和排查作業(yè)問題以及優(yōu)化作業(yè)執(zhí)行過程。最后,結合Mahout庫對數(shù)據(jù)平臺在推薦系統(tǒng)上的應用進行了研究測試。
[Abstract]:In recent years, with the development of mobile communication, especially the rapid expansion of 3G/4G mobile communication network and the rapid development of cloud computing technology, all kinds of Internet technologies are not limited to PC, smart device terminals and various cloud services.Then came the blowout explosion of data, which must be stored and analyzed in big data's time.However, for any single hardware, it is impossible to store and analyze these super-large data. Therefore, based on the distributed system, this paper aims to build a system that can collect, preprocess and store these data.Big data platform, which can be used to monitor and analyze the running state of resources, is analyzed and calculated, and based on this platform, some simple research and tests of recommended applications are made.In this paper, a cluster platform model based on Hadoop ecosystem and its components is proposed to meet the platform requirements of large-scale data storage, analysis, application and monitoring statistical analysis workflow.The model is proposed for the storage and analysis of large amount of data. It is composed of data acquisition and preprocessing system, data storage system, data calculation and analysis system and platform resource statistics and analysis system.The data acquisition and preprocessing system is built by Kafka cluster based on distributed message system. The system can send data to both off-line processing system based on Hadoop and quasi-real-time processing system based on Spark.The data storage system is composed of HDFS distributed file system based on Hadoop and HBase distributed database.The data calculation and analysis system is composed of MapReduce and Hive with MapReduce as the underlying computing model.The platform resource statistics and analysis system shows the statistical analysis of the computing and storage resources of the Hadoop big data platform cluster, that is, it can monitor the running state of the cluster in real time.According to the analysis module of the system, we can get the running status of the platform cluster in the last few days or that day, and guide the users to use various services of the cluster, debug and check the job problems and optimize the process of job execution.Finally, the application of data platform in recommendation system is studied and tested with Mahout library.
【學位授予單位】：北京郵電大學
【學位級別】：碩士
【學位授予年份】：2016
【分類號】：TP311.13;TP391.3

【相似文獻】

相關期刊論文 前10條

1 陳宇光;高慧;;評估數(shù)據(jù)平臺對優(yōu)化教學質量監(jiān)控體系的研究[J];成都電子機械高等�？茖W校學報;2011年04期

2 大邑;;開放數(shù)據(jù)平臺是打開“智慧城市”的鑰匙[J];計算機光盤軟件與應用;2013年15期

3 陳強;立足國情 提供統(tǒng)一數(shù)據(jù)平臺的整體解決方案與服務[J];CAD/CAM與制造業(yè)信息化;2002年07期

4 丘劍,李德明;廣電網(wǎng)絡數(shù)據(jù)平臺的設想與實現(xiàn)[J];東莞理工學院學報;2004年04期

5 韓宏,梁向東;我國省級衛(wèi)生監(jiān)督執(zhí)法數(shù)據(jù)平臺建設的基本構想[J];中國衛(wèi)生監(jiān)督雜志;2005年03期

6 周琴芳;;實現(xiàn)精確營銷——本地業(yè)務數(shù)據(jù)平臺建設思路[J];每周電腦報;2006年15期

7 聶靖松;李維銘;邸瑞華;;主題數(shù)據(jù)平臺[J];計算機與信息技術;2007年06期

8 臧鐵軍;;高可用的數(shù)據(jù)平臺是信息化建設的基石[J];中國教育信息化;2009年15期

9 陸寧;劉成;;煉化企業(yè)應用數(shù)據(jù)平臺的設計與應用[J];中國科技信息;2010年23期

10 李響;;微軟發(fā)布新一代私有云及數(shù)據(jù)平臺[J];石油工業(yè)計算機應用;2012年02期

相關會議論文 前10條

1 ;普光氣田安全評價數(shù)據(jù)平臺研究(英文)[A];2011中國材料研討會論文摘要集[C];2011年

2 李育芳;彭豐林;楊京鳳;薛國強;王源;李敏;;地球物理信息數(shù)據(jù)平臺設計與實現(xiàn)[A];中國地球物理2013——第十八專題論文集[C];2013年

3 萬元;;監(jiān)控數(shù)據(jù)平臺下泵實時監(jiān)測與診斷方法初探[A];中國水力發(fā)電工程學會信息化專委會、水電控制設備專委會2013年學術交流會論文集[C];2013年

4 張紅梅;歐歌;陳剛;盧宇;屈進祿;;HXMT科學運行中心數(shù)據(jù)平臺建設[A];第十四屆全國核電子學與核探測技術學術年會論文集（下冊）[C];2008年

5 林琳;林祺蓉;王俏俏;;地區(qū)調度綜合數(shù)據(jù)平臺在濟南電網(wǎng)的開發(fā)及應用[A];山東電機工程學會2012年度學術年會論文集[C];2012年

6 張紅梅;歐歌;陳剛;盧宇;屈進祿;;HXMT科學運行中心數(shù)據(jù)平臺建設[A];第十四屆全國核電子學與核探測技術學術年會論文集（2）[C];2008年

7 鞏慧韜;;Web服務在集控綜合數(shù)據(jù)平臺中的應用與問題[A];中國水力發(fā)電工程學會信息化專委會2008年學術交流會論文集[C];2008年

8 許芳奎;;基于狀態(tài)數(shù)據(jù)平臺的高職院校教學質量保障體系構建的探討[A];中國名校卷（天津卷）[C];2013年

9 馬龍;余忠源;申燭;徐長安;王其樂;;集團化風電場功率預測數(shù)據(jù)平臺系統(tǒng)的設計[A];2013電力行業(yè)信息化年會論文集[C];2013年

10 周攀搏;宗志林;;趙固二礦煤礦專用數(shù)據(jù)傳輸與集成處理平臺的開發(fā)[A];第24屆全國煤礦自動化與信息化學術會議暨第6屆中國煤礦信息化與自動化高層論壇論文集[C];2014年

相關重要報紙文章 前10條

1 記者 任雪梅;首個大數(shù)據(jù)平臺9月試運行[N];佛山日報;2013年

2 解玉婧;飛揚大數(shù)據(jù)平臺備戰(zhàn)大數(shù)據(jù)時代[N];經(jīng)濟參考報;2013年

3 鄧云 張海濤 秋冰;年底前都將進入大數(shù)據(jù)平臺[N];常州日報;2014年

4 本報記者 郭濤;大數(shù)據(jù)平臺要為行業(yè)優(yōu)化[N];中國計算機報;2014年

5 何啟翱 吳愷;商業(yè)銀行建好大數(shù)據(jù)平臺正當時[N];中國城鄉(xiāng)金融報;2014年

6 本報記者　 李中秋;上海將建期貨業(yè)誠信數(shù)據(jù)平臺[N];中國證券報;2006年

7 趙嘉蒞;南京地區(qū)調度系統(tǒng)綜合數(shù)據(jù)平臺項目通過驗收[N];國家電網(wǎng)報;2008年

8 特派記者 陳鐫娟;建綜合數(shù)據(jù)平臺 管理境外人員[N];廈門日報;2013年

9 本報記者 程彥博;吉林農(nóng)信數(shù)據(jù)平臺三步走[N];中國計算機報;2013年

10 本報記者 張曉峰;拓爾思、東方國信和同有科技成大數(shù)據(jù)平臺“三尖兵”[N];證券日報;2013年

相關博士學位論文 前2條

1 宋亞奇;云平臺下電力設備監(jiān)測大數(shù)據(jù)存儲優(yōu)化與并行處理技術研究[D];華北電力大學(北京);2016年

2 王華偉;鐵路運輸設備技術狀態(tài)大數(shù)據(jù)平臺研究[D];中國鐵道科學研究院;2017年

相關碩士學位論文 前10條

1 劉敏;基于Hadoop的大數(shù)據(jù)平臺設計與實現(xiàn)及在推薦系統(tǒng)中的應用[D];北京郵電大學;2016年

2 李鵬飛;電力調控數(shù)據(jù)平臺建設技術研究[D];山東大學;2015年

3 呂平;面向銀行業(yè)務的數(shù)據(jù)平臺的設計與實現(xiàn)[D];哈爾濱工業(yè)大學;2015年

4 胡琳惠;基于Web的工程項目管理軟件數(shù)據(jù)平臺設計[D];電子科技大學;2014年

5 李維辰;江蘇省國稅系統(tǒng)綜合數(shù)據(jù)平臺的設計和實現(xiàn)[D];電子科技大學;2014年

6 胡日新;公共交通開放數(shù)據(jù)平臺及服務的設計與實現(xiàn)[D];電子科技大學;2015年

7 閆石磊;基于GeoServer的WebGIS共享數(shù)據(jù)平臺[D];西安電子科技大學;2015年

8 趙郭q，

本文編號：1745685