隨著互聯(lián)網(wǎng)的快速發(fā)展和大數(shù)據(jù)時代的來臨,數(shù)據(jù)正在呈現(xiàn)出爆發(fā)式的增長,其價值也正在被不斷挖掘和利用,數(shù)據(jù)在某種程度上決定著企業(yè)的發(fā)展方向,網(wǎng)絡(luò)作為數(shù)據(jù)交換和共享的基礎(chǔ)條件,正在承載著日益增長的數(shù)據(jù)傳輸需求,其性能決定著數(shù)據(jù)共享和交換效率。在龐大的網(wǎng)絡(luò)數(shù)據(jù)和高速的網(wǎng)絡(luò)傳輸面前,如何實現(xiàn)對網(wǎng)絡(luò)數(shù)據(jù)的實時獲取、存儲和分析是網(wǎng)絡(luò)流量分析必須面對的問題。當前,單臺服務(wù)器的性能已經(jīng)遠遠無法滿足網(wǎng)絡(luò)數(shù)據(jù)分析的要求,分布式網(wǎng)絡(luò)數(shù)據(jù)獲取和分析模式是該工作的發(fā)展方向和必要手段。因此,采用分布式結(jié)構(gòu)是當前的必要選擇。分布式網(wǎng)絡(luò)流量分析系統(tǒng)將重點解決超高速條件下的網(wǎng)絡(luò)數(shù)據(jù)獲取、數(shù)據(jù)存儲、數(shù)據(jù)分析及可視化等能力,并且采用松耦合的方式實現(xiàn)各功能模塊的分布式部署。本文是以中科院高能物理所為背景,高能所每日數(shù)據(jù)傳輸超過10億條以上,國內(nèi)進口流量峰值在每十分鐘152G以上,國外出口流量峰值在每十分鐘126G以上,并且流量還在穩(wěn)步上升。所以,現(xiàn)在需要一個統(tǒng)一流量計算系統(tǒng),能夠承受日益增長的流量,并且能夠完整、穩(wěn)定的統(tǒng)計流量系統(tǒng),并且有可視化功能。針對以上問題,本文設(shè)計了一個基于分布式架構(gòu)的網(wǎng)絡(luò)流量分析系統(tǒng)。該系統(tǒng)利用Spa... 

【文章來源】：鄭州大學河南省 211工程院校

【文章頁數(shù)】：85 頁

【學位級別】：碩士

【部分圖文】：

Spark生態(tài)圈

RDD劃分分區(qū)

圖 2. 3 RDD 寬窄依賴制布式計算框架都有著一個巨大挑戰(zhàn)，那就是對整個框架現(xiàn)在大多數(shù)分布式系統(tǒng)都擁有基于細粒度的可變接口份到多個節(jié)點的機器上或者把記錄的日志被分到多臺點就是，在計算密集型任務(wù)時，數(shù)據(jù)的備份在磁盤上遠變慢，并且會占據(jù)大量存儲空間。 則是基于粗粒度轉(zhuǎn)換操作，比如 map、filter 和 join 等相同操作，通過記錄生成 RDD的整個轉(zhuǎn)換操作（linea個 RDD 真實的數(shù)據(jù)結(jié)果來執(zhí)行容錯機制。如果一個么從這個 RDD 所依賴的分區(qū)中重新計算就可以得到這或者整個任務(wù)重新計算，從而提高計算時間。群

【參考文獻】：
期刊論文
[1]基于NS3的分布式消息系統(tǒng)Kafka的仿真實現(xiàn)[J]. 馬浩然.  軟件. 2015(01)
[2]分布式同步系統(tǒng)Zookeeper的優(yōu)化[J]. 唐海東,武延軍.  計算機工程. 2014(04)
[3]大數(shù)據(jù)流式計算:關(guān)鍵技術(shù)及系統(tǒng)實例[J]. 孫大為,張廣艷,鄭緯民.  軟件學報. 2014(04)
[4]支撐日增萬億級消息的分布式系統(tǒng)[J]. 代志遠.  程序員. 2014 (04)
[5]MapReduce:新型的分布式并行計算編程模型[J]. 李成華,張新訪,金海,向文.  計算機工程與科學. 2011(03)

碩士論文
[1]基于Spark的大數(shù)據(jù)處理可視化工具的設(shè)計和實現(xiàn)[D]. 檀照望.北京郵電大學 2017
[2]基于Kafka的大規(guī)模流數(shù)據(jù)分布式緩存與分析平臺[D]. 牛牧.吉林大學 2016
[3]海量數(shù)據(jù)存儲和準實時查詢系統(tǒng)設(shè)計與實現(xiàn)[D]. 齊方方.西南石油大學 2015
[4]基于云架構(gòu)的分布式科技新聞發(fā)布系統(tǒng)[D]. 秘林.山東大學 2013
[5]Hadoop架構(gòu)下數(shù)據(jù)挖掘與數(shù)據(jù)遷移系統(tǒng)的設(shè)計與實現(xiàn)[D]. 呂明育.上海交通大學 2013
[6]基于分布式計算平臺的海量日志分析系統(tǒng)的設(shè)計與實現(xiàn)[D]. 孫寅林.西安電子科技大學 2012



本文編號：3100972