隨著科學(xué)技術(shù)的進(jìn)步和寬帶業(yè)務(wù)的發(fā)展,光纖寬帶和機(jī)頂盒終端已經(jīng)到了千家萬戶,網(wǎng)絡(luò)設(shè)備終端在提供快速網(wǎng)絡(luò)服務(wù)的同時也存在很多問題,比如瞬間網(wǎng)絡(luò)掉線、點(diǎn)播視頻卡頓、不能上網(wǎng)等,由于現(xiàn)實環(huán)境中網(wǎng)絡(luò)鏈路極其復(fù)雜,并且不斷變化,對鏈路上設(shè)備的運(yùn)行狀態(tài)的監(jiān)控變得十分困難,依靠現(xiàn)有的告警監(jiān)控方式,已經(jīng)不能準(zhǔn)確定位問題,為了清晰的監(jiān)控光網(wǎng)端到端設(shè)備網(wǎng)絡(luò)鏈路情況,準(zhǔn)確的定位故障問題,縮短裝維人員的排障時間,提升用戶的滿意度。本論文從技術(shù)運(yùn)用的角度,以合理規(guī)劃海量數(shù)據(jù)的實時計算平臺,提出一套完整的基于SparkStreaming的網(wǎng)絡(luò)資源管理系統(tǒng)的解決方案。本文首先介紹了寬帶發(fā)展的背景及課題研究的意義,然后參考國內(nèi)外對構(gòu)建實時大數(shù)據(jù)處理平臺的經(jīng)驗,提出了基于SparkStreaming的網(wǎng)絡(luò)資源管理系統(tǒng)的設(shè)計方案,并通過對業(yè)務(wù)需求進(jìn)行分析,設(shè)計并實現(xiàn)了網(wǎng)絡(luò)資源管理系統(tǒng)中的計算層功能中的消息處理模塊、寬帶業(yè)務(wù)計算模塊、網(wǎng)絡(luò)資源拓?fù)淠K。為了快速展示當(dāng)前網(wǎng)絡(luò)鏈路的情況,本文依靠Redis內(nèi)存數(shù)據(jù)庫對設(shè)備終端的上下級關(guān)系進(jìn)行設(shè)計。最后,從功能測試、性能測試對本系統(tǒng)設(shè)計的模塊進(jìn)行全面測試,確保系統(tǒng)上線后能夠穩(wěn)定和高... 

【文章來源】：南京郵電大學(xué)江蘇省

【文章頁數(shù)】：77 頁

【學(xué)位級別】：碩士

【部分圖文】：

Kafka基本架構(gòu)圖

電大學(xué)專業(yè)學(xué)位碩士研究生學(xué)位論文 第二章 相關(guān)背景知識介SparkStreaming 實時計算技術(shù)時計算一般都是針對海量數(shù)據(jù)進(jìn)行的，一般要求為秒級，SparkStreaming 是基于 Sp基礎(chǔ)之上用于處理實時計算業(yè)務(wù)的框架。其實現(xiàn)就是把輸入的流數(shù)據(jù)進(jìn)行按時間切分?jǐn)?shù)據(jù)塊用離線批處理的方式進(jìn)行并行計算處理，原理如下圖。

Core 基礎(chǔ)之上用于處理實時計算業(yè)務(wù)的框架。其實現(xiàn)就是把輸入的流數(shù)據(jù)進(jìn)行按時間切分，切分的數(shù)據(jù)塊用離線批處理的方式進(jìn)行并行計算處理，原理如下圖。圖 2.2 SparkStreaming 數(shù)據(jù)處理數(shù)據(jù)流圖如圖 2.2 所示，輸入的數(shù)據(jù)流經(jīng)過 SparkStreaming 的接收器，以時間為單位將數(shù)據(jù)流切分成離散的數(shù)據(jù)單元，并將每批數(shù)據(jù)作為 RDD 的數(shù)據(jù)集合，使用操作算子進(jìn)行處理，最終結(jié)果以 RDD 為單位返回。DStream 是 SparkStreaming 中流數(shù)據(jù) RDD 的邏輯抽象，DStream 由SparkEngine 處理引擎處理，按批次生成最后的結(jié)果流。簡言之，Spark Streaming 就是把數(shù)據(jù)按時間切分，并對時間片內(nèi)的數(shù)據(jù)集進(jìn)行多線程分布式計算。DStream 作為流處理邏輯對象，通過 DStream 創(chuàng)建 RDD 的原理如下。如圖 2.3 所示。


本文編號：3304482