信息時代飛速發(fā)展,單臺服務(wù)器的部署模式已經(jīng)很難滿足大中型企業(yè)的業(yè)務(wù)需求,取而代之的是服務(wù)器的集群部署模式。服務(wù)器集群規(guī)模擴大的同時,集群的運維面臨著挑戰(zhàn)。運維依賴于監(jiān)控,而計算是監(jiān)控系統(tǒng)中最重要的模塊,當(dāng)今的運維環(huán)境,直接對監(jiān)控計算平臺的功能、成本、性能、實時性及可靠性等各方面都提出了新的要求。經(jīng)過對服務(wù)器集群監(jiān)控的計算需求進行深入分析,發(fā)現(xiàn)可以將大數(shù)據(jù)等相關(guān)技術(shù)應(yīng)用到監(jiān)控計算領(lǐng)域,即用多臺計算機對海量的監(jiān)控原始數(shù)據(jù)進行并行的計算處理。先從目前業(yè)界盛行的開源并行計算框架Hadoop MapReduce和Spark著手,分析它們的設(shè)計思想和基本實現(xiàn),以及IO、并行化、容錯等方面的實現(xiàn)和優(yōu)化方案。隨后介紹適合監(jiān)控環(huán)境下使用的高性能計算平臺的設(shè)計與實現(xiàn)。以監(jiān)控領(lǐng)域內(nèi)的計算需求作為驅(qū)動,結(jié)合上述開源并行計算框架,引申出本計算平臺的架構(gòu)設(shè)計和基本工作原理,然后介紹本計算平臺如何在插件化設(shè)計的基礎(chǔ)上,構(gòu)建出用于解決不同監(jiān)控問題的功能插件,以實現(xiàn)對應(yīng)的監(jiān)控計算功能。功能實現(xiàn)之后,從性能優(yōu)化的角度出發(fā),分析計算平臺在線程與調(diào)度、輸入共享、容錯等方面的設(shè)計與實現(xiàn)。在對該計算平臺進行研討和試驗之后,發(fā)現(xiàn)該... 

【文章來源】：華中科技大學(xué)湖北省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：62 頁

【學(xué)位級別】：碩士

【部分圖文】：

YARN集群架構(gòu)

圖 2-2 窄依賴與寬依賴示例從圖 2-2 可以看到，對于寬依賴，在 transformation 過程中一個父 RDD 分區(qū)往會被傳入子 RDD 的多個分區(qū)，這種涉及到跨節(jié)點網(wǎng)絡(luò)傳輸?shù)霓D(zhuǎn)換被稱fle 操作。窄依賴的過程中不涉及 shuffle 操作，因為父 RDD 的每個分區(qū)的傳入到一個子 RDD 的分區(qū)[35]。 基于 RDD 的容錯機制既然 lineage 描述了 RDD 之間的轉(zhuǎn)換方式，那么它可以用來對丟失數(shù)據(jù)的進行重塑以恢復(fù)數(shù)據(jù)，例如有這樣一個依賴關(guān)系：RDD_A =map()=> RDD_B =filter()=> RDD_C那么，假設(shè) RDD_B 的某個分區(qū)的數(shù)據(jù)丟失，可以根據(jù)其父 RDD 即 RDD分區(qū)數(shù)據(jù)進行計算以重塑丟失的 RDD_B 的分區(qū)數(shù)據(jù)。對于 RDD 之間依賴同，容錯機制的效率也有一定區(qū)別。窄依賴中重塑操作對數(shù)據(jù)的利用率是

圖 2-3 寬依賴容錯中的冗余計算界流行的并行計算框架 Map-Reduce 和 Spark 進入、并行實現(xiàn)和任務(wù)管理與容錯等方面的設(shè)計與算模式，將作業(yè)抽象為 “映射”和“歸約”兩個環(huán)了更多的計算算子，以實現(xiàn)迭代式的編程模式。M 生態(tài)體系下的 HDFS 結(jié)合，原始數(shù)據(jù)具備多個副p-Reduce 和 Spark 都可以實現(xiàn)數(shù)據(jù)本地化，即將，以避免原始數(shù)據(jù)的網(wǎng)絡(luò)傳輸。對于任務(wù)管理與RN，而 Spark 基于 RDD 之間的族譜血統(tǒng)關(guān)系。

【參考文獻】：
期刊論文
[1]自動化運維管理平臺設(shè)計及實現(xiàn)[J]. 冷迪.  技術(shù)與市場. 2018(11)
[2]大數(shù)據(jù)處理平臺性能優(yōu)化探究[J]. 李天卓,魏賓賓,楊超,楊新凱.  電信快報. 2018(10)
[3]Spark大數(shù)據(jù)計算平臺[J]. 姜學(xué)軍,武楓,黃海新.  電子世界. 2018(15)
[4]Spark性能優(yōu)化技術(shù)研究綜述[J]. 廖湖聲,黃珊珊,徐俊剛,劉仁峰.  計算機科學(xué). 2018(07)
[5]運維監(jiān)控平臺面臨的瓶頸與發(fā)展方向[J]. 李曉林,嚴峻,陳國華,張明強,廖劍雄.  數(shù)字通信世界. 2018(07)
[6]IT計算機數(shù)據(jù)中心智能化運維監(jiān)控及能效管理的探索與研究[J]. 徐建波.  電子世界. 2018(09)
[7]面向集群服務(wù)器系統(tǒng)的監(jiān)控平臺綜述[J]. 胡鶴,趙毅,牛鐵,曹榮強.  科研信息化技術(shù)與應(yīng)用. 2018(01)
[8]日志綜合管理平臺基于Storm框架的實現(xiàn)[J]. 李團結(jié),從新法,李光明.  中國新通信. 2017(06)
[9]Apache Spark技術(shù)研究與應(yīng)用前景分析[J]. 李瑋.  電信技術(shù). 2016(09)
[10]服務(wù)器監(jiān)控技術(shù)綜述及展望[J]. 王慧強,戴秀豪,呂宏武,林俊宇.  計算機科學(xué). 2016(08)

博士論文
[1]面向大型分布式系統(tǒng)的智能監(jiān)控系統(tǒng)設(shè)計與實現(xiàn)[D]. 段立明.中國科學(xué)院大學(xué)(中國科學(xué)院沈陽計算技術(shù)研究所) 2018

碩士論文
[1]服務(wù)器集群監(jiān)控系統(tǒng)的設(shè)計與實現(xiàn)[D]. 朱瑞斌.北京交通大學(xué) 2015



本文編號：2945123