發(fā)布時間：2017-10-06 07:10

  本文關(guān)鍵詞：面向流式數(shù)據(jù)處理平臺JStorm的負載均衡技術(shù)研究

  更多相關(guān)文章： 流式計算 JStorm 負載均衡 資源分配

【摘要】：大數(shù)據(jù)時代,數(shù)據(jù)的流式特征愈加顯著,很多應(yīng)用場景部署在流式數(shù)據(jù)處理平臺上,然而,隨著應(yīng)用場景的復(fù)雜化及數(shù)據(jù)量的快速增長,分布式計算平臺中節(jié)點間的負載失衡已經(jīng)成為制約流式應(yīng)用性能提升的瓶頸,因此對流式數(shù)據(jù)處理平臺上負載均衡問題的研究已經(jīng)凸顯重要的研究價值。本文以流式數(shù)據(jù)處理平臺JStorm作為研究對象,致力于解決作業(yè)資源分配不當(dāng)導(dǎo)致的JStorm平臺負載不均衡問題。論文對JStorm平臺下的作業(yè)資源分配策略進行了深入分析,指出了在節(jié)點間可用資源異構(gòu)場景下,該作業(yè)資源分配策略將導(dǎo)致的集群負載不均衡問題,并針對這個問題提出了改進的作業(yè)資源分配策略,通過考慮節(jié)點工作負載的非對稱性,合理分配計算任務(wù),提升了流式應(yīng)用的運行性能。本文完成的主要工作有:1)詳細介紹了流式數(shù)據(jù)處理、JStorm流式數(shù)據(jù)處理平臺、分布式平臺資源分配等技術(shù)。重點分析JStorm中計算任務(wù)從提交到分解為具體作業(yè)任務(wù)的整個過程,研究了JStorm為作業(yè)進行資源分配的過程,指出了在資源分配過程中因為缺乏對計算資源的整體評估,而導(dǎo)致集群負載不均衡的問題。2)提出了JStorm工作節(jié)點負載評估模型。通過對現(xiàn)有節(jié)點負載評估模型的研究,結(jié)合JStorm作業(yè)處理數(shù)據(jù)的特性,從JStorm工作節(jié)點的計算資源利用率及節(jié)點本身的數(shù)據(jù)處理能力出發(fā),設(shè)計了JStorm工作節(jié)點負載的多權(quán)值評估模型,并對模型中的多個概念進行了詳細說明。3)改進了JStorm作業(yè)資源分配策略。針對JStorm作業(yè)資源分配策略中忽視工作節(jié)點負載非對稱的缺點,結(jié)合提出的工作節(jié)點負載評估模型,在作業(yè)資源分配過程時考慮工作節(jié)點的負載情況,對計算資源進行合理分配,保證集群的負載均衡,使得流式應(yīng)用能夠充分利用每個節(jié)點的計算資源。4)設(shè)計并實現(xiàn)了作業(yè)資源分配改進策略。將源碼實現(xiàn)嵌入到JStorm的調(diào)度器中,搭建JStorm集群,通過實驗驗證了改進策略的可行性。實驗結(jié)果表明,本文提出的改進作業(yè)資源分配策略解決了JStorm因為作業(yè)計算資源分配不當(dāng)導(dǎo)致的集群負載不均衡問題,同時提高了JStorm處理數(shù)據(jù)的性能,將數(shù)據(jù)的吞吐量提高了10%。
【關(guān)鍵詞】：流式計算 JStorm 負載均衡 資源分配
【學(xué)位授予單位】：北京工業(yè)大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2016
【分類號】：TP274
【目錄】：

• 摘要4-5
• Abstract5-9
• 第1章 緒論9-15
• 1.1 論文選題背景9-10
• 1.2 國內(nèi)外研究現(xiàn)狀10-12
• 1.3 主要研究內(nèi)容12
• 1.4 論文結(jié)構(gòu)安排12-15
• 第2章 相關(guān)技術(shù)分析15-25
• 2.1 流式數(shù)據(jù)處理技術(shù)15-16
• 2.1.1 流式數(shù)據(jù)處理技術(shù)的概述15
• 2.1.2 流式數(shù)據(jù)處理的相關(guān)技術(shù)15-16
• 2.2 JStorm平臺介紹16-21
• 2.2.1 JStorm簡介16-17
• 2.2.2 JStorm的核心技術(shù)和基本組成17-19
• 2.2.3 JStorm的工作原理19-21
• 2.3 常見的資源調(diào)度算法分析21-22
• 2.3.1 最大最小公平算法21
• 2.3.2 DRF算法21-22
• 2.4 Hadoop常見的資源調(diào)度算法分析22-23
• 2.5 本章小結(jié)23-25
• 第3章 JStorm Worker資源分配策略分析25-33
• 3.1 JStorm Worker資源分配策略25-29
• 3.1.1 Topology的提交以及實例化過程25-27
• 3.1.2 Worker的資源分配過程27-29
• 3.2 改進Worker資源分配策略問題分析29-31
• 3.3 本章小結(jié)31-33
• 第4章 JStorm Worker資源分配改進策略的設(shè)計及實現(xiàn)33-45
• 4.1 JStorm Worker資源分配改進策略的設(shè)計33-38
• 4.1.1 相關(guān)概念定義33-34
• 4.1.2 Supervisor節(jié)點負載評估模型34-36
• 4.1.3 改進的Worker資源分配策略36-38
• 4.2 JStorm Worker資源分配改進策略的實現(xiàn)38-42
• 4.2.1 收集Supervisor節(jié)點相關(guān)參數(shù)的實現(xiàn)38-40
• 4.2.2 Worker資源分配改進策略的實現(xiàn)40-42
• 4.3 對Worker資源分配改進策略的修正42-43
• 4.4 本章小結(jié)43-45
• 第5章 實驗及結(jié)果分析45-53
• 5.1 實驗集群環(huán)境的搭建45-46
• 5.2 實驗結(jié)果與分析46-51
• 5.3 本章小結(jié)51-53
• 結(jié)論53-55
• 參考文獻55-59
• 攻讀碩士學(xué)位期間所取得的成果59-61
• 致謝61

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 黃衛(wèi)軍;口岸城市通關(guān)數(shù)據(jù)處理平臺[J];上海信息化;2005年01期

2 林華兵;;數(shù)據(jù)處理平臺高可靠性的設(shè)計與實現(xiàn)[J];中國金融電腦;2010年11期

3 胡繼軍;;淺談統(tǒng)計部門在數(shù)據(jù)處理平臺設(shè)計中應(yīng)考慮的問題[J];現(xiàn)代經(jīng)濟信息;2012年14期

4 王業(yè)斌;;省級防雷業(yè)務(wù)數(shù)據(jù)處理平臺的開發(fā)[J];科技信息;2009年30期

5 龔一飛;劉萬才;;農(nóng)作物有害生物調(diào)查項目數(shù)據(jù)處理平臺的構(gòu)建與實現(xiàn)[J];中國植保導(dǎo)刊;2012年03期

6 邢煜;;一種海量數(shù)據(jù)處理平臺的解決方案[J];電腦知識與技術(shù);2013年21期

7 蔡玉寶;左春;張正;鄒志強;;數(shù)據(jù)處理平臺的研究與實現(xiàn)[J];計算機工程與設(shè)計;2008年07期

8 張濤;李建;康永佳;;多任務(wù)高并發(fā)數(shù)據(jù)處理平臺的技術(shù)研究[J];網(wǎng)絡(luò)安全技術(shù)與應(yīng)用;2010年03期

9 宋均;祝林;;基于云計算的海量數(shù)據(jù)處理平臺設(shè)計與實現(xiàn)[J];電訊技術(shù);2012年04期

10 楊凱;曹小軍;盧鶯;;控制系統(tǒng)數(shù)據(jù)處理平臺開發(fā)與應(yīng)用[J];彈箭與制導(dǎo)學(xué)報;2009年04期

中國重要會議論文全文數(shù)據(jù)庫 前6條

1 王業(yè)斌;徐建鵬;王凱;;安徽省常規(guī)防雷業(yè)務(wù)服務(wù)數(shù)據(jù)處理平臺的開發(fā)[A];信息技術(shù)在氣象領(lǐng)域的開發(fā)應(yīng)用論文集（一）[C];2005年

2 季曉林;劉海硯;;基于數(shù)據(jù)處理平臺的空間矢量數(shù)據(jù)融合[A];中國地理信息系統(tǒng)協(xié)會第八屆年會論文集[C];2004年

3 趙旭霞;劉立峰;邵起明;;智能路測系統(tǒng)中的數(shù)據(jù)處理平臺[A];2006通信理論與技術(shù)新進展——第十一屆全國青年通信學(xué)術(shù)會議論文集[C];2006年

4 張鵬;;基于XML/Java的數(shù)據(jù)處理平臺[A];Java技術(shù)及應(yīng)用的進展——第八屆中國Java技術(shù)及應(yīng)用交流大會文集[C];2005年

5 丁輝;張大華;羅志明;;基于Hadoop的海量數(shù)據(jù)處理平臺研究[A];2011電力通信管理暨智能電網(wǎng)通信技術(shù)論壇論文集[C];2011年

6 陶金花;蘇林;李樹楷;;一種基于網(wǎng)格的LiDAR數(shù)據(jù)處理平臺架構(gòu)[A];2007年先進激光技術(shù)發(fā)展與應(yīng)用研討會論文集[C];2007年

中國重要報紙全文數(shù)據(jù)庫 前5條

1 本報記者 劉書臻;山東：數(shù)據(jù)處理平臺建成[N];中國信息報;2011年

2 楊小國;“四大工程”助推普查資料開發(fā)提速[N];中國信息報;2012年

3 董平;創(chuàng)新,永不止步[N];中國國門時報;2011年

4 《網(wǎng)絡(luò)世界》記者 李夏艷;直面無線挑戰(zhàn)[N];網(wǎng)絡(luò)世界;2012年

5 ;“康師傅”喜新厭舊[N];網(wǎng)絡(luò)世界;2002年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前1條

1 林文輝;基于Hadoop的海量網(wǎng)絡(luò)數(shù)據(jù)處理平臺的關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2014年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 張利平;基于MPC8536的雷達嵌入式數(shù)據(jù)處理平臺設(shè)計[D];電子科技大學(xué);2015年

2 潘思聰;基于云環(huán)境的電信數(shù)據(jù)處理平臺設(shè)計與實現(xiàn)[D];上海交通大學(xué);2014年

3 嚴華;統(tǒng)計局數(shù)據(jù)處理平臺的設(shè)計和實現(xiàn)[D];電子科技大學(xué);2014年

4 張波;基于大數(shù)據(jù)技術(shù)的公安移動通信數(shù)據(jù)處理平臺設(shè)計與實現(xiàn)[D];山東大學(xué);2016年

5 周碧漳;面向量化交易的金融數(shù)據(jù)處理平臺研究與原型實現(xiàn)[D];電子科技大學(xué);2016年

6 張杰;面向車載信息的大規(guī)模數(shù)據(jù)處理平臺技術(shù)研究[D];電子科技大學(xué);2016年

7 王華慈;MapReduce型海量數(shù)據(jù)處理平臺中數(shù)據(jù)放置技術(shù)研究[D];北京工業(yè)大學(xué);2016年

8 樊明璐;流式大數(shù)據(jù)處理平臺中資源動態(tài)調(diào)度技術(shù)研究[D];北京工業(yè)大學(xué);2016年

9 楊鵬;面向流式數(shù)據(jù)處理平臺JStorm的負載均衡技術(shù)研究[D];北京工業(yè)大學(xué);2016年

10 但玻;城市熱島效應(yīng)衛(wèi)星遙感數(shù)據(jù)處理平臺研發(fā)[D];電子科技大學(xué);2011年

，

本文編號：981398