發(fā)布時(shí)間：2017-08-22 11:00

  本文關(guān)鍵詞：流式大數(shù)據(jù)處理平臺(tái)中資源動(dòng)態(tài)調(diào)度技術(shù)研究

  更多相關(guān)文章： 大數(shù)據(jù) 流式大數(shù)據(jù)處理平臺(tái) 動(dòng)態(tài)資源調(diào)度 預(yù)測(cè)

【摘要】：流式計(jì)算是大數(shù)據(jù)處理領(lǐng)域中一類重要的計(jì)算形態(tài)。流式大數(shù)據(jù)處理平臺(tái)以實(shí)時(shí)產(chǎn)生的數(shù)據(jù)作為輸入,數(shù)據(jù)源源不斷地流入到相應(yīng)的處理組件中進(jìn)行處理,之后處理結(jié)果被實(shí)時(shí)反饋給用戶。目前的資源調(diào)度方式仍然是以預(yù)先靜態(tài)的方式為各個(gè)應(yīng)用程序中的計(jì)算容器分配資源,使得負(fù)載波動(dòng)時(shí)計(jì)算容器對(duì)資源的需求和分配不相匹配。針對(duì)該問(wèn)題,本文以計(jì)算容器的資源需求不同且波動(dòng)變化為前提,提出以計(jì)算容器為粒度的資源實(shí)時(shí)動(dòng)態(tài)優(yōu)化調(diào)度技術(shù),首先分析隨負(fù)載變化的資源需求規(guī)律,并對(duì)下一時(shí)間窗口的資源需求進(jìn)行預(yù)測(cè),然后根據(jù)預(yù)測(cè)結(jié)果,實(shí)時(shí)調(diào)度每個(gè)應(yīng)用的計(jì)算容器在運(yùn)行過(guò)程中的資源(CPU和內(nèi)存)分配量;同時(shí)在流式大數(shù)據(jù)處理平臺(tái)中多應(yīng)用共存的環(huán)境下,資源需求高的計(jì)算容器能夠得到更多的資源來(lái)處理數(shù)據(jù),而資源需求量低的計(jì)算容器能夠釋放更多的資源供其他應(yīng)用程序使用,以最小調(diào)度開銷為前提來(lái)提高所有應(yīng)用的資源利用率。本文的主要貢獻(xiàn)包括:1)面向流式大數(shù)據(jù)處理平臺(tái)的動(dòng)態(tài)資源調(diào)度架構(gòu)模型。該模型至下而上分為監(jiān)控/執(zhí)行層、預(yù)測(cè)代理層和調(diào)度決策層。將動(dòng)態(tài)調(diào)度的功能和執(zhí)行機(jī)制解耦,實(shí)現(xiàn)預(yù)測(cè)、調(diào)度決策以及監(jiān)控這三個(gè)功能并行執(zhí)行、相互協(xié)同,共同實(shí)現(xiàn)資源動(dòng)態(tài)調(diào)度。2)面向流式大數(shù)據(jù)處理平臺(tái)的在線資源預(yù)測(cè)方法。實(shí)時(shí)監(jiān)控流式大數(shù)據(jù)處理平臺(tái)中各個(gè)應(yīng)用程序的計(jì)算容器對(duì)CPU和內(nèi)存資源的使用情況,分析流式大數(shù)據(jù)處理平臺(tái)中的負(fù)載特征,以時(shí)間窗口的形式,提出基于資源使用變化率的資源預(yù)測(cè)模型對(duì)CPU和內(nèi)存資源進(jìn)行在線組合預(yù)測(cè),作為組合調(diào)度各個(gè)計(jì)算容器物理資源的依據(jù)。3)面向流式大數(shù)據(jù)處理平臺(tái)的資源組合調(diào)度方法。該方法基于對(duì)未來(lái)時(shí)間窗口的資源預(yù)測(cè)結(jié)果,確定對(duì)計(jì)算容器進(jìn)行釋放或者追加物理資源量,根據(jù)資源調(diào)度結(jié)果,確定計(jì)算容器是否遷移。本文對(duì)計(jì)算容器的CPU和內(nèi)存資源使用情況進(jìn)行量化,以計(jì)算容器資源需求都得到滿足、調(diào)度過(guò)程產(chǎn)生的開銷最少、發(fā)生遷移的計(jì)算容器個(gè)數(shù)最少這三個(gè)目標(biāo),將各個(gè)計(jì)算容器組合來(lái)選擇合適的計(jì)算容器遷移到合適的節(jié)點(diǎn)中。4)綜合以上的研究成果,基于開源流式大數(shù)據(jù)處理平臺(tái)JStorm,設(shè)計(jì)并實(shí)現(xiàn)了資源動(dòng)態(tài)調(diào)度系統(tǒng)D-JStorm。D-JStorm整合上述架構(gòu)、預(yù)測(cè)和資源組合調(diào)度功能,實(shí)現(xiàn)對(duì)系統(tǒng)中的計(jì)算容器進(jìn)行資源調(diào)度和計(jì)算容器遷移。該系統(tǒng)無(wú)需用戶修改頂層應(yīng)用代碼,具有良好的兼容性。5)對(duì)D-JStorm進(jìn)行性能分析。分析結(jié)果表明,與JStorm平臺(tái)相比,平均響應(yīng)時(shí)間最高縮短58.26%,平均縮短了23.18%;CPU資源利用率最高提升17.96%,平均提升11.39%;內(nèi)存利用率最高提升88.7%,平均提升71.16%。
【關(guān)鍵詞】：大數(shù)據(jù) 流式大數(shù)據(jù)處理平臺(tái) 動(dòng)態(tài)資源調(diào)度 預(yù)測(cè)
【學(xué)位授予單位】：北京工業(yè)大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：TP311.13
【目錄】：

• 摘要4-6
• Abstract6-11
• 第1章 緒論11-17
• 1.1 流式大數(shù)據(jù)處理特征和流式大數(shù)據(jù)處理平臺(tái)11-13
• 1.1.1 流式大數(shù)據(jù)處理特征11-12
• 1.1.2 大數(shù)據(jù)環(huán)境下的流式大數(shù)據(jù)處理平臺(tái)12-13
• 1.2 流式大數(shù)據(jù)處理平臺(tái)中既有資源調(diào)度現(xiàn)狀及不足13-14
• 1.3 流式大數(shù)據(jù)處理平臺(tái)資源動(dòng)態(tài)調(diào)度技術(shù)面臨的挑戰(zhàn)14-15
• 1.4 本文的主要貢獻(xiàn)15-16
• 1.5 本文的組織結(jié)構(gòu)16-17
• 第2章 相關(guān)工作17-25
• 2.1 典型分布式流式大數(shù)據(jù)處理平臺(tái)Storm概述17-19
• 2.1.1 Storm平臺(tái)應(yīng)用編程模型及平臺(tái)架構(gòu)17-18
• 2.1.2 Storm平臺(tái)任務(wù)分配及資源調(diào)度方式18-19
• 2.2 資源調(diào)度策略相關(guān)技術(shù)19-24
• 2.2.1 現(xiàn)有流式大數(shù)據(jù)處理平臺(tái)資源調(diào)度策略19-20
• 2.2.2 支持流式大數(shù)據(jù)處理應(yīng)用的集群資源管理器20-21
• 2.2.3 資源動(dòng)態(tài)調(diào)度策略優(yōu)化研究21-24
• 2.3 本章小結(jié)24-25
• 第3章 流式大數(shù)據(jù)處理平臺(tái)資源動(dòng)態(tài)調(diào)度架構(gòu)模型與工作流程25-31
• 3.1 總體架構(gòu)模型25-26
• 3.2 預(yù)測(cè)代理架構(gòu)模型26-27
• 3.3 資源組合調(diào)度架構(gòu)模型27-29
• 3.4 面向流式大數(shù)據(jù)處理平臺(tái)資源動(dòng)態(tài)調(diào)度策略工作流程29-30
• 3.5 本章小結(jié)30-31
• 第4章 面向流式大數(shù)據(jù)處理平臺(tái)動(dòng)態(tài)資源預(yù)測(cè)方法31-39
• 4.1 問(wèn)題描述31-32
• 4.2 參數(shù)定義32-34
• 4.3 基于資源使用變化率的資源預(yù)測(cè)模型34-35
• 4.4 算法流程35-37
• 4.5 本章小結(jié)37-39
• 第5章 面向流式大數(shù)據(jù)處理平臺(tái)資源組合調(diào)度方法39-47
• 5.1 問(wèn)題分析39-40
• 5.2 參數(shù)定義40-41
• 5.3 調(diào)度決策模型41-43
• 5.3.1 調(diào)度操作時(shí)機(jī)41-42
• 5.3.2 資源增減量計(jì)算42
• 5.3.3 可執(zhí)行遷移決策42-43
• 5.4 調(diào)度開銷評(píng)估模型43-44
• 5.5 資源組合調(diào)度策略44-46
• 5.5.1 目標(biāo)的確定44-45
• 5.5.2 資源組合調(diào)度策略45-46
• 5.6 本章小結(jié)46-47
• 第6章 面向流式大數(shù)據(jù)處理平臺(tái)資源動(dòng)態(tài)調(diào)度系統(tǒng)實(shí)現(xiàn)47-55
• 6.1 JStorm平臺(tái)資源調(diào)度介紹47-48
• 6.2 D-JStorm系統(tǒng)框架48-49
• 6.3 擴(kuò)增的數(shù)據(jù)結(jié)構(gòu)定義49-52
• 6.4 資源預(yù)測(cè)功能實(shí)現(xiàn)52
• 6.5 組合調(diào)度功能實(shí)現(xiàn)52-53
• 6.6 本章小結(jié)53-55
• 第7章 性能測(cè)試與分析55-79
• 7.1 測(cè)試負(fù)載55-57
• 7.1.1 測(cè)試負(fù)載分析55-56
• 7.1.2 測(cè)試負(fù)載生成56-57
• 7.2 性能評(píng)價(jià)指標(biāo)57-59
• 7.2.1 預(yù)測(cè)性能評(píng)價(jià)指標(biāo)57-58
• 7.2.2 系統(tǒng)總體性能評(píng)價(jià)指標(biāo)58-59
• 7.2.3 微觀指標(biāo)59
• 7.3 測(cè)試結(jié)果與分析59-77
• 7.3.1 測(cè)試環(huán)境59
• 7.3.2 資源動(dòng)態(tài)調(diào)整性能分析59-66
• 7.3.3 資源預(yù)測(cè)分析66-67
• 7.3.4 組合調(diào)度性能分析67-77
• 7.4 本章小結(jié)77-79
• 結(jié)論79-81
• 參考文獻(xiàn)81-85
• 攻讀碩士學(xué)位期間所發(fā)表的學(xué)術(shù)論文85-87
• 致謝87

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 黃衛(wèi)軍;口岸城市通關(guān)數(shù)據(jù)處理平臺(tái)[J];上海信息化;2005年01期

2 林華兵;;數(shù)據(jù)處理平臺(tái)高可靠性的設(shè)計(jì)與實(shí)現(xiàn)[J];中國(guó)金融電腦;2010年11期

3 胡繼軍;;淺談統(tǒng)計(jì)部門在數(shù)據(jù)處理平臺(tái)設(shè)計(jì)中應(yīng)考慮的問(wèn)題[J];現(xiàn)代經(jīng)濟(jì)信息;2012年14期

4 王業(yè)斌;;省級(jí)防雷業(yè)務(wù)數(shù)據(jù)處理平臺(tái)的開發(fā)[J];科技信息;2009年30期

5 龔一飛;劉萬(wàn)才;;農(nóng)作物有害生物調(diào)查項(xiàng)目數(shù)據(jù)處理平臺(tái)的構(gòu)建與實(shí)現(xiàn)[J];中國(guó)植保導(dǎo)刊;2012年03期

6 邢煜;;一種海量數(shù)據(jù)處理平臺(tái)的解決方案[J];電腦知識(shí)與技術(shù);2013年21期

7 蔡玉寶;左春;張正;鄒志強(qiáng);;數(shù)據(jù)處理平臺(tái)的研究與實(shí)現(xiàn)[J];計(jì)算機(jī)工程與設(shè)計(jì);2008年07期

8 張濤;李建;康永佳;;多任務(wù)高并發(fā)數(shù)據(jù)處理平臺(tái)的技術(shù)研究[J];網(wǎng)絡(luò)安全技術(shù)與應(yīng)用;2010年03期

9 宋均;祝林;;基于云計(jì)算的海量數(shù)據(jù)處理平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)[J];電訊技術(shù);2012年04期

10 楊凱;曹小軍;盧鶯;;控制系統(tǒng)數(shù)據(jù)處理平臺(tái)開發(fā)與應(yīng)用[J];彈箭與制導(dǎo)學(xué)報(bào);2009年04期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前6條

1 王業(yè)斌;徐建鵬;王凱;;安徽省常規(guī)防雷業(yè)務(wù)服務(wù)數(shù)據(jù)處理平臺(tái)的開發(fā)[A];信息技術(shù)在氣象領(lǐng)域的開發(fā)應(yīng)用論文集（一）[C];2005年

2 季曉林;劉海硯;;基于數(shù)據(jù)處理平臺(tái)的空間矢量數(shù)據(jù)融合[A];中國(guó)地理信息系統(tǒng)協(xié)會(huì)第八屆年會(huì)論文集[C];2004年

3 趙旭霞;劉立峰;邵起明;;智能路測(cè)系統(tǒng)中的數(shù)據(jù)處理平臺(tái)[A];2006通信理論與技術(shù)新進(jìn)展——第十一屆全國(guó)青年通信學(xué)術(shù)會(huì)議論文集[C];2006年

4 張鵬;;基于XML/Java的數(shù)據(jù)處理平臺(tái)[A];Java技術(shù)及應(yīng)用的進(jìn)展——第八屆中國(guó)Java技術(shù)及應(yīng)用交流大會(huì)文集[C];2005年

5 丁輝;張大華;羅志明;;基于Hadoop的海量數(shù)據(jù)處理平臺(tái)研究[A];2011電力通信管理暨智能電網(wǎng)通信技術(shù)論壇論文集[C];2011年

6 陶金花;蘇林;李樹楷;;一種基于網(wǎng)格的LiDAR數(shù)據(jù)處理平臺(tái)架構(gòu)[A];2007年先進(jìn)激光技術(shù)發(fā)展與應(yīng)用研討會(huì)論文集[C];2007年

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫(kù) 前5條

1 本報(bào)記者 劉書臻;山東：數(shù)據(jù)處理平臺(tái)建成[N];中國(guó)信息報(bào);2011年

2 楊小國(guó);“四大工程”助推普查資料開發(fā)提速[N];中國(guó)信息報(bào);2012年

3 董平;創(chuàng)新,永不止步[N];中國(guó)國(guó)門時(shí)報(bào);2011年

4 《網(wǎng)絡(luò)世界》記者 李夏艷;直面無(wú)線挑戰(zhàn)[N];網(wǎng)絡(luò)世界;2012年

5 ;“康師傅”喜新厭舊[N];網(wǎng)絡(luò)世界;2002年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前1條

1 林文輝;基于Hadoop的海量網(wǎng)絡(luò)數(shù)據(jù)處理平臺(tái)的關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2014年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 張利平;基于MPC8536的雷達(dá)嵌入式數(shù)據(jù)處理平臺(tái)設(shè)計(jì)[D];電子科技大學(xué);2015年

2 潘思聰;基于云環(huán)境的電信數(shù)據(jù)處理平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)[D];上海交通大學(xué);2014年

3 嚴(yán)華;統(tǒng)計(jì)局?jǐn)?shù)據(jù)處理平臺(tái)的設(shè)計(jì)和實(shí)現(xiàn)[D];電子科技大學(xué);2014年

4 張波;基于大數(shù)據(jù)技術(shù)的公安移動(dòng)通信數(shù)據(jù)處理平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)[D];山東大學(xué);2016年

5 周碧漳;面向量化交易的金融數(shù)據(jù)處理平臺(tái)研究與原型實(shí)現(xiàn)[D];電子科技大學(xué);2016年

6 張杰;面向車載信息的大規(guī)模數(shù)據(jù)處理平臺(tái)技術(shù)研究[D];電子科技大學(xué);2016年

7 王華慈;MapReduce型海量數(shù)據(jù)處理平臺(tái)中數(shù)據(jù)放置技術(shù)研究[D];北京工業(yè)大學(xué);2016年

8 樊明璐;流式大數(shù)據(jù)處理平臺(tái)中資源動(dòng)態(tài)調(diào)度技術(shù)研究[D];北京工業(yè)大學(xué);2016年

9 楊鵬;面向流式數(shù)據(jù)處理平臺(tái)JStorm的負(fù)載均衡技術(shù)研究[D];北京工業(yè)大學(xué);2016年

10 但玻;城市熱島效應(yīng)衛(wèi)星遙感數(shù)據(jù)處理平臺(tái)研發(fā)[D];電子科技大學(xué);2011年

，

本文編號(hào)：718722