發(fā)布時(shí)間：2018-02-21 01:28

  本文關(guān)鍵詞： 流計(jì)算 分布式 海量數(shù)據(jù) 節(jié)點(diǎn)管理　出處：《北京郵電大學(xué)》2013年碩士論文　論文類型：學(xué)位論文

【摘要】：當(dāng)今時(shí)代,信息技術(shù)的迅猛發(fā)展帶來了數(shù)據(jù)量的飛速增長。這些數(shù)據(jù)不僅包含數(shù)據(jù)庫中的結(jié)構(gòu)化數(shù)據(jù),還含有海量來自于電子郵件、傳感器、在線視頻等非結(jié)構(gòu)化、互不兼容的、實(shí)時(shí)的數(shù)據(jù)。面對極大的實(shí)時(shí)數(shù)據(jù)流量,傳統(tǒng)計(jì)算模型不再能滿足需求。如何有效處理海量非結(jié)構(gòu)化實(shí)時(shí)數(shù)據(jù)成為焦點(diǎn),這促進(jìn)了處理實(shí)時(shí)數(shù)據(jù)的分布式流計(jì)算框架的蓬勃發(fā)展。 目前比較典型的分布式流計(jì)算框架有IBM的InfoSphere Steams和Yahoo!公司的S4(Distributed Stream Computing Platform)[1]系統(tǒng)。InfoSphere Steams是一款比較成熟的流計(jì)算產(chǎn)品,遺憾的是,該產(chǎn)品需要付費(fèi)并且不開源,不能進(jìn)行研究和改進(jìn)。后者是Yahoo!公司開發(fā)開源分布式流計(jì)算框架,目前高速發(fā)展,是Apache旗下的子項(xiàng)目。 S4是一個(gè)分布式流計(jì)算平臺,它有良好的可擴(kuò)展性,具有部分容錯(cuò)能力,能夠支持插件并且較為通用。S4系統(tǒng)有諸多優(yōu)勢,但仍然存在節(jié)點(diǎn)管理不完善,不能動態(tài)增加,刪除節(jié)點(diǎn)的缺陷,同時(shí)S4系統(tǒng)管理員不能直觀地使用管理界面對分布式流計(jì)算框架中各節(jié)點(diǎn)進(jìn)行全面的管理和監(jiān)控。 本文改進(jìn)S4在節(jié)點(diǎn)管理方面的不足,首先介紹流計(jì)算和S4的研究發(fā)展情況,重點(diǎn)描述S4在節(jié)點(diǎn)管理方面的不足。接下來針對S4在節(jié)點(diǎn)管理方面的不足,提出分布式流計(jì)算框架節(jié)點(diǎn)管理總體需求,包括動態(tài)管理節(jié)點(diǎn)需求及Web節(jié)點(diǎn)管理需求。之后針對總體需求,設(shè)計(jì)相關(guān)方案和架構(gòu)。針對動態(tài)管理節(jié)點(diǎn)需求,設(shè)計(jì)并實(shí)現(xiàn)兩階段映射的節(jié)點(diǎn)管理方案；針對Web節(jié)點(diǎn)管理需求,提出采集層、分析整合層、表示層、用戶層的分層架構(gòu),并對各層次進(jìn)行設(shè)計(jì)與實(shí)現(xiàn)。接下來,對分布式流計(jì)算框架節(jié)點(diǎn)管理各項(xiàng)功能進(jìn)行全面的功能和性能測試,驗(yàn)證了本文設(shè)計(jì)實(shí)現(xiàn)的分布式流計(jì)算框架節(jié)點(diǎn)管理在功能和性能方面的優(yōu)勢。最后對本文設(shè)計(jì)實(shí)現(xiàn)的分布式流計(jì)算框架節(jié)點(diǎn)管理提出建議和下一步研究方向。
[Abstract]:Nowadays, the rapid development of information technology has brought about the rapid growth of data volume, which contains not only structured data in databases, but also massive amounts of unstructured data from email, sensors, online video, etc. Incompatible, real-time data. In the face of huge real-time data flow, the traditional computing model can no longer meet the requirements. How to effectively deal with massive unstructured real-time data becomes the focus. This promotes the development of distributed stream computing framework for processing real-time data. At present, the typical distributed stream computing framework is IBM's InfoSphere Steams and Yahoo! The company's S4 distributed Stream Computing platform [1] system .InfoSphere Steams is a mature streaming computing product that, unfortunately, needs to be paid and is not open source and can't be researched and improved. The latter is Yahoo! The company develops open-source distributed stream computing framework, which is a sub-project of Apache. S4 is a distributed stream computing platform, which has good extensibility, partial fault tolerance, can support plug-in and has many advantages over general S4 system, but it still has imperfect node management and can not be dynamically increased. At the same time, the S4 system administrator can not directly use the management interface to manage and monitor the nodes in the distributed flow computing framework. In this paper, the shortcomings of S4 in node management are improved. Firstly, the research and development of flow calculation and S4 are introduced, and the shortcomings of S4 in node management are emphatically described. The overall requirements of node management in distributed flow computing framework, including dynamic management node requirements and Web node management requirements, are proposed, and then the related schemes and frameworks are designed for the overall requirements, and the dynamic management node requirements are addressed. Design and implement a two-stage mapping node management scheme, propose a collection layer, analyze the integration layer, presentation layer, user layer, and design and implement each layer for Web node management requirements. A comprehensive functional and performance test of the node management functions of the distributed stream computing framework is carried out. The advantages of node management in function and performance of the distributed flow computing framework designed and implemented in this paper are verified. Finally, suggestions and further research directions are given for the node management of the distributed flow computing framework designed and implemented in this paper.
【學(xué)位授予單位】：北京郵電大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2013
【分類號】：TP338.8

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 馮立;姚遠(yuǎn)程;胡榮春;;基于分層定位的無線傳感器網(wǎng)絡(luò)定位研究[J];重慶郵電大學(xué)學(xué)報(bào)(自然科學(xué)版);2008年04期

2 陳理卿;黃慎江;;裝配式預(yù)應(yīng)力混凝土框架節(jié)點(diǎn)抗震性能的探討[J];工程與建設(shè);2008年06期

3 馬如宇;馮英偉;;EON Studio在網(wǎng)絡(luò)三維互動課件開發(fā)中的應(yīng)用[J];中小學(xué)信息技術(shù)教育;2006年09期

4 薛源;張長浩;黃拓;;多種框架結(jié)構(gòu)節(jié)點(diǎn)抗震性能的研究[J];科技傳播;2011年01期

5 何_";徐昌慶;;無線傳感器網(wǎng)絡(luò)的動態(tài)部分覆蓋算法[J];信息技術(shù);2008年09期

6 馬如宇;;Web3D技術(shù)在網(wǎng)絡(luò)三維互動課件開發(fā)中的應(yīng)用[J];中小學(xué)電教;2007年12期

7 周安;陳春雷;徐濤;;植筋框架節(jié)點(diǎn)抗震試驗(yàn)研究[J];工程與建設(shè);2007年01期

8 李靈佳,董華瑾;分布式程序的開發(fā)和應(yīng)用[J];鞍山師范學(xué)院學(xué)報(bào);2005年04期

9 陳啟祥;馬民生;;面向Web服務(wù)的軟件測試技術(shù)研究[J];軟件導(dǎo)刊;2007年05期

10 馬如宇;;Web3D技術(shù)在高中地理課件開發(fā)中的應(yīng)用及實(shí)例開發(fā)[J];中小學(xué)電教;2009年06期

相關(guān)會議論文 前10條

1 季韜;鄭忠雙;;關(guān)于框架節(jié)點(diǎn)抗震設(shè)計(jì)中若干問題的思考[A];第九屆全國結(jié)構(gòu)工程學(xué)術(shù)會議論文集第Ⅲ卷[C];2000年

2 季韜;鄭作樵;鄢飛;;關(guān)于框架節(jié)點(diǎn)中一些問題的討論[A];第十屆全國結(jié)構(gòu)工程學(xué)術(shù)會議論文集第Ⅱ卷[C];2001年

3 魏艷芳;王天穩(wěn);;碳纖維布加固框架節(jié)點(diǎn)梁端錨固方式的試驗(yàn)研究[A];第三屆全國FRP學(xué)術(shù)交流會議論文集[C];2004年

4 唐九如;花霞萍;陳俊輝;余彬;;部分預(yù)應(yīng)力砼框架節(jié)點(diǎn)的受剪承載力[A];預(yù)應(yīng)力混凝土現(xiàn)況與發(fā)展——中國土木工程學(xué)會混凝土及預(yù)應(yīng)力混凝土學(xué)會后張預(yù)應(yīng)力混凝土結(jié)構(gòu)委員會第一屆第三次學(xué)術(shù)交流會論文集[C];1992年

5 方根生;王樹蘭;;鋼筋混凝土框架節(jié)點(diǎn)非線性有限元分析[A];混凝土結(jié)構(gòu)基本理論及應(yīng)用第二屆學(xué)術(shù)討論會論文集（第三卷）[C];1990年

6 鄭作樵;季韜;;配筋鋼纖維砼扁梁框架節(jié)點(diǎn)受力性能的試驗(yàn)研究[A];第六屆全國結(jié)構(gòu)工程學(xué)術(shù)會議論文集（第二卷）[C];1997年

7 鄭建嵐;鄭作樵;錢在茲;;鋼筋陶粒砼框架節(jié)點(diǎn)抗震性能試驗(yàn)研究[A];第六屆全國結(jié)構(gòu)工程學(xué)術(shù)會議論文集（第二卷）[C];1997年

8 蔡建國;馮健;;考慮節(jié)點(diǎn)剛度的預(yù)制混凝土框架結(jié)構(gòu)分析[A];“發(fā)展綠色技術(shù)，，建設(shè)節(jié)約結(jié)構(gòu)”——第十四屆全國混凝土及預(yù)應(yīng)力混凝土學(xué)術(shù)會議論文集[C];2007年

9 羅素蓉;;框架頂層角節(jié)點(diǎn)的受剪承載力計(jì)算[A];第七屆全國結(jié)構(gòu)工程學(xué)術(shù)會議論文集（第Ⅱ卷）[C];1998年

10 肖建莊;朱曉暉;劉瓊;;再生混凝土框架節(jié)點(diǎn)受力性能仿真分析[A];首屆全國再生混凝土研究與應(yīng)用學(xué)術(shù)交流會論文集[C];2008年

相關(guān)重要報(bào)紙文章 前10條

1 馬俊洪;對施工過程技術(shù)問題的探討[N];廣東建設(shè)報(bào);2002年

2 熊雄;Unix系統(tǒng)下的文件恢復(fù)[N];網(wǎng)絡(luò)世界;2001年

3 雪晴;P2P撲面而來[N];中國計(jì)算機(jī)報(bào);2001年

4 侯紹捷;云南DNC聯(lián)網(wǎng)管理技術(shù)推介會成功舉辦[N];國家電網(wǎng)報(bào);2008年

5 清華大學(xué) 陳康邋鄭緯民;云計(jì)算的三架馬車:Google、亞馬遜和IBM[N];計(jì)算機(jī)世界;2008年

6 倪娜;整合 協(xié)作 適應(yīng)[N];國際商報(bào);2003年

7 記者 李琦琨;2000萬打造貴陽35棟標(biāo)志性建筑夜景燈飾[N];經(jīng)濟(jì)信息時(shí)報(bào);2009年

8 杜榮華;JXTA瞄準(zhǔn)P2P[N];中國計(jì)算機(jī)報(bào);2001年

9 戴軼群 黃厚珍 張野;淺談網(wǎng)絡(luò)傳播的獨(dú)特功能和負(fù)功能控制（上）[N];中華新聞報(bào);2001年

10 吳險(xiǎn)峰;奉賢海港開發(fā)區(qū)幫扶企業(yè)實(shí)實(shí)在在[N];上海科技報(bào);2009年

相關(guān)博士學(xué)位論文 前10條

1 周天華;方鋼管混凝土柱—鋼梁框架節(jié)點(diǎn)抗震性能及承載力研究[D];西安建筑科技大學(xué);2004年

2 劉猛;新型鉛阻尼器與預(yù)應(yīng)力裝配式框架節(jié)點(diǎn)抗震性能研究[D];北京工業(yè)大學(xué);2008年

3 曾磊;型鋼高強(qiáng)高性能混凝土框架節(jié)點(diǎn)抗震性能及設(shè)計(jì)計(jì)算理論研究[D];西安建筑科技大學(xué);2008年

4 潘建榮;基于相關(guān)性的框架節(jié)點(diǎn)半剛性分析方法研究[D];汕頭大學(xué);2009年

5 傅劍平;鋼筋混凝土框架節(jié)點(diǎn)抗震性能與設(shè)計(jì)方法研究[D];重慶大學(xué);2002年

6 劉鵬;自私性無線節(jié)點(diǎn)協(xié)作中繼的博弈策略研究[D];中國礦業(yè)大學(xué);2012年

7 劉峰;基于服務(wù)角色的P2P節(jié)點(diǎn)識別方法研究[D];華中科技大學(xué);2010年

8 吳微威;基于IR-UWB的無線傳感器網(wǎng)絡(luò)研究[D];中國科學(xué)技術(shù)大學(xué);2007年

9 陳才;針對節(jié)點(diǎn)自私性的對等網(wǎng)絡(luò)激勵(lì)機(jī)制技術(shù)研究[D];北京郵電大學(xué);2010年

10 高勝;對等網(wǎng)絡(luò)環(huán)境下發(fā)布/訂閱系統(tǒng)的路由機(jī)制研究[D];華中科技大學(xué);2012年

相關(guān)碩士學(xué)位論文 前10條

1 宋穎瑩;分布式流計(jì)算框架節(jié)點(diǎn)管理功能的設(shè)計(jì)與實(shí)現(xiàn)[D];北京郵電大學(xué);2013年

2 陳紅光;PVA纖維混凝土增強(qiáng)框架節(jié)點(diǎn)的力學(xué)性能研究[D];湖北工業(yè)大學(xué);2012年

3 陸永往;基于模態(tài)分析的框架節(jié)點(diǎn)性態(tài)設(shè)計(jì)研究[D];鄭州大學(xué);2012年

4 史知芳;鋼筋混凝土受損框架節(jié)點(diǎn)加固試驗(yàn)研究[D];武漢理工大學(xué);2012年

5 劉池;磷酸鎂混凝土框架節(jié)點(diǎn)抗火性能試驗(yàn)研究[D];山東建筑大學(xué);2010年

6 楊曉波;預(yù)壓裝配式預(yù)應(yīng)力混凝土框架節(jié)點(diǎn)的抗震性能研究[D];合肥工業(yè)大學(xué);2010年

7 邢海靈;鋼筋混凝土框架節(jié)點(diǎn)加固試驗(yàn)及理論分析研究[D];湖南大學(xué);2003年

8 張嘉奇;預(yù)壓裝配式混凝土框架節(jié)點(diǎn)的抗裂研究[D];合肥工業(yè)大學(xué);2010年

9 張俊良;鋼纖維混凝土在框架節(jié)點(diǎn)中的應(yīng)用研究[D];西安建筑科技大學(xué);2007年

10 李斌;無粘結(jié)預(yù)應(yīng)力混凝土扁梁框架節(jié)點(diǎn)抗震性能研究[D];福州大學(xué);2003年

本文編號：1520607