本文選題：云計(jì)算　切入點(diǎn)：集群監(jiān)控　出處：《東南大學(xué)》2016年碩士論文　論文類型：學(xué)位論文

【摘要】：目前基于云計(jì)算技術(shù)的數(shù)據(jù)中心已經(jīng)被越來(lái)越多的企業(yè)部署,云數(shù)據(jù)中心的資源分布高度集中,如何有效地對(duì)云環(huán)境下的各類資源進(jìn)行監(jiān)控,并依據(jù)監(jiān)控?cái)?shù)據(jù)進(jìn)行合理分析以提高集群服務(wù)質(zhì)量及可用性成為各企業(yè)在建立私有云的過(guò)程中所面臨的一個(gè)重要問(wèn)題。一些公有云服務(wù)提供商如亞馬遜等都提供了一定的監(jiān)控功能,但大多數(shù)開源私有云環(huán)境如OpenStack提供的監(jiān)控功能并不完善,為此,本文結(jié)合企業(yè)實(shí)際項(xiàng)目實(shí)現(xiàn)了一套云環(huán)境中的集群監(jiān)控?cái)?shù)據(jù)采集與分析系統(tǒng)。本文實(shí)現(xiàn)的這套系統(tǒng)能夠采集虛擬機(jī)與物理機(jī)的基礎(chǔ)信息和性能監(jiān)控?cái)?shù)據(jù),支持用戶通過(guò)添加自定義采集腳本增加自己的采集項(xiàng),解決了目前私有云環(huán)境下的監(jiān)控系統(tǒng)難以滿足多樣性數(shù)據(jù)采集的問(wèn)題。本文主要研究?jī)?nèi)容有三個(gè)方面。首先,本系統(tǒng)采用目標(biāo)節(jié)點(diǎn)自動(dòng)注冊(cè)和心跳機(jī)制來(lái)同步目標(biāo)節(jié)點(diǎn)狀態(tài),實(shí)現(xiàn)了監(jiān)控節(jié)點(diǎn)的自動(dòng)發(fā)現(xiàn)和狀態(tài)維護(hù),并提供了基于Web的管理控制端,可以查看每臺(tái)節(jié)點(diǎn)的當(dāng)前狀態(tài)。其次,本系統(tǒng)提供了對(duì)監(jiān)控?cái)?shù)據(jù)的REST API操作接口,允許第三方組件如數(shù)據(jù)呈現(xiàn)模塊獲取數(shù)據(jù)并呈現(xiàn)到Web視圖,做到了服務(wù)的獨(dú)立性和可擴(kuò)展性。再次,系統(tǒng)提供了性能分析模塊,以定時(shí)任務(wù)的方式每天提交計(jì)算性能指標(biāo)和集群健康度的作業(yè)到性能分析平臺(tái),利用性能分析的結(jié)果使集群獲得DRS(Dynamic Resource Scheduler)功能,為運(yùn)維排障提供參考依據(jù),提高集群整體利用率。本系統(tǒng)各模塊之間通過(guò)API來(lái)進(jìn)行交互,如此便可對(duì)整個(gè)系統(tǒng)進(jìn)行解耦,簡(jiǎn)化了系統(tǒng)復(fù)雜性。經(jīng)企業(yè)實(shí)際應(yīng)用驗(yàn)證,本系統(tǒng)的設(shè)計(jì)是合理的,功能方面基本滿足了預(yù)期需求,性能方面可以支持到上萬(wàn)規(guī)模的目標(biāo)機(jī)器,性能分析方面給出了較準(zhǔn)確的結(jié)果,提高了集群的利用率,集群可用性達(dá)到了99.98%,是一套切實(shí)可行的集群數(shù)據(jù)監(jiān)控與分析系統(tǒng)。
[Abstract]:At present, data centers based on cloud computing technology have been deployed by more and more enterprises, and the resources of cloud data centers are highly concentrated. How to effectively monitor all kinds of resources in the cloud environment, And reasonable analysis based on monitoring data to improve the quality and availability of cluster services has become an important problem faced by enterprises in the process of building private cloud. Some public cloud service providers such as Amazon provide. With a certain monitoring function, However, most open source private cloud environments, such as OpenStack, provide inadequate monitoring capabilities. In this paper, a cluster monitoring data acquisition and analysis system in cloud environment is implemented, which can collect basic information and performance monitoring data of virtual machine and physical machine. The user is supported to add their own collection items by adding custom collection script, which solves the problem that the monitoring system under the private cloud environment is difficult to meet the problem of diversity data collection. Firstly, the main research contents of this paper are three aspects. The system uses the automatic registration and heartbeat mechanism of the target node to synchronize the state of the target node, realizes the automatic discovery and state maintenance of the monitoring node, and provides the management control terminal based on Web, which can view the current status of each node. The system provides REST API operation interface for monitoring data, allows third-party components such as data presentation module to obtain data and render to Web view, and achieves the independence and extensibility of service. Thirdly, the system provides performance analysis module. The task of computing performance index and health degree of cluster was submitted to the performance analysis platform every day in the way of timing task. The cluster obtained DRS(Dynamic Resource Scheduler function by the result of performance analysis, which provided the reference basis for operation and maintenance obstacle arrangement. This system can decouple the whole system and simplify the complexity of the system. The design of the system is reasonable, which is verified by the practical application of the enterprise. The function aspect basically meets the expected demand, the performance aspect can support ten thousand scale target machine, the performance analysis aspect has given the more accurate result, has improved the cluster utilization ratio, Cluster availability reaches 99.98, which is a feasible cluster data monitoring and analysis system.
【學(xué)位授予單位】：東南大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：TP393.09;TP274

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 ;《數(shù)據(jù)采集與處理》已成立第五屆編委會(huì)[J];數(shù)據(jù)采集與處理;2000年03期

2 ;數(shù)據(jù)采集與處理2005年(第20卷1一4期)總目次[J];數(shù)據(jù)采集與處理;2005年04期

3 ;降低數(shù)據(jù)采集的成本[J];電子測(cè)量技術(shù);2005年01期

4 谷波;;數(shù)據(jù)采集積極性不高[J];施工企業(yè)管理;2012年04期

5 ;致謝[J];數(shù)據(jù)采集與處理;2012年06期

6 ;數(shù)據(jù)采集與處理2012年(第27卷1～6期)總目次[J];數(shù)據(jù)采集與處理;2012年06期

7 王麗;;通信計(jì)費(fèi)數(shù)據(jù)采集網(wǎng)絡(luò)的模式探討[J];科技傳播;2013年09期

8 ;《數(shù)據(jù)采集與處理》1987年總目錄[J];數(shù)據(jù)采集與處理;1987年03期

9 ;《數(shù)據(jù)采集與處理》1988年總目錄[J];數(shù)據(jù)采集與處理;1988年03期

10 ;1995年《中國(guó)電子科技文摘》收錄1994年《數(shù)據(jù)采集與處理》文摘情況[J];數(shù)據(jù)采集與處理;1996年02期

相關(guān)會(huì)議論文 前10條

1 陳福;周樹杰;林小竹;楊躍翔;;應(yīng)用嵌入式系統(tǒng)進(jìn)行數(shù)據(jù)采集的研究[A];2004全國(guó)測(cè)控、計(jì)量與儀器儀表學(xué)術(shù)年會(huì)論文集（下冊(cè)）[C];2004年

2 王艷萍;李道武;章志明;李可;陳亞微;高俊雄;單保慈;魏龍;;用于小動(dòng)物PET的數(shù)據(jù)采集和符合系統(tǒng)[A];第九屆全國(guó)正電子譜學(xué)會(huì)議論文集[C];2005年

3 陳青;;偵聽模式在數(shù)據(jù)采集中的應(yīng)用[A];中國(guó)計(jì)量協(xié)會(huì)冶金分會(huì)2007年會(huì)論文集[C];2007年

4 蔡尹楚;王立校;;多種新型數(shù)據(jù)采集方式在化工企業(yè)能源數(shù)據(jù)采集中的組合應(yīng)用[A];中國(guó)計(jì)量協(xié)會(huì)冶金分會(huì)2014年會(huì)暨能源計(jì)量與綠色冶金論壇論文集[C];2014年

5 周威;陳五一;;切削數(shù)據(jù)采集研究[A];大型飛機(jī)關(guān)鍵技術(shù)高層論壇暨中國(guó)航空學(xué)會(huì)2007年學(xué)術(shù)年會(huì)論文集[C];2007年

6 王磊;馬婉麗;姚成虎;;U盤功能在數(shù)據(jù)采集儀器中的應(yīng)用和設(shè)計(jì)[A];第二屆全國(guó)信息獲取與處理學(xué)術(shù)會(huì)議論文集[C];2004年

7 王澤保;;智能化數(shù)據(jù)采集記錄儀[A];1996年中國(guó)智能自動(dòng)化學(xué)術(shù)會(huì)議論文集（下冊(cè)）[C];1996年

8 遲曉珠;王勁松;;三維加速度數(shù)據(jù)采集及通訊系統(tǒng)[A];2000全國(guó)力學(xué)量傳感器及測(cè)試、計(jì)量學(xué)術(shù)交流會(huì)論文集[C];2000年

9 孫嘉興;劉艷俠;;數(shù)據(jù)采集中微弱信號(hào)處理[A];中國(guó)儀器儀表學(xué)會(huì)第三屆青年學(xué)術(shù)會(huì)議論文集（下）[C];2001年

10 華澤璽;王長(zhǎng)林;肖鵬;;改善傳統(tǒng)通信模式提高數(shù)據(jù)采集的實(shí)時(shí)性[A];四川省通信學(xué)會(huì)2004年通信技術(shù)論文集(一)[C];2004年

相關(guān)重要報(bào)紙文章 前10條

1 浙江省杭州市桐廬縣煙草專賣局（分公司） 張韜;客戶經(jīng)理數(shù)據(jù)采集“小貼士”[N];東方煙草報(bào);2011年

2 佟偉;做好數(shù)據(jù)采集 強(qiáng)化稅收征管[N];長(zhǎng)白山日?qǐng)?bào);2005年

3 葛學(xué)忠;我州旅游數(shù)據(jù)采集任務(wù)如期完成[N];民族日?qǐng)?bào);2008年

4 記者 溫躍邋朱鋒 通訊員 姜春;人行威海中心支行創(chuàng)新貸款數(shù)據(jù)采集流程見實(shí)效[N];金融時(shí)報(bào);2008年

5 劉亞迅　特約記者 方立華;數(shù)據(jù)采集表評(píng)判訓(xùn)練短長(zhǎng)[N];解放軍報(bào);2010年

6 胡濤;源頭數(shù)據(jù)采集單軌運(yùn)行[N];中國(guó)石化報(bào);2010年

7 王顯鋒;蘭西國(guó)稅局力爭(zhēng)數(shù)據(jù)采集“開門紅”[N];黑龍江經(jīng)濟(jì)報(bào);2005年

8 孫紅偉 特約記者 程永亮;34個(gè)數(shù)據(jù)采集組嵌入演練場(chǎng)[N];解放軍報(bào);2012年

9 張黎明 馬敬輝;讓胡路國(guó)稅局做好動(dòng)態(tài)數(shù)據(jù)采集準(zhǔn)備工作[N];黑龍江經(jīng)濟(jì)報(bào);2005年

10 張黎明 馬敬輝;讓胡路國(guó)稅局動(dòng)態(tài)數(shù)據(jù)采集進(jìn)展順利[N];黑龍江經(jīng)濟(jì)報(bào);2005年

相關(guān)博士學(xué)位論文 前6條

1 邵蘇杰;面向智能配用電網(wǎng)數(shù)據(jù)懫集的流量調(diào)度機(jī)制[D];北京郵電大學(xué);2015年

2 馬英杰;基于3GS的核勘查數(shù)據(jù)采集及處理系統(tǒng)研究[D];成都理工大學(xué);2010年

3 齊林;面向可追溯的物聯(lián)網(wǎng)數(shù)據(jù)采集與建模方法研究[D];中國(guó)農(nóng)業(yè)大學(xué);2014年

4 劉傳波;列車縱向沖動(dòng)的機(jī)理研究及檢測(cè)儀器的開發(fā)[D];武漢理工大學(xué);2009年

5 牛田野;特殊等離子體環(huán)境物理信息獲取與處理的研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2008年

6 李忠龍;基于現(xiàn)有傳感器的橋梁無(wú)線檢測(cè)技術(shù)的研究[D];哈爾濱工業(yè)大學(xué);2008年

相關(guān)碩士學(xué)位論文 前10條

1 張麗萍;雷電三維電場(chǎng)數(shù)據(jù)采集與分析[D];南京信息工程大學(xué);2015年

2 張?jiān)?物流運(yùn)輸跟蹤數(shù)據(jù)采集與可視化監(jiān)控的研究與實(shí)現(xiàn)[D];西南交通大學(xué);2015年

3 吳濤;基于寬帶衛(wèi)星的海洋海事信息數(shù)據(jù)懫集裝置研發(fā)[D];集美大學(xué);2015年

4 梁佩;實(shí)時(shí)數(shù)據(jù)采集系統(tǒng)方案設(shè)計(jì)與實(shí)現(xiàn)[D];西南交通大學(xué);2015年

5 李曉紅;基于SOA架構(gòu)的中職教育數(shù)據(jù)采集與KPI決策支持系統(tǒng)的構(gòu)建[D];復(fù)旦大學(xué);2013年

6 徐碩碩;基于LabVIEW的燃?xì)饽茉此矐B(tài)數(shù)據(jù)采集與處理[D];北華航天工業(yè)學(xué)院;2015年

7 王娟;電力行業(yè)SCADA數(shù)據(jù)采集與監(jiān)視監(jiān)控系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2014年

8 劉鵬宇;Massive MIMO信道測(cè)量控制軟件的研究與開發(fā)[D];北京交通大學(xué);2016年

9 汪航;油氣管道站場(chǎng)設(shè)備可靠性數(shù)據(jù)采集與分析研究[D];中國(guó)石油大學(xué)(華東);2014年

10 馬亞洲;高性能萬(wàn)兆信道安全采集器研究[D];東南大學(xué);2015年

，

本文編號(hào)：1632744