云平臺(tái)下服務(wù)分布式監(jiān)控系統(tǒng)的研究與實(shí)現(xiàn)
發(fā)布時(shí)間:2021-07-11 11:27
近年來國內(nèi)云平臺(tái)的發(fā)展越來越成熟,生活中很多場景都有云平臺(tái)在背后做支撐。云平臺(tái)的高度伸縮性和可靠性吸引越來越多的個(gè)人以及企業(yè)將服務(wù)遷移到云平臺(tái)上運(yùn)行。云平臺(tái)上部署了復(fù)雜的計(jì)算設(shè)備、存儲(chǔ)設(shè)備和網(wǎng)絡(luò)設(shè)備,同時(shí)運(yùn)行了多樣的操作系統(tǒng)、虛擬機(jī)以及軟件服務(wù)。保障這些設(shè)備與服務(wù)的運(yùn)行正常以及出現(xiàn)故障能及時(shí)發(fā)現(xiàn),對(duì)維持云平臺(tái)平穩(wěn)運(yùn)行來說?分重要。監(jiān)控系統(tǒng)在實(shí)時(shí)檢測(cè)云平臺(tái)異常并且掌握云平臺(tái)整體運(yùn)行狀態(tài)中起到了巨大的作用。因此云平臺(tái)監(jiān)控系統(tǒng)設(shè)計(jì)的好壞將直接決定云平臺(tái)能否給用戶提供高質(zhì)量并且穩(wěn)定的服務(wù)。目前開源市場有很多監(jiān)控軟件供人們免費(fèi)使用,并且很多個(gè)人以及企業(yè)都部署了自己的監(jiān)控系統(tǒng)。但是傳統(tǒng)的集群監(jiān)控系統(tǒng)所采用的系統(tǒng)架構(gòu)并不能適用于云平臺(tái)使用場景。通過對(duì)主流開源監(jiān)控系統(tǒng)進(jìn)行分析,發(fā)現(xiàn)它們?cè)诒O(jiān)控指標(biāo)采集的多樣性、高并發(fā)數(shù)據(jù)的處理能力、告警判斷的實(shí)時(shí)性、部署配置復(fù)雜度等多方面都無法達(dá)到云平臺(tái)的使用要求。本文的主要工作就是設(shè)計(jì)出一套能適用于云平臺(tái)的監(jiān)控系統(tǒng)架構(gòu)。該架構(gòu)能夠應(yīng)對(duì)云平臺(tái)高并發(fā)的使用場景,并且能夠動(dòng)態(tài)的擴(kuò)容以適應(yīng)云平臺(tái)的持續(xù)發(fā)展。技術(shù)分析階段,本文首先對(duì)三款開源監(jiān)控軟件(Zabbix、Ganglia...
【文章來源】:電子科技大學(xué)四川省 211工程院校 985工程院校 教育部直屬院校
【文章頁數(shù)】:92 頁
【學(xué)位級(jí)別】:碩士
【部分圖文】:
Zabbix架構(gòu)圖
電子科技大學(xué)碩士學(xué)位論文集成的RRDtool有繪圖功能,能夠直觀的用圖像的方式展示歷史數(shù)據(jù)狀態(tài)。最后使用簡潔的Web前端用戶可以方便的訪問平臺(tái)上所有采集指標(biāo)的歷史運(yùn)行狀態(tài)。Ganglia整體的系統(tǒng)架構(gòu)如下圖2-2:圖2-2Ganglia架構(gòu)圖Gmond是一個(gè)數(shù)據(jù)采集守護(hù)進(jìn)程,部署在所有需要被監(jiān)控的服務(wù)器上。通過采用高并發(fā)技術(shù)和細(xì)粒度讀寫鎖技術(shù)來高效并極低開銷的監(jiān)聽每個(gè)節(jié)點(diǎn)。多個(gè)Gmond節(jié)點(diǎn)組成一個(gè)簇,簇內(nèi)使用UDP廣播形式獲得的其他節(jié)點(diǎn)數(shù)據(jù),每個(gè)節(jié)點(diǎn)都完整保存有其他節(jié)點(diǎn)的指標(biāo)數(shù)據(jù)副本。Gmond將采集到的數(shù)據(jù)通過壓縮XML(XDR)的形式進(jìn)行傳輸,極大地減少了傳輸數(shù)據(jù)量。Gmond傳輸數(shù)據(jù)時(shí)會(huì)在心跳信息中設(shè)置一個(gè)精確地時(shí)間戳,用來確認(rèn)Gmond實(shí)例運(yùn)行狀態(tài),當(dāng)連續(xù)多個(gè)時(shí)間戳變化超出時(shí)間閾值代表所在節(jié)點(diǎn)被關(guān)閉。Gmetad是一個(gè)數(shù)據(jù)匯集守護(hù)進(jìn)程,不需要部署在所有節(jié)點(diǎn)上,只需要安裝在節(jié)點(diǎn)管理器上。Gmetad使用定期輪詢并使用TCP傳輸?shù)姆绞綇腉mond程序拉取獲得監(jiān)控?cái)?shù)據(jù)。當(dāng)訪問的節(jié)點(diǎn)拉取失敗時(shí),訪問同簇其他節(jié)點(diǎn)同樣能夠獲得。然后使用SAX解析器解析得到的數(shù)據(jù),并使用GNUGPREF哈希表對(duì)數(shù)據(jù)進(jìn)行比較。最后使用RRD數(shù)據(jù)庫將這些時(shí)序數(shù)據(jù)進(jìn)行存儲(chǔ)。RRD是一個(gè)環(huán)形數(shù)據(jù)庫。該數(shù)據(jù)庫安裝時(shí)設(shè)置好固定的長度,當(dāng)數(shù)據(jù)庫存儲(chǔ)達(dá)到設(shè)定上限時(shí)新數(shù)據(jù)覆蓋舊數(shù)據(jù),能夠保證數(shù)據(jù)庫永遠(yuǎn)不被填滿。該數(shù)據(jù)庫空10
電子科技大學(xué)碩士學(xué)位論文備信息(CPU狀態(tài)、內(nèi)存狀態(tài)、磁盤狀態(tài));可以使用定制插件的方式對(duì)新監(jiān)控項(xiàng)進(jìn)行擴(kuò)展;當(dāng)監(jiān)控節(jié)點(diǎn)的設(shè)備、網(wǎng)絡(luò)、服務(wù)運(yùn)作狀態(tài)發(fā)生故障時(shí)實(shí)現(xiàn)了短信、郵件等多種方式報(bào)警通知管理人員,并記錄進(jìn)報(bào)警日志;實(shí)現(xiàn)了簡易的Web界面,可以方便的查看系統(tǒng)各個(gè)組件的運(yùn)行狀態(tài)等。Nagios系統(tǒng)整體架構(gòu)圖如下圖2-3:圖2-3Nagios架構(gòu)圖Nagios架構(gòu)主要由NagiosCore、NagiosPlugins和一些可選組件組成(NSCA、NPRE、NDOUtils等)。NagiosCore安裝在Linux、Unix環(huán)境中,主要工作是調(diào)度系統(tǒng)其他模塊完成整體監(jiān)控工作。他本身能夠?qū)崿F(xiàn)的監(jiān)控功能比較有限,需要在監(jiān)控端和被監(jiān)控端搭配可選組件來擴(kuò)展完成復(fù)雜監(jiān)控任務(wù)。最終通過Web展示給用戶查看。NSCA是Nagios提供的一種被動(dòng)監(jiān)控方式。被監(jiān)控方主動(dòng)將采集到的監(jiān)控指標(biāo)發(fā)送到監(jiān)控系統(tǒng),提高了系統(tǒng)運(yùn)行的時(shí)效性。但Nagios目前僅提供了Linux、Unix環(huán)境下的程序,Windows環(huán)境沒有相關(guān)功能。NPRE是Nagios提供的一種主動(dòng)監(jiān)控方式。監(jiān)控系統(tǒng)定期主動(dòng)向各個(gè)被監(jiān)控端發(fā)送相關(guān)檢測(cè)任務(wù)。NSClient++是Nagios提供的用于監(jiān)控Windows系統(tǒng)的守護(hù)進(jìn)程。NDOUtils是Nagios提供的一個(gè)將監(jiān)控狀態(tài)持久化到數(shù)據(jù)庫中的守護(hù)進(jìn)程。Nagios缺點(diǎn):1.Nagios監(jiān)控的是系統(tǒng)工作中的瞬時(shí)狀態(tài),不提供數(shù)據(jù)庫存儲(chǔ)的功能。所有監(jiān)控指標(biāo)的歷史數(shù)據(jù)都沒有持久化存儲(chǔ)到數(shù)據(jù)庫中,不能提供一段時(shí)間內(nèi)的機(jī)器狀態(tài)監(jiān)控?cái)?shù)據(jù)的回看。12
【參考文獻(xiàn)】:
期刊論文
[1]CNNIC發(fā)布第44次《中國互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計(jì)報(bào)告》[J]. 于朝暉. 網(wǎng)信軍民融合. 2019(09)
[2]基于Zabbix的網(wǎng)絡(luò)監(jiān)控系統(tǒng)[J]. 趙哲,譚海波,趙赫,王衛(wèi)東,李曉風(fēng). 計(jì)算機(jī)技術(shù)與發(fā)展. 2018(01)
[3]云計(jì)算用戶數(shù)據(jù)傳輸與存儲(chǔ)的安全方案[J]. 王鴻博,沈鴿. 通訊世界. 2017(18)
[4]Toward Cloud Computing QoS Architecture:Analysis of Cloud Systems and Cloud Services[J]. Mohammad Hossein Ghahramani,MengChu Zhou,Chi Tin Hon. IEEE/CAA Journal of Automatica Sinica. 2017(01)
[5]基于opentsdb的分布式實(shí)時(shí)監(jiān)控方案[J]. 楊帆. 福建電腦. 2016(11)
[6]分布式存儲(chǔ)系統(tǒng)中改進(jìn)的一致性哈希算法[J]. 王康,李東靜,陳海光. 計(jì)算機(jī)技術(shù)與發(fā)展. 2016(07)
[7]循環(huán)數(shù)據(jù)庫服務(wù)的設(shè)計(jì)與實(shí)現(xiàn)[J]. 郭偉. 數(shù)字技術(shù)與應(yīng)用. 2016(03)
[8]高并發(fā)下的大數(shù)據(jù)處理架構(gòu)探索與實(shí)踐[J]. 羅蕓,張曉川,朱建中. 電信網(wǎng)技術(shù). 2013(07)
[9]Redis在高速緩存系統(tǒng)中的應(yīng)用[J]. 曾超宇,李金香. 微型機(jī)與應(yīng)用. 2013(12)
[10]海量存儲(chǔ)系統(tǒng)的性能管理與監(jiān)測(cè)方法研究[J]. 李超,梁阿磊,管海兵,李小勇. 計(jì)算機(jī)應(yīng)用與軟件. 2012(07)
本文編號(hào):3278007
【文章來源】:電子科技大學(xué)四川省 211工程院校 985工程院校 教育部直屬院校
【文章頁數(shù)】:92 頁
【學(xué)位級(jí)別】:碩士
【部分圖文】:
Zabbix架構(gòu)圖
電子科技大學(xué)碩士學(xué)位論文集成的RRDtool有繪圖功能,能夠直觀的用圖像的方式展示歷史數(shù)據(jù)狀態(tài)。最后使用簡潔的Web前端用戶可以方便的訪問平臺(tái)上所有采集指標(biāo)的歷史運(yùn)行狀態(tài)。Ganglia整體的系統(tǒng)架構(gòu)如下圖2-2:圖2-2Ganglia架構(gòu)圖Gmond是一個(gè)數(shù)據(jù)采集守護(hù)進(jìn)程,部署在所有需要被監(jiān)控的服務(wù)器上。通過采用高并發(fā)技術(shù)和細(xì)粒度讀寫鎖技術(shù)來高效并極低開銷的監(jiān)聽每個(gè)節(jié)點(diǎn)。多個(gè)Gmond節(jié)點(diǎn)組成一個(gè)簇,簇內(nèi)使用UDP廣播形式獲得的其他節(jié)點(diǎn)數(shù)據(jù),每個(gè)節(jié)點(diǎn)都完整保存有其他節(jié)點(diǎn)的指標(biāo)數(shù)據(jù)副本。Gmond將采集到的數(shù)據(jù)通過壓縮XML(XDR)的形式進(jìn)行傳輸,極大地減少了傳輸數(shù)據(jù)量。Gmond傳輸數(shù)據(jù)時(shí)會(huì)在心跳信息中設(shè)置一個(gè)精確地時(shí)間戳,用來確認(rèn)Gmond實(shí)例運(yùn)行狀態(tài),當(dāng)連續(xù)多個(gè)時(shí)間戳變化超出時(shí)間閾值代表所在節(jié)點(diǎn)被關(guān)閉。Gmetad是一個(gè)數(shù)據(jù)匯集守護(hù)進(jìn)程,不需要部署在所有節(jié)點(diǎn)上,只需要安裝在節(jié)點(diǎn)管理器上。Gmetad使用定期輪詢并使用TCP傳輸?shù)姆绞綇腉mond程序拉取獲得監(jiān)控?cái)?shù)據(jù)。當(dāng)訪問的節(jié)點(diǎn)拉取失敗時(shí),訪問同簇其他節(jié)點(diǎn)同樣能夠獲得。然后使用SAX解析器解析得到的數(shù)據(jù),并使用GNUGPREF哈希表對(duì)數(shù)據(jù)進(jìn)行比較。最后使用RRD數(shù)據(jù)庫將這些時(shí)序數(shù)據(jù)進(jìn)行存儲(chǔ)。RRD是一個(gè)環(huán)形數(shù)據(jù)庫。該數(shù)據(jù)庫安裝時(shí)設(shè)置好固定的長度,當(dāng)數(shù)據(jù)庫存儲(chǔ)達(dá)到設(shè)定上限時(shí)新數(shù)據(jù)覆蓋舊數(shù)據(jù),能夠保證數(shù)據(jù)庫永遠(yuǎn)不被填滿。該數(shù)據(jù)庫空10
電子科技大學(xué)碩士學(xué)位論文備信息(CPU狀態(tài)、內(nèi)存狀態(tài)、磁盤狀態(tài));可以使用定制插件的方式對(duì)新監(jiān)控項(xiàng)進(jìn)行擴(kuò)展;當(dāng)監(jiān)控節(jié)點(diǎn)的設(shè)備、網(wǎng)絡(luò)、服務(wù)運(yùn)作狀態(tài)發(fā)生故障時(shí)實(shí)現(xiàn)了短信、郵件等多種方式報(bào)警通知管理人員,并記錄進(jìn)報(bào)警日志;實(shí)現(xiàn)了簡易的Web界面,可以方便的查看系統(tǒng)各個(gè)組件的運(yùn)行狀態(tài)等。Nagios系統(tǒng)整體架構(gòu)圖如下圖2-3:圖2-3Nagios架構(gòu)圖Nagios架構(gòu)主要由NagiosCore、NagiosPlugins和一些可選組件組成(NSCA、NPRE、NDOUtils等)。NagiosCore安裝在Linux、Unix環(huán)境中,主要工作是調(diào)度系統(tǒng)其他模塊完成整體監(jiān)控工作。他本身能夠?qū)崿F(xiàn)的監(jiān)控功能比較有限,需要在監(jiān)控端和被監(jiān)控端搭配可選組件來擴(kuò)展完成復(fù)雜監(jiān)控任務(wù)。最終通過Web展示給用戶查看。NSCA是Nagios提供的一種被動(dòng)監(jiān)控方式。被監(jiān)控方主動(dòng)將采集到的監(jiān)控指標(biāo)發(fā)送到監(jiān)控系統(tǒng),提高了系統(tǒng)運(yùn)行的時(shí)效性。但Nagios目前僅提供了Linux、Unix環(huán)境下的程序,Windows環(huán)境沒有相關(guān)功能。NPRE是Nagios提供的一種主動(dòng)監(jiān)控方式。監(jiān)控系統(tǒng)定期主動(dòng)向各個(gè)被監(jiān)控端發(fā)送相關(guān)檢測(cè)任務(wù)。NSClient++是Nagios提供的用于監(jiān)控Windows系統(tǒng)的守護(hù)進(jìn)程。NDOUtils是Nagios提供的一個(gè)將監(jiān)控狀態(tài)持久化到數(shù)據(jù)庫中的守護(hù)進(jìn)程。Nagios缺點(diǎn):1.Nagios監(jiān)控的是系統(tǒng)工作中的瞬時(shí)狀態(tài),不提供數(shù)據(jù)庫存儲(chǔ)的功能。所有監(jiān)控指標(biāo)的歷史數(shù)據(jù)都沒有持久化存儲(chǔ)到數(shù)據(jù)庫中,不能提供一段時(shí)間內(nèi)的機(jī)器狀態(tài)監(jiān)控?cái)?shù)據(jù)的回看。12
【參考文獻(xiàn)】:
期刊論文
[1]CNNIC發(fā)布第44次《中國互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計(jì)報(bào)告》[J]. 于朝暉. 網(wǎng)信軍民融合. 2019(09)
[2]基于Zabbix的網(wǎng)絡(luò)監(jiān)控系統(tǒng)[J]. 趙哲,譚海波,趙赫,王衛(wèi)東,李曉風(fēng). 計(jì)算機(jī)技術(shù)與發(fā)展. 2018(01)
[3]云計(jì)算用戶數(shù)據(jù)傳輸與存儲(chǔ)的安全方案[J]. 王鴻博,沈鴿. 通訊世界. 2017(18)
[4]Toward Cloud Computing QoS Architecture:Analysis of Cloud Systems and Cloud Services[J]. Mohammad Hossein Ghahramani,MengChu Zhou,Chi Tin Hon. IEEE/CAA Journal of Automatica Sinica. 2017(01)
[5]基于opentsdb的分布式實(shí)時(shí)監(jiān)控方案[J]. 楊帆. 福建電腦. 2016(11)
[6]分布式存儲(chǔ)系統(tǒng)中改進(jìn)的一致性哈希算法[J]. 王康,李東靜,陳海光. 計(jì)算機(jī)技術(shù)與發(fā)展. 2016(07)
[7]循環(huán)數(shù)據(jù)庫服務(wù)的設(shè)計(jì)與實(shí)現(xiàn)[J]. 郭偉. 數(shù)字技術(shù)與應(yīng)用. 2016(03)
[8]高并發(fā)下的大數(shù)據(jù)處理架構(gòu)探索與實(shí)踐[J]. 羅蕓,張曉川,朱建中. 電信網(wǎng)技術(shù). 2013(07)
[9]Redis在高速緩存系統(tǒng)中的應(yīng)用[J]. 曾超宇,李金香. 微型機(jī)與應(yīng)用. 2013(12)
[10]海量存儲(chǔ)系統(tǒng)的性能管理與監(jiān)測(cè)方法研究[J]. 李超,梁阿磊,管海兵,李小勇. 計(jì)算機(jī)應(yīng)用與軟件. 2012(07)
本文編號(hào):3278007
本文鏈接:http://sikaile.net/kejilunwen/ruanjiangongchenglunwen/3278007.html
最近更新
教材專著