發(fā)布時間：2017-07-13 14:09

  本文關(guān)鍵詞：面向集群監(jiān)控的數(shù)據(jù)采集處理及存儲系統(tǒng)的設(shè)計與實現(xiàn)

  更多相關(guān)文章： 集群監(jiān)控 監(jiān)控數(shù)據(jù)采集 監(jiān)控數(shù)據(jù)存儲

【摘要】：當今計算機技術(shù)飛速發(fā)展,智能終端的不斷普及讓用戶可以隨時隨地使用互聯(lián)網(wǎng)服務,“互聯(lián)網(wǎng)+”的概念已經(jīng)全面進入日常生活,因而服務的穩(wěn)定性將顯得尤其重要,集群的監(jiān)控必不可少。監(jiān)控數(shù)據(jù)是監(jiān)控的基礎(chǔ),是檢測集群服務運行狀況的最重要依據(jù)。面對現(xiàn)有監(jiān)控系統(tǒng)存在的監(jiān)控數(shù)據(jù)不全面、采集方式不統(tǒng)一以及數(shù)據(jù)可靠性不高等問題,研究設(shè)計一個面向集群監(jiān)控的數(shù)據(jù)采集處理與存儲系統(tǒng)具有重要的意義。本文以某互聯(lián)網(wǎng)產(chǎn)品的運營需求和開發(fā)框架為背景,設(shè)計了一個適用于集群監(jiān)控的數(shù)據(jù)采集處理及存儲系統(tǒng),從采集層、處理層到存儲層分層實現(xiàn)了監(jiān)控數(shù)據(jù)的統(tǒng)計與獲取上報,監(jiān)控數(shù)據(jù)的收集與分析處理,以及監(jiān)控數(shù)據(jù)的存儲等核心功能。本系統(tǒng)圍繞監(jiān)控數(shù)據(jù)的全面性、實時性和完整性進行設(shè)計,從架構(gòu)上充分保證系統(tǒng)的高可用性,具有以下顯著的特點:(1)針對監(jiān)控數(shù)據(jù)不全面以及采集低效、方式不統(tǒng)一的問題,提出了一種簡單高效的監(jiān)控數(shù)據(jù)統(tǒng)計管理方法,依據(jù)該方法設(shè)計了一個基于矩陣結(jié)構(gòu)的監(jiān)控數(shù)據(jù)存儲結(jié)構(gòu),將其應用于單機監(jiān)控數(shù)據(jù)的統(tǒng)計與收集,有效地降低了統(tǒng)計成本,統(tǒng)一了方式,提高了采集上報的效率。(2)針對監(jiān)控數(shù)據(jù)存儲性能方面存在的不足,根據(jù)監(jiān)控數(shù)據(jù)的特點提出了一個基于My SQL的高性能存儲結(jié)構(gòu),設(shè)計定制化的表結(jié)構(gòu)用于數(shù)據(jù)存儲,同時結(jié)合單表數(shù)據(jù)分區(qū)和分庫分表實現(xiàn)了高效的數(shù)據(jù)存儲層,壓縮了監(jiān)控數(shù)據(jù),更有效地利用存儲空間,提升了監(jiān)控數(shù)據(jù)的讀寫效率。(3)針對現(xiàn)有監(jiān)控系統(tǒng)容災能力的不足,設(shè)計了高可用的系統(tǒng)架構(gòu),從采集層、處理層和存儲層三個監(jiān)控數(shù)據(jù)流經(jīng)的環(huán)節(jié)保證數(shù)據(jù)的完整性。同時配合高可用架構(gòu)設(shè)計了有效的容災策略用于系統(tǒng)各層之間數(shù)據(jù)傳輸,保證在非極端故障下系統(tǒng)依然穩(wěn)定服務,為監(jiān)控服務的質(zhì)量提供了有力保障。通過對系統(tǒng)進行測試分析,本文設(shè)計的系統(tǒng)能夠?qū)崿F(xiàn)高效的監(jiān)控數(shù)據(jù)采集上報、高性能的海量數(shù)據(jù)存儲以及穩(wěn)定可靠的持續(xù)服務。
【關(guān)鍵詞】：集群監(jiān)控 監(jiān)控數(shù)據(jù)采集 監(jiān)控數(shù)據(jù)存儲
【學位授予單位】：華南理工大學
【學位級別】：碩士
【學位授予年份】：2015
【分類號】：TP274.2;TP333
【目錄】：

• 摘要5-6
• Abstract6-11
• 第一章 緒論11-16
• 1.1 研究背景和意義11
• 1.2 研究現(xiàn)狀11-14
• 1.2.1 典型的集群監(jiān)控系統(tǒng)11-13
• 1.2.2 現(xiàn)有監(jiān)控系統(tǒng)存在的主要問題13-14
• 1.3 本文的主要工作14-15
• 1.4 論文的組織結(jié)構(gòu)15-16
• 第二章 監(jiān)控數(shù)據(jù)采集處理及存儲系統(tǒng)的總體設(shè)計16-24
• 2.1 系統(tǒng)需求分析16-18
• 2.1.1 監(jiān)控數(shù)據(jù)的種類分析16-17
• 2.1.2 監(jiān)控數(shù)據(jù)的統(tǒng)計與管理需求17
• 2.1.3 監(jiān)控數(shù)據(jù)采集與上報需求17
• 2.1.4 監(jiān)控數(shù)據(jù)的分析與處理需求17-18
• 2.1.5 監(jiān)控數(shù)據(jù)的存儲需求18
• 2.2 系統(tǒng)總體架構(gòu)設(shè)計18-23
• 2.2.1 系統(tǒng)總體組織框架18-19
• 2.2.2 系統(tǒng)各模塊設(shè)計概要19-23
• 2.3 本章小結(jié)23-24
• 第三章 系統(tǒng)數(shù)據(jù)采集層的實現(xiàn)24-37
• 3.1 kvtable監(jiān)控數(shù)據(jù)存儲結(jié)構(gòu)詳細設(shè)計24-26
• 3.1.1 監(jiān)控數(shù)據(jù)統(tǒng)計管理方式詳細設(shè)計24-25
• 3.1.2 kvtable存儲結(jié)構(gòu)設(shè)計25-26
• 3.2 基于共享內(nèi)存的kvtable監(jiān)控數(shù)據(jù)存儲結(jié)構(gòu)詳細實現(xiàn)26-31
• 3.2.1 kvtable實現(xiàn)的理論基礎(chǔ)27
• 3.2.2 kvtable的數(shù)據(jù)結(jié)構(gòu)實現(xiàn)27-29
• 3.2.3 kvtable的初始化流程實現(xiàn)29-31
• 3.3 基于kvtable的單機監(jiān)控數(shù)據(jù)統(tǒng)計接31-33
• 3.3.1 gcc原子操作31-32
• 3.3.2 統(tǒng)計接.的實現(xiàn)32-33
• 3.3.3 統(tǒng)計接.的調(diào)用流程33
• 3.4 基于kvtable的單機監(jiān)控數(shù)據(jù)采集上報33-36
• 3.4.1 Agent與業(yè)務模塊程序的隔離性33-34
• 3.4.2 Agent采集上報的實現(xiàn)34-36
• 3.5 本章小結(jié)36-37
• 第四章 系統(tǒng)數(shù)據(jù)處理層的實現(xiàn)37-51
• 4.1 監(jiān)控數(shù)據(jù)采集處理及存儲系統(tǒng)的高可用架構(gòu)設(shè)計37-42
• 4.1.1 監(jiān)控數(shù)據(jù)上報的高可用設(shè)計37-38
• 4.1.2 監(jiān)控數(shù)據(jù)處理的高可用設(shè)計38-41
• 4.1.3 監(jiān)控數(shù)據(jù)入庫存儲的高可用設(shè)計41-42
• 4.2 處理層接入模塊Storage的實現(xiàn)42-47
• 4.2.1 監(jiān)控數(shù)據(jù)上報與收集詳細設(shè)計實現(xiàn)42-45
• 4.2.2 歷史監(jiān)控數(shù)據(jù)的獲取功能詳細設(shè)計45-47
• 4.3 處理層數(shù)據(jù)處理模塊Reduce的實現(xiàn)47-50
• 4.3.1 接收Storage模塊的轉(zhuǎn)發(fā)數(shù)據(jù)功能詳細實現(xiàn)47-48
• 4.3.2 Reduce模塊監(jiān)控數(shù)據(jù)處理詳細實現(xiàn)48-50
• 4.4 本章小結(jié)50-51
• 第五章 系統(tǒng)數(shù)據(jù)存儲層的實現(xiàn)51-60
• 5.1 基于My SQL的高性能存儲結(jié)構(gòu)的設(shè)計51-55
• 5.1.1 監(jiān)控數(shù)據(jù)存儲面臨的問題51
• 5.1.2 高性能定制化表結(jié)構(gòu)的設(shè)計及實現(xiàn)51-53
• 5.1.3 高性能定制化表結(jié)構(gòu)的實現(xiàn)53-55
• 5.2 監(jiān)控數(shù)據(jù)存儲詳細實現(xiàn)55-58
• 5.2.1 Reduce模塊與Dbproxy的通信協(xié)議設(shè)計55-56
• 5.2.2 Dbproxy數(shù)據(jù)入庫詳細實現(xiàn)56-58
• 5.3 本章小結(jié)58-60
• 第六章 集群監(jiān)控數(shù)據(jù)采集處理及存儲系統(tǒng)測試60-83
• 6.1 測試環(huán)境部署60
• 6.2 基于矩陣結(jié)構(gòu)的kvtable分析測試60-65
• 6.2.1 kvtable存儲情況分析61-62
• 6.2.2 kvtable讀寫情況分析62-64
• 6.2.3 Agent的運行性能分析測試64-65
• 6.3 基于My SQL的高性能存儲表結(jié)構(gòu)測試65-69
• 6.3.1 寫入性能測試66-68
• 6.3.2 查詢性能測試68-69
• 6.4 以數(shù)據(jù)處理層為核心的高可用系統(tǒng)架構(gòu)分析測試69-80
• 6.4.1 測試前提及分析方法說明70
• 6.4.2 監(jiān)控數(shù)據(jù)上報的高可用設(shè)計測試70-72
• 6.4.3 監(jiān)控數(shù)據(jù)處理的高可用設(shè)計測試72-77
• 6.4.4 監(jiān)控數(shù)據(jù)入庫存儲的高可用設(shè)計77-78
• 6.4.5 數(shù)據(jù)處理性能測試78-80
• 6.5 監(jiān)控數(shù)據(jù)展示功能分析80-81
• 6.6 測試分析總結(jié)81-83
• 總結(jié)與展望83-85
• 論文總結(jié)83
• 展望83-85
• 參考文獻85-88
• 攻讀碩士學位期間取得的研究成果88-89
• 致謝89-90
• 附件90

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前7條

1 何麗萍;劉立程;;改進的基于Ganglia的網(wǎng)格監(jiān)控系統(tǒng)[J];廣東工業(yè)大學學報;2006年01期

2 楊升春,代征,方蕾;Linux下系統(tǒng)V共享內(nèi)存的保存與恢復[J];計算機與數(shù)字工程;2005年09期

3 魏根芽;;基于Linux的Nagios服務器監(jiān)控系統(tǒng)的研究與實現(xiàn)[J];計算機與現(xiàn)代化;2010年06期

4 路小娟;董昱;朱正平;;Linux環(huán)境下計算機聯(lián)鎖系統(tǒng)進程通信的實現(xiàn)[J];蘭州交通大學學報;2006年06期

5 潘圓圓;李德華;;C++中的原子操作及其使用[J];計算機與數(shù)字工程;2013年11期

6 孫愛婷;劉青昆;;高效的機群監(jiān)控信息采集模型[J];計算機工程與設(shè)計;2010年20期

7 江魁,黃云森;基于RRDtool的網(wǎng)絡(luò)性能監(jiān)測系統(tǒng)實現(xiàn)[J];中山大學學報(自然科學版);2002年S1期

中國碩士學位論文全文數(shù)據(jù)庫 前10條

1 孫愛婷;機群監(jiān)控系統(tǒng)關(guān)鍵技術(shù)的研究與實現(xiàn)[D];遼寧師范大學;2010年

2 應樂;基于Python語言的MySQL數(shù)據(jù)庫應用層水平分區(qū)技術(shù)的研究[D];復旦大學;2010年

3 王飛;基于分布式Nagios體系的應用監(jiān)控平臺設(shè)計與實現(xiàn)[D];復旦大學;2011年

4 易昭華;大規(guī)模機群監(jiān)控系統(tǒng)監(jiān)控信息采集與儲存技術(shù)研究[D];清華大學;2005年

5 趙月輝;大規(guī)模機群遠程監(jiān)控管理關(guān)鍵技術(shù)及實現(xiàn)[D];中國科學院研究生院（計算技術(shù)研究所）;2006年

6 邢小虎;集群監(jiān)控系統(tǒng)的研究與設(shè)計[D];上海海事大學;2006年

7 謝子光;多核處理器核間通信技術(shù)研究[D];電子科技大學;2009年

8 覃中;基于多核系統(tǒng)的線程調(diào)度[D];電子科技大學;2009年

9 廖家建;集群監(jiān)控中的數(shù)據(jù)采集技術(shù)研究[D];華中科技大學;2008年

10 司徒放;基于事件的分布式系統(tǒng)監(jiān)控[D];上海交通大學;2010年

，

本文編號：537192