【摘要】：分布式技術(shù)是目前互聯(lián)網(wǎng)企業(yè)搭建平臺不可或缺的技術(shù)之一,龐大的分布式系統(tǒng)往往每天都會產(chǎn)生大量的數(shù)據(jù)。分布式系統(tǒng)監(jiān)控數(shù)據(jù)的可視化可以幫助運維工程師更好地了解網(wǎng)絡(luò)結(jié)點的狀態(tài),挖掘出監(jiān)控數(shù)據(jù)中所蘊含的信息,更迅速準(zhǔn)確地制定運維策略。因此,如何將可視化技術(shù)應(yīng)用于分布式系統(tǒng)對互聯(lián)網(wǎng)領(lǐng)域有著重要意義和價值。本論文針對如何將可視化技術(shù)應(yīng)用于分布式系統(tǒng)的監(jiān)控數(shù)據(jù)進行了研究,解決了監(jiān)控數(shù)據(jù)的采集,數(shù)據(jù)處理和映射,可視化展示,監(jiān)控數(shù)據(jù)分析等問題,搭建了一個完整的數(shù)據(jù)可視化系統(tǒng)。本文選用Logstash,Redis,Elasticsearch,OpenTSDB等技術(shù)實現(xiàn)數(shù)據(jù)采集和存儲,采用D3框架實現(xiàn)ThemeRiver,Event Timeline,Circos,Stack等數(shù)據(jù)可視化模塊,并載入真實數(shù)據(jù)來進行可視化分析實踐,以驗證本文所實現(xiàn)的可視化模塊的可行性和有效性。論文的主要研究工作有:1.監(jiān)控數(shù)據(jù)的采集和存儲。針對目前市面上存在的服務(wù)器監(jiān)控技術(shù)進行了對比和分析,從原理,適應(yīng)性,實現(xiàn)優(yōu)化等角度考慮選取合適的技術(shù)來采集和存儲結(jié)點監(jiān)控數(shù)據(jù),為可視化提供數(shù)據(jù)來源。2.可視化模型的設(shè)計和實現(xiàn)。本文針對網(wǎng)絡(luò)結(jié)點數(shù)據(jù)可視化的需求進行了調(diào)研和分析,選取負(fù)載數(shù)據(jù),網(wǎng)絡(luò)通信量數(shù)據(jù),日志數(shù)據(jù)作為可視化數(shù)據(jù),設(shè)計并實現(xiàn)了ThemeRiver,Event Timeline,Circos,Stack等數(shù)據(jù)可視化模塊,并添加簡單的交互來增強可視化模型的實用性。3.基于可視化模型的監(jiān)控數(shù)據(jù)分析實踐。載入真實數(shù)據(jù)來進行可視化分析實踐,通過分析監(jiān)控數(shù)據(jù)來驗證本文所實現(xiàn)的可視化模型的有效性和可行性。將可視化技術(shù)應(yīng)用于分布式系統(tǒng)監(jiān)控數(shù)據(jù)的分析,可以幫助運維人員盡早發(fā)現(xiàn)網(wǎng)絡(luò)結(jié)點中潛在的問題,及時調(diào)整結(jié)點狀態(tài),預(yù)防服務(wù)器奔潰等災(zāi)難性事故的發(fā)生,為制定有效的運維策略提供參考。
[Abstract]:Distributed technology is one of the indispensable technologies for Internet enterprises to build platforms. Large distributed systems often produce a large amount of data every day. The visualization of monitoring data in distributed systems can help operational engineers better understand the status of network nodes, dig out the information contained in monitoring data, and make operational and maintenance policies more quickly and accurately. Therefore, how to apply visualization technology to distributed systems is of great significance and value to the field of Internet. This paper studies how to apply the visualization technology to the monitoring data of distributed system, and solves the problems of data acquisition, data processing and mapping, visualization display, monitoring data analysis and so on. A complete data visualization system is built. In this paper, Logstash,Redis,Elasticsearch,OpenTSDB and other technologies are used to realize data acquisition and storage, D3 framework is used to realize ThemeRiver,Event Timeline,Circos,Stack and other data visualization modules, and real data is loaded to carry out visualization analysis practice, to verify the feasibility and effectiveness of the visualization module implemented in this paper. The main research work of this paper is 1: 1. Monitor data acquisition and storage. This paper compares and analyzes the existing server monitoring technology in the market, and considers the appropriate technology to collect and store node monitoring data from the aspects of principle, adaptability, optimization and so on, so as to provide the data source for visualization. Design and implementation of visual model. This paper investigates and analyzes the demand of network node data visualization, selects load data, network traffic data and log data as visualization data, and designs and implements data visualization module such as ThemeRiver,Event Timeline,Circos,Stack. And add simple interaction to enhance the usability of the visual model. 3. Practice of monitoring data analysis based on visual model. The real data is loaded to carry on the visualization analysis practice, and the validity and feasibility of the visualization model realized in this paper are verified by analyzing the monitoring data. The application of visualization technology to the analysis of monitoring data in distributed systems can help operators discover potential problems in network nodes as early as possible, adjust the status of nodes in time, and prevent catastrophic accidents such as the collapse of servers. It provides a reference for the formulation of effective operation and maintenance strategy.
【學(xué)位授予單位】：浙江大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2017
【分類號】：TP277

【相似文獻】

相關(guān)期刊論文 前10條

1 陳洪亮,譚建榮;基于相密度的混沌吸引子可視化方法研究[J];中國圖象圖形學(xué)報;2001年05期

2 陸楓;陳傳波;盧正鼎;;基于建構(gòu)主義的教學(xué)內(nèi)容可視化研究[J];高等教育研究學(xué)報;2003年01期

3 溫慶慶;;可視化技術(shù)及其應(yīng)用初探[J];科技情報開發(fā)與經(jīng)濟;2007年28期

4 歐海英;張為華;趙經(jīng)成;韓玉;;設(shè)計優(yōu)化可視化研究綜述[J];系統(tǒng)仿真學(xué)報;2008年20期

5 張興學(xué);黃繼鴻;張朋柱;;群體研討信息智能可視化研究[J];計算機應(yīng)用研究;2009年02期

6 郝紅星;吳玲達;宋漢辰;;網(wǎng)絡(luò)社區(qū)及其鏈接可視化研究[J];計算機工程與應(yīng)用;2010年13期

7 陳楓琳;;淺談專家專長可視化方法與工具[J];中國科技信息;2013年01期

8 趙淑芬;;電力系統(tǒng)運行狀態(tài)可視化技術(shù)綜述[J];黑龍江科技信息;2013年25期

9 Gruia-Catalin Roman;Kenneth C. Cox;陳海東;;程序的可視化:將程序映射至圖畫的技巧[J];計算機科學(xué);1993年01期

10 韓麗華,程朋根;GIS環(huán)境下面對象可視化技術(shù)與方法[J];測繪通報;2001年07期

相關(guān)會議論文 前10條

1 陳洪亮;譚建榮;;基于相密度的混沌吸引子可視化方法研究[A];中國圖象圖形學(xué)會第十屆全國圖像圖形學(xué)術(shù)會議（CIG’2001）和第一屆全國虛擬現(xiàn)實技術(shù)研討會（CVR’2001）論文集[C];2001年

2 吳曉莉;史美萍;;晶體生長實驗流場數(shù)據(jù)的可視化研究[A];’2004系統(tǒng)仿真技術(shù)及其應(yīng)用學(xué)術(shù)交流會論文集[C];2004年

3 余弦;吳鋒;;一種危險品運輸車輛監(jiān)控信息可視化方法[A];浙江省信號處理學(xué)會2011學(xué)術(shù)年會論文集[C];2011年

4 柳佳佳;;可視化與地圖學(xué)[A];中國地理信息系統(tǒng)協(xié)會第四次會員代表大會暨第十一屆年會論文集[C];2007年

5 吳鵬;李思昆;;基于本體論的社會網(wǎng)絡(luò)信息建模與可視化方法[A];中國計算機圖形學(xué)進展2008--第七屆中國計算機圖形學(xué)大會論文集[C];2008年

6 張毅;華一新;曹亞妮;曹一冰;;面向談判劃界的國界信息可視化方法研究與實踐[A];第四屆“測繪科學(xué)前沿技術(shù)論壇”論文精選[C];2012年

7 劉曉平;李書杰;石慧;;規(guī)律維問題初探[A];計算機技術(shù)與應(yīng)用進展——全國第17屆計算機科學(xué)與技術(shù)應(yīng)用（CACIS）學(xué)術(shù)會議論文集（下冊）[C];2006年

8 周獻中;顧衛(wèi)江;;一個基于過程的可視化決策系統(tǒng)設(shè)計與實現(xiàn)[A];西部開發(fā)與系統(tǒng)工程——中國系統(tǒng)工程學(xué)會第12屆年會論文集[C];2002年

9 趙志強;阮宗才;陸祖宏;;一種三維腦圖像數(shù)據(jù)遠(yuǎn)程可視化新方法[A];第十三屆全國圖象圖形學(xué)學(xué)術(shù)會議論文集[C];2006年

10 季浩;李書杰;劉曉平;;規(guī)律維的建模與可視化方法研究[A];全國第19屆計算機技術(shù)與應(yīng)用（CACIS）學(xué)術(shù)會議論文集（下冊）[C];2008年

相關(guān)重要報紙文章 前1條

1 本報記者 李聞芝;可視化技術(shù)推動制品品質(zhì)提升[N];中國化工報;2005年

相關(guān)博士學(xué)位論文 前10條

1 雋立然;面向個人基因組變異的功能注釋與可視化方法研究[D];哈爾濱工業(yè)大學(xué);2015年

2 盧德寶;復(fù)雜地形條件下基于電阻率法的對地可視化監(jiān)測技術(shù)研究[D];南京大學(xué);2015年

3 馮朝路;心臟組織分割與可視化關(guān)鍵算法研究[D];東北大學(xué);2014年

4 李杰;地理觀測數(shù)據(jù)時空可視化方法研究[D];天津大學(xué);2015年

5 甘Oz;基于參數(shù)可視化的裂變堆中子學(xué)精細(xì)建模方法研究[D];中國科學(xué)技術(shù)大學(xué);2016年

6 鄧燁;基于屬性偏序可視化方法的柴胡證“但見一證”理論傳承創(chuàng)新研究[D];廣州中醫(yī)藥大學(xué);2016年

7 李穎;心臟可視化研究及其在量化分析中的應(yīng)用[D];第三軍醫(yī)大學(xué);2016年

8 張雷;心臟電生理的快速仿真和交互式可視化方法研究[D];哈爾濱工業(yè)大學(xué);2013年

9 吳曉莉;面向空間遙科學(xué)實驗的流場可視化技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2007年

10 李博;高維多目標(biāo)可視化技術(shù)的研究及應(yīng)用[D];哈爾濱工程大學(xué);2013年

相關(guān)碩士學(xué)位論文 前10條

1 陳敏;基于元圖的關(guān)聯(lián)規(guī)則可視化方法[D];河北師范大學(xué);2015年

2 何薔;克隆代碼可視化系統(tǒng)的設(shè)計與實現(xiàn)[D];哈爾濱工業(yè)大學(xué);2015年

3 查燕平;基于非常規(guī)突發(fā)事件的人工社會可視化方法研究[D];北京理工大學(xué);2015年

4 關(guān)岳;大規(guī)模微博數(shù)據(jù)的品牌檢索與可視化[D];大連理工大學(xué);2015年

5 賀瀟磊;軟件網(wǎng)絡(luò)拓?fù)渑c參數(shù)可視化研究與分析[D];東北大學(xué);2013年

6 朱曉丹;大規(guī)模復(fù)雜電磁環(huán)境三維可視化研究與實現(xiàn)[D];電子科技大學(xué);2015年

7 吳長龍;人體肺部理想二分叉氣道樹的構(gòu)造和可視化[D];東北大學(xué);2014年

8 朱宗喜;鋼桁梁橋可視化研究[D];蘭州交通大學(xué);2015年

9 王博;鋼筋混凝土橋梁可視化及信息管理研究[D];蘭州交通大學(xué);2015年

10 田野;不同震源類型的可視化識別研究[D];廣西師范大學(xué);2015年

，

本文編號：2259614