發(fā)布時間：2020-10-09 20:22

　　 網(wǎng)絡(luò)流數(shù)據(jù)通常是由監(jiān)控設(shè)備采集的大量網(wǎng)絡(luò)日志數(shù)據(jù)。作為網(wǎng)絡(luò)事件的重要載體,網(wǎng)絡(luò)流數(shù)據(jù)是分析人員對網(wǎng)絡(luò)運行狀況進行評判的重要依據(jù)。網(wǎng)絡(luò)流數(shù)據(jù)的數(shù)據(jù)維度較多、數(shù)據(jù)量龐大、分析層次多樣,利用傳統(tǒng)的分析方法難以對其進行全面細致的探索,同時給分析人員帶來繁重的認知負擔(dān)。可視分析方法以可視化的手段對數(shù)據(jù)進行處理,結(jié)合用戶交互使分析人員可以快速從海量數(shù)據(jù)中挖掘有價值的信息,以便做出有效決策。當(dāng)前,網(wǎng)絡(luò)流數(shù)據(jù)的可視分析需要解決以下問題:一方面,針對網(wǎng)絡(luò)流數(shù)據(jù)的多層次性以及主機關(guān)聯(lián)性等特征,提出有效的分析方法。現(xiàn)有方法聚焦于單一層次,難以實現(xiàn)多角度分析。另一方面,根據(jù)分析對象的特點以及網(wǎng)絡(luò)流數(shù)據(jù)的多元時變性,設(shè)計合理的編碼與視圖,從而實現(xiàn)可視分析的高效性。本文針對以上兩大問題,對網(wǎng)絡(luò)流數(shù)據(jù)可視分析方法進行研究,研究成果主要為以下三個方面:1.針對網(wǎng)絡(luò)流數(shù)據(jù)的多層次性和主機關(guān)聯(lián)性特征,設(shè)計了多層次關(guān)聯(lián)可視分析模型,實現(xiàn)了由整體到局部、由局部到個體以及由點到面的可視分析。多層次關(guān)聯(lián)可視分析模型包括數(shù)據(jù)轉(zhuǎn)換、可視分析和視圖生成等功能,其中可視分析為該模型的核心功能�？梢暦治龇譃槎鄬哟畏治龊完P(guān)聯(lián)分析。多層次分析以網(wǎng)絡(luò)流數(shù)據(jù)的多層次性特征為背景,設(shè)計了整體時序分析的宏觀層次,局部時序分析的中觀層次,以特定主體為研究對象的微觀層次,實現(xiàn)整體到局部以及局部到個體的分析流程。關(guān)聯(lián)分析利用網(wǎng)絡(luò)流數(shù)據(jù)的主機關(guān)聯(lián)性特點,構(gòu)建主機間的關(guān)系網(wǎng)絡(luò),分析主機節(jié)點間的關(guān)聯(lián)規(guī)律,獲取關(guān)系密切的主機節(jié)點,實現(xiàn)由點到面的分析流程。2.根據(jù)上述多層次關(guān)聯(lián)可視分析模型,結(jié)合網(wǎng)絡(luò)流數(shù)據(jù)的多元時變性特點,對視覺編碼、視圖與布局等進行詳細設(shè)計與實現(xiàn)。多層次關(guān)聯(lián)可視分析模型提供了可視化設(shè)計需要的分析對象、分析流程以及目標輸出等內(nèi)容,同時,網(wǎng)絡(luò)流數(shù)據(jù)的多元時變性特征需結(jié)合經(jīng)典的多元時變數(shù)據(jù)可視化方法。基于以上兩點,本文對網(wǎng)絡(luò)流數(shù)據(jù)可視化的視覺編碼、視圖與布局等進行了改進與詳細設(shè)計,高效地完成了分析任務(wù),實現(xiàn)了對多層次關(guān)聯(lián)可視分析模型以及多元時變數(shù)據(jù)的可視化表達。3.基于上述方法,實現(xiàn)了網(wǎng)絡(luò)流數(shù)據(jù)可視分析系統(tǒng),該系統(tǒng)結(jié)合豐富的人機交互功能實現(xiàn)了對網(wǎng)絡(luò)流數(shù)據(jù)的可視分析。采用權(quán)威性的VAST挑戰(zhàn)賽的數(shù)據(jù)集對本系統(tǒng)進行案例評估,通過多層次分析和關(guān)聯(lián)分析完成了各項分析任務(wù),實現(xiàn)了對相關(guān)案例的實驗分析,證明了本系統(tǒng)的有效性以及實用性。
【學(xué)位單位】：西安電子科技大學(xué)
【學(xué)位級別】：碩士
【學(xué)位年份】：2018
【中圖分類】：TP393.06
【部分圖文】：

數(shù)據(jù)可視化的基本流程如圖 2.1 所示，主要包括數(shù)據(jù)處理、視覺編碼和布局、視圖生成、交互等操作。下面對這些操作進行詳細說明。圖2.1 可視化基本流程圖1. 數(shù)據(jù)處理數(shù)據(jù)處理將原始數(shù)據(jù)執(zhí)行數(shù)據(jù)清洗、數(shù)據(jù)規(guī)范、數(shù)據(jù)分析等操作。將臟數(shù)據(jù)過濾，剔除與目標無關(guān)的冗余數(shù)據(jù)，利用一些求和、方差、期望等數(shù)據(jù)分析與統(tǒng)計方法以及各種復(fù)雜的數(shù)據(jù)挖掘方法將數(shù)據(jù)調(diào)整為可視化系統(tǒng)可接受的數(shù)據(jù)格式。數(shù)據(jù)處理可將原始數(shù)據(jù)進行提煉與簡化，保證將有效的信息知識與相應(yīng)的上下文結(jié)構(gòu)保存下來。2. 視覺編碼和布局視覺編碼是數(shù)據(jù)可視化的核心內(nèi)容，它利用位置、大小、尺寸、色彩、形狀等視覺通道映射需要展示的數(shù)據(jù)維度。視覺編碼的核心工作為如何在多樣性的視覺呈現(xiàn)空間中選擇最合適的編碼形式，這需要可視分析工作者對目標任務(wù)、數(shù)據(jù)屬性、用戶感知與認知能力等進行判定。設(shè)計相應(yīng)的可視化布局以呈現(xiàn)數(shù)據(jù)結(jié)構(gòu)與視覺編碼。3. 視圖生成視圖生成將之前處理好的數(shù)據(jù)以及設(shè)計的視覺編碼和布局方法付諸實踐，利用工程方法生成最終的可視化視圖，在視圖生成過程中可進行需求的調(diào)整與迭代，以達到最完美的效果。

析了可視化的基本流程，該流程為當(dāng)前可視化工作通用的方出了針對不同環(huán)境的流程模型，如線性模型、循環(huán)模型和嵌DataAnalysiswtaPrepareddataFocusdataGeometricdataFiltering Mapping Rendring圖2.2 線性模型 Haber 等[24]提出了針對科學(xué)可視化的早期可視化流水線，模型。如圖 2.2 所示，它包含了數(shù)據(jù)分析、過濾、映射和繪到可視空間的轉(zhuǎn)換。線性模型非常直觀且容易理解，實現(xiàn)了合。

數(shù)據(jù)分析、可視化編碼等步驟，下半部分是對結(jié)果的驗證與迭代。通過不斷的驗證與迭代分析進行各個步驟的調(diào)整，使可視化結(jié)果更符合任務(wù)目標。圖2.4 嵌套模型縱觀上述提及的可視化模型，雖有差別，但基本流程是類似的。均需經(jīng)過可視化基本流程中提及的數(shù)據(jù)處理、可視化編碼、可視化布局和視圖生成等步驟，因此其本質(zhì)是相同的。2.1.2 數(shù)據(jù)模型和視覺編碼數(shù)據(jù)模型是數(shù)據(jù)的底層描述，它是數(shù)字與符號的組合，包含數(shù)據(jù)的定義、類型以及數(shù)據(jù)操作等。概念模型是對數(shù)據(jù)的高層次描述，利用現(xiàn)實世界中的語義與數(shù)據(jù)相結(jié)合，描述人們對數(shù)據(jù)的認知[29]。根據(jù)不同應(yīng)用可對數(shù)據(jù)進行不同分類，比如在計算機存儲中有字符串、整型和浮點型等格式；按數(shù)據(jù)結(jié)構(gòu)分類有數(shù)組、棧、隊列、圖以及樹等；而數(shù)據(jù)可視化則根據(jù)測量標度對數(shù)據(jù)進行分類：類別型數(shù)據(jù)、有序型數(shù)據(jù)和數(shù)值型數(shù)據(jù)，其中數(shù)值型數(shù)據(jù)包括區(qū)間型和比值型數(shù)據(jù)

【相似文獻】

相關(guān)期刊論文 前10條

1 鄒永貴;龔海平;夏英;宋強;;一種面向流數(shù)據(jù)頻繁項挖掘的降載策略[J];計算機應(yīng)用研究;2011年04期

2 李子杰;鄭誠;;流數(shù)據(jù)和傳統(tǒng)數(shù)據(jù)存儲及管理方法比較研究[J];計算機技術(shù)與發(fā)展;2009年04期

3 潘靜;于宏偉;;流數(shù)據(jù)管理降載技術(shù)研究綜述[J];中國管理信息化;2009年21期

4 劉宇雷;秦小麟;儲網(wǎng)林;黃瑛;;流數(shù)據(jù)復(fù)雜聚類查詢處理算法[J];南京航空航天大學(xué)學(xué)報;2009年06期

5 馮衛(wèi)兵;李戰(zhàn)懷;;流數(shù)據(jù)的連續(xù)查詢優(yōu)化技術(shù)[J];計算機應(yīng)用研究;2008年01期

6 劉學(xué)平;;利用點擊流數(shù)據(jù)提供個性化信息服務(wù)的模式研究[J];安徽農(nóng)業(yè)科學(xué);2008年02期

7 劉佳;張芳;劉國華;劉琳;;基于流數(shù)據(jù)技術(shù)的信息監(jiān)測系統(tǒng)的研究與設(shè)計[J];計算機工程;2007年05期

8 李衛(wèi)民;于守健;駱軼姝;樂嘉錦;;流數(shù)據(jù)管理的降載技術(shù):研究進展[J];計算機科學(xué);2007年06期

9 饒洋輝;張大斌;;基于點擊流數(shù)據(jù)的電子商務(wù)企業(yè)客戶識別研究[J];管理科學(xué);2006年04期

10 聶國梁;盧正鼎;;流數(shù)據(jù)密度估計[J];計算機科學(xué);2006年12期

相關(guān)會議論文 前10條

1 金福才;;數(shù)據(jù)切片及其在鐵路車流數(shù)據(jù)查詢中的應(yīng)用[A];第十二屆中國智能交通年會大會論文集[C];2017年

2 劉正濤;毛宇光;吳莊;;一種新的流數(shù)據(jù)模型及其擴展[A];第二十二屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（技術(shù)報告篇）[C];2005年

3 姚春芬;陳紅;;分布偏斜的流數(shù)據(jù)上的一種直方圖維護算法[A];第二十三屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（技術(shù)報告篇）[C];2006年

4 張洪芹;田向軍;;NLS-4DVar的新發(fā)展[A];第35屆中國氣象學(xué)會年會 S9 衛(wèi)星資料同化[C];2018年

5 孫煥良;趙法信;鮑玉斌;于戈;王大玲;;CD-Stream——一種基于空間劃分的流數(shù)據(jù)密度聚類算法[A];第二十一屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（研究報告篇）[C];2004年

6 劉建偉;于守健;樂嘉錦;;基于Web服務(wù)資源框架的流數(shù)據(jù)查詢處理系統(tǒng)[A];第二十二屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（技術(shù)報告篇）[C];2005年

7 倪晟宇;;在流數(shù)據(jù)模式下計算最長遞增子序列長度[A];2005年全國理論計算機科學(xué)學(xué)術(shù)年會論文集[C];2005年

8 何星星;謝伙生;;流數(shù)據(jù)中一種高效剪枝的頻繁序列挖掘算法[A];第26屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（B輯）[C];2009年

9 李曉麗;王彤;杜振龍;;基于粗糙集理論的流數(shù)據(jù)最優(yōu)特征選擇[A];第二十二屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（研究報告篇）[C];2005年

10 孟軍;姜軍曉;劉秋水;;基于滑動窗口的流數(shù)據(jù)頻繁模式挖掘算法[A];第三屆全國信息檢索與內(nèi)容安全學(xué)術(shù)會議論文集[C];2007年

相關(guān)重要報紙文章 前10條

1 本報記者 鐘文 楊彩華;我市將于2020年全面建成中國一流數(shù)據(jù)強市[N];成都日報;2016年

2 記者 方曉淦;查找差距 補齊短板 強化服務(wù)[N];北海日報;2016年

3 本報記者 楊博;WTO報告預(yù)測本季全球貿(mào)易增長將持續(xù)低迷[N];中國證券報;2016年

4 記者 李媛婧 通訊員 鐘全龍;重慶移動流數(shù)據(jù)技術(shù)實時追蹤營銷效果[N];人民郵電;2014年

5 記者 胡宇芬;輕松應(yīng)對TB級海量信息[N];湖南日報;2010年

6 ;實用的3S2000ERP系統(tǒng)[N];中國機電日報;2001年

7 ;超越數(shù)據(jù)流極限[N];網(wǎng)絡(luò)世界;2005年

8 記者李崎;數(shù)據(jù)產(chǎn)業(yè)扎實推進[N];秦皇島日報;2012年

9 ;“國家數(shù)據(jù)”為民服務(wù)[N];中國計算機報;2014年

10 嶺之南;讓數(shù)據(jù)“活”起來[N];中國稅務(wù)報;2015年

相關(guān)博士學(xué)位論文 前10條

1 劉建偉;流數(shù)據(jù)查詢系統(tǒng)結(jié)構(gòu)及模式查詢算法的研究[D];東華大學(xué);2005年

2 聶國梁;流數(shù)據(jù)統(tǒng)計算法研究[D];華中科技大學(xué);2006年

3 李衛(wèi)民;流數(shù)據(jù)查詢算法若干關(guān)鍵技術(shù)研究[D];東華大學(xué);2008年

4 丁智國;流數(shù)據(jù)在線異常檢測方法研究[D];上海大學(xué);2015年

5 于程程;面向評測基準的社交流數(shù)據(jù)生成[D];華東師范大學(xué);2016年

6 楊定裕;實時流數(shù)據(jù)分析的關(guān)鍵技術(shù)及應(yīng)用[D];上海交通大學(xué);2015年

7 屠莉;流數(shù)據(jù)的頻繁項挖掘及聚類的關(guān)鍵技術(shù)研究[D];南京航空航天大學(xué);2009年

8 徐小維;面向大數(shù)據(jù)的相似度度量的加速研究[D];華中科技大學(xué);2016年

9 鄭曄;時空流計算模型及其在邊緣計算環(huán)境下的驗證[D];浙江大學(xué);2017年

10 甘亮;面向網(wǎng)絡(luò)安全監(jiān)控的流數(shù)據(jù)處理技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2011年

相關(guān)碩士學(xué)位論文 前10條

1 藕雪婷;基于溯源數(shù)據(jù)與流數(shù)據(jù)的IP屬性分析[D];哈爾濱工業(yè)大學(xué);2018年

2 糜俊;基于流數(shù)據(jù)的負載降維模型[D];南京郵電大學(xué);2018年

3 陸叢;多維流數(shù)據(jù)的可視分析方法研究[D];武漢理工大學(xué);2017年

4 郭玲云;網(wǎng)絡(luò)流數(shù)據(jù)可視分析系統(tǒng)的設(shè)計與實現(xiàn)[D];西安電子科技大學(xué);2018年

5 敖菁;一種分布式半結(jié)構(gòu)化流數(shù)據(jù)查詢技術(shù)[D];北京工業(yè)大學(xué);2017年

6 盧冠孜;基于SPARQL的鏈接流數(shù)據(jù)查詢方法研究[D];大連海事大學(xué);2017年

7 王雄斌;面向大規(guī)模多源傳感流數(shù)據(jù)的關(guān)聯(lián)在線檢測方法[D];北方工業(yè)大學(xué);2017年

8 王紹輝;流數(shù)據(jù)協(xié)議特征分析[D];電子科技大學(xué);2016年

9 賈立峰;流數(shù)據(jù)中頻繁模式挖掘算法的研究[D];吉林大學(xué);2006年

10 辛波;基于InfoSphere Streams的流數(shù)據(jù)分析及應(yīng)用[D];武漢理工大學(xué);2014年

本文編號：2834150