網(wǎng)絡(luò)流數(shù)據(jù)通常是由監(jiān)控設(shè)備采集的大量網(wǎng)絡(luò)日志數(shù)據(jù)。作為網(wǎng)絡(luò)事件的重要載體,網(wǎng)絡(luò)流數(shù)據(jù)是分析人員對(duì)網(wǎng)絡(luò)運(yùn)行狀況進(jìn)行評(píng)判的重要依據(jù)。網(wǎng)絡(luò)流數(shù)據(jù)的數(shù)據(jù)維度較多、數(shù)據(jù)量龐大、分析層次多樣,利用傳統(tǒng)的分析方法難以對(duì)其進(jìn)行全面細(xì)致的探索,同時(shí)給分析人員帶來(lái)繁重的認(rèn)知負(fù)擔(dān)�？梢暦治龇椒ㄒ钥梢暬氖侄螌�(duì)數(shù)據(jù)進(jìn)行處理,結(jié)合用戶交互使分析人員可以快速?gòu)暮Ａ繑?shù)據(jù)中挖掘有價(jià)值的信息,以便做出有效決策。當(dāng)前,網(wǎng)絡(luò)流數(shù)據(jù)的可視分析需要解決以下問(wèn)題:一方面,針對(duì)網(wǎng)絡(luò)流數(shù)據(jù)的多層次性以及主機(jī)關(guān)聯(lián)性等特征,提出有效的分析方法�，F(xiàn)有方法聚焦于單一層次,難以實(shí)現(xiàn)多角度分析。另一方面,根據(jù)分析對(duì)象的特點(diǎn)以及網(wǎng)絡(luò)流數(shù)據(jù)的多元時(shí)變性,設(shè)計(jì)合理的編碼與視圖,從而實(shí)現(xiàn)可視分析的高效性。本文針對(duì)以上兩大問(wèn)題,對(duì)網(wǎng)絡(luò)流數(shù)據(jù)可視分析方法進(jìn)行研究,研究成果主要為以下三個(gè)方面:1.針對(duì)網(wǎng)絡(luò)流數(shù)據(jù)的多層次性和主機(jī)關(guān)聯(lián)性特征,設(shè)計(jì)了多層次關(guān)聯(lián)可視分析模型,實(shí)現(xiàn)了由整體到局部、由局部到個(gè)體以及由點(diǎn)到面的可視分析。多層次關(guān)聯(lián)可視分析模型包括數(shù)據(jù)轉(zhuǎn)換、可視分析和視圖生成等功能,其中可視分析為該模型的核心功能�？梢暦治龇譃槎鄬哟畏治龊完P(guān)聯(lián)分析。多層次分析以網(wǎng)絡(luò)流數(shù)據(jù)的多層次性特征為背景,設(shè)計(jì)了整體時(shí)序分析的宏觀層次,局部時(shí)序分析的中觀層次,以特定主體為研究對(duì)象的微觀層次,實(shí)現(xiàn)整體到局部以及局部到個(gè)體的分析流程。關(guān)聯(lián)分析利用網(wǎng)絡(luò)流數(shù)據(jù)的主機(jī)關(guān)聯(lián)性特點(diǎn),構(gòu)建主機(jī)間的關(guān)系網(wǎng)絡(luò),分析主機(jī)節(jié)點(diǎn)間的關(guān)聯(lián)規(guī)律,獲取關(guān)系密切的主機(jī)節(jié)點(diǎn),實(shí)現(xiàn)由點(diǎn)到面的分析流程。2.根據(jù)上述多層次關(guān)聯(lián)可視分析模型,結(jié)合網(wǎng)絡(luò)流數(shù)據(jù)的多元時(shí)變性特點(diǎn),對(duì)視覺(jué)編碼、視圖與布局等進(jìn)行詳細(xì)設(shè)計(jì)與實(shí)現(xiàn)。多層次關(guān)聯(lián)可視分析模型提供了可視化設(shè)計(jì)需要的分析對(duì)象、分析流程以及目標(biāo)輸出等內(nèi)容,同時(shí),網(wǎng)絡(luò)流數(shù)據(jù)的多元時(shí)變性特征需結(jié)合經(jīng)典的多元時(shí)變數(shù)據(jù)可視化方法�；谝陨蟽牲c(diǎn),本文對(duì)網(wǎng)絡(luò)流數(shù)據(jù)可視化的視覺(jué)編碼、視圖與布局等進(jìn)行了改進(jìn)與詳細(xì)設(shè)計(jì),高效地完成了分析任務(wù),實(shí)現(xiàn)了對(duì)多層次關(guān)聯(lián)可視分析模型以及多元時(shí)變數(shù)據(jù)的可視化表達(dá)。3.基于上述方法,實(shí)現(xiàn)了網(wǎng)絡(luò)流數(shù)據(jù)可視分析系統(tǒng),該系統(tǒng)結(jié)合豐富的人機(jī)交互功能實(shí)現(xiàn)了對(duì)網(wǎng)絡(luò)流數(shù)據(jù)的可視分析。采用權(quán)威性的VAST挑戰(zhàn)賽的數(shù)據(jù)集對(duì)本系統(tǒng)進(jìn)行案例評(píng)估,通過(guò)多層次分析和關(guān)聯(lián)分析完成了各項(xiàng)分析任務(wù),實(shí)現(xiàn)了對(duì)相關(guān)案例的實(shí)驗(yàn)分析,證明了本系統(tǒng)的有效性以及實(shí)用性。
【學(xué)位單位】：西安電子科技大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位年份】：2018
【中圖分類(lèi)】：TP393.06
【部分圖文】：

數(shù)據(jù)可視化的基本流程如圖 2.1 所示，主要包括數(shù)據(jù)處理、視覺(jué)編碼和布局、視圖生成、交互等操作。下面對(duì)這些操作進(jìn)行詳細(xì)說(shuō)明。圖2.1 可視化基本流程圖1. 數(shù)據(jù)處理數(shù)據(jù)處理將原始數(shù)據(jù)執(zhí)行數(shù)據(jù)清洗、數(shù)據(jù)規(guī)范、數(shù)據(jù)分析等操作。將臟數(shù)據(jù)過(guò)濾，剔除與目標(biāo)無(wú)關(guān)的冗余數(shù)據(jù)，利用一些求和、方差、期望等數(shù)據(jù)分析與統(tǒng)計(jì)方法以及各種復(fù)雜的數(shù)據(jù)挖掘方法將數(shù)據(jù)調(diào)整為可視化系統(tǒng)可接受的數(shù)據(jù)格式。數(shù)據(jù)處理可將原始數(shù)據(jù)進(jìn)行提煉與簡(jiǎn)化，保證將有效的信息知識(shí)與相應(yīng)的上下文結(jié)構(gòu)保存下來(lái)。2. 視覺(jué)編碼和布局視覺(jué)編碼是數(shù)據(jù)可視化的核心內(nèi)容，它利用位置、大小、尺寸、色彩、形狀等視覺(jué)通道映射需要展示的數(shù)據(jù)維度。視覺(jué)編碼的核心工作為如何在多樣性的視覺(jué)呈現(xiàn)空間中選擇最合適的編碼形式，這需要可視分析工作者對(duì)目標(biāo)任務(wù)、數(shù)據(jù)屬性、用戶感知與認(rèn)知能力等進(jìn)行判定。設(shè)計(jì)相應(yīng)的可視化布局以呈現(xiàn)數(shù)據(jù)結(jié)構(gòu)與視覺(jué)編碼。3. 視圖生成視圖生成將之前處理好的數(shù)據(jù)以及設(shè)計(jì)的視覺(jué)編碼和布局方法付諸實(shí)踐，利用工程方法生成最終的可視化視圖，在視圖生成過(guò)程中可進(jìn)行需求的調(diào)整與迭代，以達(dá)到最完美的效果。

析了可視化的基本流程，該流程為當(dāng)前可視化工作通用的方出了針對(duì)不同環(huán)境的流程模型，如線性模型、循環(huán)模型和嵌DataAnalysiswtaPrepareddataFocusdataGeometricdataFiltering Mapping Rendring圖2.2 線性模型 Haber 等[24]提出了針對(duì)科學(xué)可視化的早期可視化流水線，模型。如圖 2.2 所示，它包含了數(shù)據(jù)分析、過(guò)濾、映射和繪到可視空間的轉(zhuǎn)換。線性模型非常直觀且容易理解，實(shí)現(xiàn)了合。

數(shù)據(jù)分析、可視化編碼等步驟，下半部分是對(duì)結(jié)果的驗(yàn)證與迭代。通過(guò)不斷的驗(yàn)證與迭代分析進(jìn)行各個(gè)步驟的調(diào)整，使可視化結(jié)果更符合任務(wù)目標(biāo)。圖2.4 嵌套模型縱觀上述提及的可視化模型，雖有差別，但基本流程是類(lèi)似的。均需經(jīng)過(guò)可視化基本流程中提及的數(shù)據(jù)處理、可視化編碼、可視化布局和視圖生成等步驟，因此其本質(zhì)是相同的。2.1.2 數(shù)據(jù)模型和視覺(jué)編碼數(shù)據(jù)模型是數(shù)據(jù)的底層描述，它是數(shù)字與符號(hào)的組合，包含數(shù)據(jù)的定義、類(lèi)型以及數(shù)據(jù)操作等。概念模型是對(duì)數(shù)據(jù)的高層次描述，利用現(xiàn)實(shí)世界中的語(yǔ)義與數(shù)據(jù)相結(jié)合，描述人們對(duì)數(shù)據(jù)的認(rèn)知[29]。根據(jù)不同應(yīng)用可對(duì)數(shù)據(jù)進(jìn)行不同分類(lèi)，比如在計(jì)算機(jī)存儲(chǔ)中有字符串、整型和浮點(diǎn)型等格式；按數(shù)據(jù)結(jié)構(gòu)分類(lèi)有數(shù)組、棧、隊(duì)列、圖以及樹(shù)等；而數(shù)據(jù)可視化則根據(jù)測(cè)量標(biāo)度對(duì)數(shù)據(jù)進(jìn)行分類(lèi)：類(lèi)別型數(shù)據(jù)、有序型數(shù)據(jù)和數(shù)值型數(shù)據(jù)，其中數(shù)值型數(shù)據(jù)包括區(qū)間型和比值型數(shù)據(jù)

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 鄒永貴;龔海平;夏英;宋強(qiáng);;一種面向流數(shù)據(jù)頻繁項(xiàng)挖掘的降載策略[J];計(jì)算機(jī)應(yīng)用研究;2011年04期

2 李子杰;鄭誠(chéng);;流數(shù)據(jù)和傳統(tǒng)數(shù)據(jù)存儲(chǔ)及管理方法比較研究[J];計(jì)算機(jī)技術(shù)與發(fā)展;2009年04期

3 潘靜;于宏偉;;流數(shù)據(jù)管理降載技術(shù)研究綜述[J];中國(guó)管理信息化;2009年21期

4 劉宇雷;秦小麟;儲(chǔ)網(wǎng)林;黃瑛;;流數(shù)據(jù)復(fù)雜聚類(lèi)查詢處理算法[J];南京航空航天大學(xué)學(xué)報(bào);2009年06期

5 馮衛(wèi)兵;李戰(zhàn)懷;;流數(shù)據(jù)的連續(xù)查詢優(yōu)化技術(shù)[J];計(jì)算機(jī)應(yīng)用研究;2008年01期

6 劉學(xué)平;;利用點(diǎn)擊流數(shù)據(jù)提供個(gè)性化信息服務(wù)的模式研究[J];安徽農(nóng)業(yè)科學(xué);2008年02期

7 劉佳;張芳;劉國(guó)華;劉琳;;基于流數(shù)據(jù)技術(shù)的信息監(jiān)測(cè)系統(tǒng)的研究與設(shè)計(jì)[J];計(jì)算機(jī)工程;2007年05期

8 李衛(wèi)民;于守健;駱軼姝;樂(lè)嘉錦;;流數(shù)據(jù)管理的降載技術(shù):研究進(jìn)展[J];計(jì)算機(jī)科學(xué);2007年06期

9 饒洋輝;張大斌;;基于點(diǎn)擊流數(shù)據(jù)的電子商務(wù)企業(yè)客戶識(shí)別研究[J];管理科學(xué);2006年04期

10 聶國(guó)梁;盧正鼎;;流數(shù)據(jù)密度估計(jì)[J];計(jì)算機(jī)科學(xué);2006年12期

相關(guān)會(huì)議論文 前10條

1 金福才;;數(shù)據(jù)切片及其在鐵路車(chē)流數(shù)據(jù)查詢中的應(yīng)用[A];第十二屆中國(guó)智能交通年會(huì)大會(huì)論文集[C];2017年

2 劉正濤;毛宇光;吳莊;;一種新的流數(shù)據(jù)模型及其擴(kuò)展[A];第二十二屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2005年

3 姚春芬;陳紅;;分布偏斜的流數(shù)據(jù)上的一種直方圖維護(hù)算法[A];第二十三屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2006年

4 張洪芹;田向軍;;NLS-4DVar的新發(fā)展[A];第35屆中國(guó)氣象學(xué)會(huì)年會(huì) S9 衛(wèi)星資料同化[C];2018年

5 孫煥良;趙法信;鮑玉斌;于戈;王大玲;;CD-Stream——一種基于空間劃分的流數(shù)據(jù)密度聚類(lèi)算法[A];第二十一屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2004年

6 劉建偉;于守健;樂(lè)嘉錦;;基于Web服務(wù)資源框架的流數(shù)據(jù)查詢處理系統(tǒng)[A];第二十二屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2005年

7 倪晟宇;;在流數(shù)據(jù)模式下計(jì)算最長(zhǎng)遞增子序列長(zhǎng)度[A];2005年全國(guó)理論計(jì)算機(jī)科學(xué)學(xué)術(shù)年會(huì)論文集[C];2005年

8 何星星;謝伙生;;流數(shù)據(jù)中一種高效剪枝的頻繁序列挖掘算法[A];第26屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（B輯）[C];2009年

9 李曉麗;王彤;杜振龍;;基于粗糙集理論的流數(shù)據(jù)最優(yōu)特征選擇[A];第二十二屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2005年

10 孟軍;姜軍曉;劉秋水;;基于滑動(dòng)窗口的流數(shù)據(jù)頻繁模式挖掘算法[A];第三屆全國(guó)信息檢索與內(nèi)容安全學(xué)術(shù)會(huì)議論文集[C];2007年

相關(guān)重要報(bào)紙文章 前10條

1 本報(bào)記者 鐘文 楊彩華;我市將于2020年全面建成中國(guó)一流數(shù)據(jù)強(qiáng)市[N];成都日?qǐng)?bào);2016年

2 記者 方曉淦;查找差距 補(bǔ)齊短板 強(qiáng)化服務(wù)[N];北海日?qǐng)?bào);2016年

3 本報(bào)記者 楊博;WTO報(bào)告預(yù)測(cè)本季全球貿(mào)易增長(zhǎng)將持續(xù)低迷[N];中國(guó)證券報(bào);2016年

4 記者 李媛婧 通訊員 鐘全龍;重慶移動(dòng)流數(shù)據(jù)技術(shù)實(shí)時(shí)追蹤營(yíng)銷(xiāo)效果[N];人民郵電;2014年

5 記者 胡宇芬;輕松應(yīng)對(duì)TB級(jí)海量信息[N];湖南日?qǐng)?bào);2010年

6 ;實(shí)用的3S2000ERP系統(tǒng)[N];中國(guó)機(jī)電日?qǐng)?bào);2001年

7 ;超越數(shù)據(jù)流極限[N];網(wǎng)絡(luò)世界;2005年

8 記者李崎;數(shù)據(jù)產(chǎn)業(yè)扎實(shí)推進(jìn)[N];秦皇島日?qǐng)?bào);2012年

9 ;“國(guó)家數(shù)據(jù)”為民服務(wù)[N];中國(guó)計(jì)算機(jī)報(bào);2014年

10 嶺之南;讓數(shù)據(jù)“活”起來(lái)[N];中國(guó)稅務(wù)報(bào);2015年

相關(guān)博士學(xué)位論文 前10條

1 劉建偉;流數(shù)據(jù)查詢系統(tǒng)結(jié)構(gòu)及模式查詢算法的研究[D];東華大學(xué);2005年

2 聶國(guó)梁;流數(shù)據(jù)統(tǒng)計(jì)算法研究[D];華中科技大學(xué);2006年

3 李衛(wèi)民;流數(shù)據(jù)查詢算法若干關(guān)鍵技術(shù)研究[D];東華大學(xué);2008年

4 丁智國(guó);流數(shù)據(jù)在線異常檢測(cè)方法研究[D];上海大學(xué);2015年

5 于程程;面向評(píng)測(cè)基準(zhǔn)的社交流數(shù)據(jù)生成[D];華東師范大學(xué);2016年

6 楊定裕;實(shí)時(shí)流數(shù)據(jù)分析的關(guān)鍵技術(shù)及應(yīng)用[D];上海交通大學(xué);2015年

7 屠莉;流數(shù)據(jù)的頻繁項(xiàng)挖掘及聚類(lèi)的關(guān)鍵技術(shù)研究[D];南京航空航天大學(xué);2009年

8 徐小維;面向大數(shù)據(jù)的相似度度量的加速研究[D];華中科技大學(xué);2016年

9 鄭曄;時(shí)空流計(jì)算模型及其在邊緣計(jì)算環(huán)境下的驗(yàn)證[D];浙江大學(xué);2017年

10 甘亮;面向網(wǎng)絡(luò)安全監(jiān)控的流數(shù)據(jù)處理技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2011年

相關(guān)碩士學(xué)位論文 前10條

1 藕雪婷;基于溯源數(shù)據(jù)與流數(shù)據(jù)的IP屬性分析[D];哈爾濱工業(yè)大學(xué);2018年

2 糜俊;基于流數(shù)據(jù)的負(fù)載降維模型[D];南京郵電大學(xué);2018年

3 陸叢;多維流數(shù)據(jù)的可視分析方法研究[D];武漢理工大學(xué);2017年

4 郭玲云;網(wǎng)絡(luò)流數(shù)據(jù)可視分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];西安電子科技大學(xué);2018年

5 敖菁;一種分布式半結(jié)構(gòu)化流數(shù)據(jù)查詢技術(shù)[D];北京工業(yè)大學(xué);2017年

6 盧冠孜;基于SPARQL的鏈接流數(shù)據(jù)查詢方法研究[D];大連海事大學(xué);2017年

7 王雄斌;面向大規(guī)模多源傳感流數(shù)據(jù)的關(guān)聯(lián)在線檢測(cè)方法[D];北方工業(yè)大學(xué);2017年

8 王紹輝;流數(shù)據(jù)協(xié)議特征分析[D];電子科技大學(xué);2016年

9 賈立峰;流數(shù)據(jù)中頻繁模式挖掘算法的研究[D];吉林大學(xué);2006年

10 辛波;基于InfoSphere Streams的流數(shù)據(jù)分析及應(yīng)用[D];武漢理工大學(xué);2014年

本文編號(hào)：2834150