隨著傳感器技術(shù)、互聯(lián)網(wǎng)技術(shù)的發(fā)展,以及IPV6的推行,物聯(lián)網(wǎng)將會(huì)把互聯(lián)網(wǎng)技術(shù)推進(jìn)一個(gè)新的時(shí)代。在萬(wàn)物互聯(lián)的世界中,用戶將對(duì)數(shù)據(jù)的收集和共享提出更多需求,以至于數(shù)據(jù)量的極速增長(zhǎng)。與傳統(tǒng)的批處理數(shù)據(jù)相比,流數(shù)據(jù)作為一種新的數(shù)據(jù)形式,主要具有以下三個(gè)特征:一是對(duì)數(shù)據(jù)處理具有較強(qiáng)的實(shí)時(shí)性要求;二是數(shù)據(jù)分布可能隨時(shí)間不斷變化;三是數(shù)據(jù)規(guī)模極其龐大。如金融股票、網(wǎng)絡(luò)流量監(jiān)控、用戶購(gòu)物瀏覽信息、無(wú)線傳感器網(wǎng)絡(luò)等領(lǐng)域,數(shù)據(jù)均是以流的形式存在的。由于在實(shí)際場(chǎng)景中流數(shù)據(jù)的廣泛應(yīng)用,針對(duì)流數(shù)據(jù)可靠性的相關(guān)研究迅速得到人們的重視。而異常檢測(cè)作為可靠性分析的重要組成部分,也成為了流式數(shù)據(jù)的研究熱點(diǎn)之一。異常檢測(cè)擁有廣泛的應(yīng)用場(chǎng)景,例如入侵檢測(cè)、日志分析、復(fù)雜系統(tǒng)故障檢測(cè)和智能家居報(bào)警等。流數(shù)據(jù)的異常檢測(cè)與傳統(tǒng)數(shù)據(jù)異常檢測(cè)存在較大的區(qū)別,其中最主要的影響因素是流數(shù)據(jù)具有概念漂移的特性。概念漂移即數(shù)據(jù)分布會(huì)隨著時(shí)間的推移不斷變化。在傳統(tǒng)的異常檢測(cè)算法一般假設(shè)數(shù)據(jù)分布是穩(wěn)定不變的,因此若將傳統(tǒng)異常檢測(cè)算法直接應(yīng)用于流數(shù)據(jù),則無(wú)法識(shí)別并處理概念漂移,從而使得檢測(cè)性能不斷惡化。本文將針對(duì)存在概念漂移的數(shù)據(jù)流,研究流數(shù)據(jù)的... 

【文章來(lái)源】：哈爾濱工業(yè)大學(xué)黑龍江省 211工程院校 985工程院校

【文章頁(yè)數(shù)】：70 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖3-8時(shí)間異常示意圖

圖 3-9 空間異常示意圖異常檢測(cè)部分后，進(jìn)入算法的重訓(xùn)練階段，該階段的目。檢測(cè)完成當(dāng)前模塊后，滑動(dòng)窗口會(huì)移除其中時(shí)間最久本窗口，保證了模型與底層數(shù)據(jù)分布的同步改變，從而同時(shí)解決了概念漂移問題。重訓(xùn)練階段的操作同訓(xùn)練階述。以下為異常檢測(cè)階段的算法。-4: Anomaly Detection,matrix,clusterSetrSet.compute(bw)I to bw.size – 1ix[bw[i].clusterId] * matrix[bw[i+1].clusterId] * tbnormal

k-means k-means++圖 3-12 聚類效果示意情況的原因是，由于k-means++強(qiáng)調(diào)各個(gè)聚類中心要點(diǎn)都被候選為聚類中心，由于剩下的點(diǎn)都與這兩個(gè)點(diǎn)選中，使得這兩個(gè)類變得十分穩(wěn)定，所以出現(xiàn)了圖 滑動(dòng)窗口較小，數(shù)據(jù)存在極端離群點(diǎn)時(shí)，采取 k-m實(shí)驗(yàn)時(shí)，選取合適的滑動(dòng)窗口和基本窗口大小，將素。念漂移問題的優(yōu)化 算法中，檢測(cè)點(diǎn)作為即將進(jìn)入滑動(dòng)窗口的最新點(diǎn)，如有對(duì)新概念的記錄，容易發(fā)生誤報(bào)的情況。如圖 3-

【參考文獻(xiàn)】：
期刊論文
[1]結(jié)構(gòu)化數(shù)據(jù)清洗技術(shù)綜述[J]. 郝爽,李國(guó)良,馮建華,王寧.  清華大學(xué)學(xué)報(bào)(自然科學(xué)版). 2018(12)
[2]儲(chǔ)罐區(qū)重大危險(xiǎn)源數(shù)據(jù)流異常檢測(cè)技術(shù)框架研究[J]. 郭曉明,梅鵬.  科技與創(chuàng)新. 2018(15)
[3]智能電網(wǎng)大數(shù)據(jù)流式處理方法與狀態(tài)監(jiān)測(cè)異常檢測(cè)[J]. 王德文,楊力平.  電力系統(tǒng)自動(dòng)化. 2016(14)
[4]云環(huán)境下基于統(tǒng)計(jì)監(jiān)測(cè)的分布式軟件系統(tǒng)故障檢測(cè)技術(shù)研究[J]. 王燾,張文博,徐繼偉,魏峻,鐘華.  計(jì)算機(jī)學(xué)報(bào). 2017(02)
[5]領(lǐng)域無(wú)關(guān)數(shù)據(jù)清洗研究綜述[J]. 曹建軍,刁興春,汪挺,王芳瀟.  計(jì)算機(jī)科學(xué). 2010(05)
[6]數(shù)據(jù)流挖掘分類技術(shù)綜述[J]. 王濤,李舟軍,顏躍進(jìn),陳火旺.  計(jì)算機(jī)研究與發(fā)展. 2007(11)
[7]數(shù)據(jù)清洗前的預(yù)處理方法[J]. 唐懿芳,鐘達(dá)夫,張師超.  廣西科學(xué). 2005(02)
[8]流數(shù)據(jù)分析與管理綜述[J]. 金澈清,錢衛(wèi)寧,周傲英.  軟件學(xué)報(bào). 2004(08)
[9]缺失數(shù)據(jù)的插補(bǔ)調(diào)整[J]. 金勇進(jìn).  數(shù)理統(tǒng)計(jì)與管理. 2001(06)

博士論文
[1]基于概念漂移的數(shù)據(jù)流集成分類算法研究[D]. 任思琪.湖南大學(xué) 2018

碩士論文
[1]數(shù)據(jù)清洗在多雷達(dá)數(shù)據(jù)融合算法中的研究與應(yīng)用[D]. 鄭雅詩(shī).北京郵電大學(xué) 2018
[2]基于概念漂移的異常檢測(cè)技術(shù)研究[D]. 何歡.電子科技大學(xué) 2015
[3]滑動(dòng)窗口模型下的數(shù)據(jù)流自適應(yīng)異常檢測(cè)方法研究[D]. 龐景月.哈爾濱工業(yè)大學(xué) 2013
[4]缺失數(shù)據(jù)處理方法的研究及其在軟測(cè)量技術(shù)中的應(yīng)用[D]. 侯賀.東北大學(xué) 2011



本文編號(hào)：3521006