發(fā)布時(shí)間：2017-04-23 03:08

  本文關(guān)鍵詞：滑動(dòng)窗口模型下的數(shù)據(jù)流自適應(yīng)異常檢測方法研究，由筆耕文化傳播整理發(fā)布。

【摘要】：隨著航天技術(shù)的不斷發(fā)展，衛(wèi)星運(yùn)行的發(fā)展趨勢為：長期自主穩(wěn)定運(yùn)行為主，地面遙控介入為輔。衛(wèi)星在軌遙測數(shù)據(jù)是地面工作人員判斷衛(wèi)星健康狀態(tài)的唯一依據(jù)，研究衛(wèi)星在軌運(yùn)行時(shí)最近一段時(shí)間內(nèi)遙測數(shù)據(jù)的異常變化具有重要意義。然而，衛(wèi)星遙測數(shù)據(jù)具有大量、快速、實(shí)時(shí)的特性，以數(shù)據(jù)流的形式傳輸至地面，傳統(tǒng)的數(shù)據(jù)分析及處理方法無法得到有效應(yīng)用。而滑動(dòng)窗口數(shù)據(jù)流模型的研究對象為距離當(dāng)前時(shí)刻最近窗口內(nèi)的數(shù)據(jù)流，是數(shù)據(jù)流領(lǐng)域的研究熱點(diǎn)，其符合衛(wèi)星遙測數(shù)據(jù)流異常檢測的應(yīng)用需求。因此本文從衛(wèi)星遙測數(shù)據(jù)流異常檢測背景出發(fā)，對滑動(dòng)窗口模型下的數(shù)據(jù)流異常檢測方法開展研究。 首先，面向衛(wèi)星在軌遙測數(shù)據(jù)流在線持續(xù)到達(dá)的大量性與計(jì)算機(jī)內(nèi)存資源有限的矛盾，開展衛(wèi)星遙測數(shù)據(jù)流概要生成算法研究，針對當(dāng)前抽樣算法不能綜合反映最近窗口內(nèi)數(shù)據(jù)信息的問題，提出了基于基本窗口的均勻鏈?zhǔn)匠闃铀惴ǎ║niform Basic-windows Chain Sampling，UBCS），實(shí)現(xiàn)了以基本小窗口為單位的抽樣樣本的均勻分布并通過實(shí)驗(yàn)驗(yàn)證。其次，針對按時(shí)間順序到達(dá)的單數(shù)據(jù)流中單點(diǎn)異常、連續(xù)異常及聚集異常檢測問題，提出了基于高斯過程回歸（Gaussian Process Regression，GPR）的單數(shù)據(jù)流異常檢測方法，實(shí)現(xiàn)了正常數(shù)據(jù)置信區(qū)間的直接輸出，相對于樸素貝葉斯（Na ve）與多層感知網(wǎng)絡(luò)（Multilayer perception，MLP），實(shí)驗(yàn)驗(yàn)證了其對于單點(diǎn)異常檢測的有效性；再次，針對GPR方法對連續(xù)異常檢測性能不佳的問題，融合UBCS與GPR提出了UBCS_GPR方法，其有效降低了異常數(shù)據(jù)在預(yù)測窗口中占有的比重，提高了單數(shù)據(jù)流連續(xù)異常檢測率；此外，對于聚集異常檢測問題，構(gòu)建基于UBCS_GPR算法的離線模型和在線模型，離線模型確定抽樣比及初始在線模型實(shí)現(xiàn)正常模式數(shù)據(jù)的有效建模，在線模型利用其作為輸入并實(shí)時(shí)更新，以跟蹤數(shù)據(jù)流的變化，公開數(shù)據(jù)集Power與Space驗(yàn)證了其對于聚集異常檢測的適用性。最后，，針對多數(shù)據(jù)流異常檢測問題，將高維相似性度量函數(shù)引入分層聚類方法，提出了HSWStream（High Sliding Windows）算法，實(shí)現(xiàn)了面向滑動(dòng)窗口的多數(shù)據(jù)流有效聚類，應(yīng)用于KDD99數(shù)據(jù)集的不同索引處取得了較好的異常檢測效果。 本文開展的單數(shù)據(jù)流與多數(shù)據(jù)流異常檢測技術(shù)研究，涵蓋了數(shù)據(jù)流異常檢測的兩個(gè)不同應(yīng)用層面，通過仿真數(shù)據(jù)集及真實(shí)的公開數(shù)據(jù)集進(jìn)行了算法驗(yàn)證，為后期衛(wèi)星遙測數(shù)據(jù)流的異常檢測應(yīng)用奠定基礎(chǔ)。
【關(guān)鍵詞】：數(shù)據(jù)流 異常檢測 滑動(dòng)窗口 概要結(jié)構(gòu) 單數(shù)據(jù)流 多數(shù)據(jù)流
【學(xué)位授予單位】：哈爾濱工業(yè)大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2013
【分類號】：TP311.13;V556
【目錄】：

• 摘要4-5
• Abstract5-9
• 第1章 緒論9-24
• 1.1 課題背景及研究的目的和意義9-10
• 1.2 國內(nèi)外研究現(xiàn)狀及分析10-22
• 1.2.1 數(shù)據(jù)流概述10-13
• 1.2.2 數(shù)據(jù)流的國內(nèi)外研究現(xiàn)狀13-15
• 1.2.3 數(shù)據(jù)流概要生成方法研究現(xiàn)狀15-16
• 1.2.4 數(shù)據(jù)流異常檢測研究現(xiàn)狀16-22
• 1.3 本文的研究內(nèi)容及結(jié)構(gòu)22-24
• 第2章 滑動(dòng)窗口模型下的數(shù)據(jù)流概要生成算法研究24-41
• 2.1 滑動(dòng)窗口模型下的數(shù)據(jù)流概要生成方法24-26
• 2.2 滑動(dòng)窗口模型下的數(shù)據(jù)流抽樣算法26-30
• 2.2.1 CS 算法27-28
• 2.2.2 SBWRS 算法28-29
• 2.2.3 OS 算法29-30
• 2.3 滑動(dòng)窗口模型下的 UBCS 算法30-39
• 2.3.1 算法提出30-31
• 2.3.2 算法原理31-33
• 2.3.3 實(shí)驗(yàn)驗(yàn)證及評估33-38
• 2.3.4 算法特性分析38-39
• 2.4 本章小結(jié)39-41
• 第3章 基于預(yù)測模型的滑動(dòng)窗口單數(shù)據(jù)流異常檢測41-76
• 3.1 單數(shù)據(jù)流異常檢測方法41-44
• 3.1.1 單數(shù)據(jù)流異常分類41-42
• 3.1.2 單數(shù)據(jù)流異常檢測方法42-44
• 3.2 基于預(yù)測模型的單數(shù)據(jù)流異常檢測44-47
• 3.2.1 異常檢測框架44-45
• 3.2.2 常用預(yù)測方法45-47
• 3.3 基于 GPR 方法的單數(shù)據(jù)流異常檢測47-61
• 3.3.1 GP 模型47-48
• 3.3.2 GPR 方法48-52
• 3.3.3 基于 GPR 的異常檢測框架52-53
• 3.3.4 實(shí)驗(yàn)驗(yàn)證及評估53-61
• 3.4 基于 UBCS_GPR 方法的單數(shù)據(jù)流異常檢測61-75
• 3.4.1 UBCS_GPR 方法61-67
• 3.4.2 實(shí)驗(yàn)驗(yàn)證及評估67-75
• 3.5 本章小結(jié)75-76
• 第4章 分層聚類的滑動(dòng)窗口多數(shù)據(jù)流異常檢測76-94
• 4.1 多數(shù)據(jù)流異常檢測方法76-77
• 4.2 基于聚類方法的數(shù)據(jù)流異常檢測77-81
• 4.2.1 數(shù)據(jù)流聚類方法77-78
• 4.2.2 面向滑動(dòng)窗口的分層聚類算法78-81
• 4.3 HSWSTREAM 算法81-92
• 4.3.1 相似性度量函數(shù)82-84
• 4.3.2 在線微聚類84-87
• 4.3.3 離線宏聚類87-88
• 4.3.4 實(shí)驗(yàn)驗(yàn)證及評估88-92
• 4.4 本章小結(jié)92-94
• 結(jié)論94-96
• 參考文獻(xiàn)96-104
• 攻讀碩士學(xué)位期間發(fā)表的論文及其它成果104-107
• 致謝107

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 張龍波;李戰(zhàn)懷;朱立平;劉江濤;趙以強(qiáng);;數(shù)據(jù)流滑動(dòng)窗口連接查詢降載策略研究[J];西北工業(yè)大學(xué)學(xué)報(bào);2006年05期

2 張寧;;基于滑動(dòng)窗口的時(shí)間序列離群數(shù)據(jù)挖掘[J];燕山大學(xué)學(xué)報(bào);2008年06期

3 吳亞娟;馬瑞民;王小龍;趙建民;;一種基于變窗口的數(shù)據(jù)流連續(xù)查詢方法[J];佳木斯大學(xué)學(xué)報(bào)(自然科學(xué)版);2009年05期

4 章玲;用VC~(++)多線程技術(shù)實(shí)現(xiàn)PC機(jī)全雙工串行通訊[J];南京師范大學(xué)學(xué)報(bào)(工程技術(shù)版);2002年01期

5 任政;郝振純;;滑動(dòng)窗口二次自回歸模型在徑流預(yù)報(bào)中的應(yīng)用[J];河海大學(xué)學(xué)報(bào)(自然科學(xué)版);2009年03期

6 李旭;蘇少明;劉桓;呂文祥;;一種在OFDM系統(tǒng)中提高同步估計(jì)性能的方法[J];北京交通大學(xué)學(xué)報(bào);2009年05期

7 王虎;王解先;白貴霞;李浩軍;;改進(jìn)的漸消卡爾曼濾波在GPS動(dòng)態(tài)定位中的應(yīng)用[J];同濟(jì)大學(xué)學(xué)報(bào)(自然科學(xué)版);2011年01期

8 龐征斌;徐金波;董亞卓;竇勇;張峻;;面向大尺寸滑動(dòng)窗口應(yīng)用的并行計(jì)算模型[J];國防科技大學(xué)學(xué)報(bào);2011年02期

9 王成江;冉兵;戴迪;吳磊;;基于滑動(dòng)窗口的動(dòng)態(tài)手寫簽名局部相關(guān)性研究[J];三峽大學(xué)學(xué)報(bào)(自然科學(xué)版);2006年02期

10 張自馳;宋政湘;耿英三;戴鵬程;;塑殼式斷路器新型智能化脫扣器的設(shè)計(jì)與實(shí)現(xiàn)[J];低壓電器;2006年11期

中國重要會(huì)議論文全文數(shù)據(jù)庫 前10條

1 周銳;肖川;王國仁;韓東紅;霍歡;;數(shù)據(jù)流滑動(dòng)窗口連接上的卸載技術(shù)的研究[A];第二十三屆中國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2006年

2 閆朝升;李建中;李金寶;;數(shù)據(jù)流上滑動(dòng)窗口技術(shù)的研究與實(shí)現(xiàn)[A];第二十一屆中國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2004年

3 張龍波;李戰(zhàn)懷;余敏;王勇;蔣蕓;;面向數(shù)據(jù)流滑動(dòng)窗口的隨機(jī)抽樣算法研究[A];第二十二屆中國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2005年

4 張冬冬;李建中;王偉平;郭龍江;;分布式復(fù)式數(shù)據(jù)流的處理[A];第二十一屆中國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2004年

5 汪罕;趙加奎;陳立軍;;流和滑動(dòng)窗口模型下的直徑計(jì)算(英文)[A];第26屆中國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（B輯）[C];2009年

6 楊宜東;孫志揮;周曉云;;滑動(dòng)窗口中的變化檢測[A];第二十二屆中國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2005年

7 蘇東;宋寶燕;楊興華;歐征宇;于亞新;于戈;;基于滑動(dòng)窗口語義的聚集計(jì)算方法[A];第二十一屆中國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2004年

8 魏永超;陳立軍;;數(shù)據(jù)流上復(fù)雜事件處理系統(tǒng)Eagle的設(shè)計(jì)與實(shí)現(xiàn)[A];第二十五屆中國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（一）[C];2008年

9 沙瀛;譚建龍;;一種采用擬合曲線計(jì)算滑動(dòng)窗口下數(shù)據(jù)流的最大值/最小值的方法[A];第二十四屆中國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2007年

10 楊興華;于亞新;于戈;歐征宇;武珊珊;;一種數(shù)據(jù)流滑動(dòng)窗口上的索引連接策略[A];第二十二屆中國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2005年

中國重要報(bào)紙全文數(shù)據(jù)庫 前10條

1 李曉東;TCP整型，QoS的陽光大道？[N];計(jì)算機(jī)世界;2004年

2 計(jì)算機(jī)世界實(shí)驗(yàn)室 吳挺;Intel的專業(yè)“核動(dòng)力”[N];計(jì)算機(jī)世界;2007年

3 中國傳媒大學(xué)計(jì)算機(jī)學(xué)院 朱立谷;重復(fù)數(shù)據(jù)刪除技術(shù)解析[N];中國計(jì)算機(jī)報(bào);2007年

4 北京 冬梅;P4時(shí)代真的來了嗎[N];中國電腦教育報(bào);2001年

5 ;立體防護(hù)“中樞神經(jīng)系統(tǒng)”[N];網(wǎng)絡(luò)世界;2003年

6 ;NetScreen-IDP 500 高端入侵檢測與防護(hù)設(shè)備[N];計(jì)算機(jī)世界;2003年

7 甘久斌;如何有效管理寬帶用戶[N];通信產(chǎn)業(yè)報(bào);2002年

8 李勇;降低投資70%[N];中國計(jì)算機(jī)報(bào);2003年

9 ;在移動(dòng)互聯(lián)網(wǎng)里推廣IPv6[N];人民郵電;2002年

10 ;港灣網(wǎng)絡(luò)多業(yè)務(wù)萬兆城域網(wǎng)解決方案[N];人民郵電;2003年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 王修君;高效數(shù)據(jù)流和海量文本處理算法研究[D];中國科學(xué)技術(shù)大學(xué);2011年

2 吳楓;數(shù)據(jù)流挖掘若干關(guān)鍵技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2009年

3 鄒先霞;事務(wù)數(shù)據(jù)流處理的若干關(guān)鍵技術(shù)問題研究[D];中南大學(xué);2012年

4 胡文生;XML數(shù)據(jù)流上基于窗口的查詢處理方法研究[D];武漢大學(xué);2012年

5 朱小棟;基于擴(kuò)展預(yù)測模型標(biāo)記語言的數(shù)據(jù)流挖掘系統(tǒng)建模研究[D];南京航空航天大學(xué);2009年

6 張?zhí)斐?實(shí)時(shí)數(shù)據(jù)流相關(guān)性分析與挖掘技術(shù)研究[D];東北大學(xué);2008年

7 郭立超;數(shù)據(jù)流挖掘若干技術(shù)研究及其在電信行業(yè)的應(yīng)用[D];浙江大學(xué);2011年

8 于翔;基于網(wǎng)格的數(shù)據(jù)流聚類方法研究[D];哈爾濱工程大學(xué);2010年

9 馮博;基于半結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)流挖掘算法研究[D];北京郵電大學(xué);2011年

10 李軍;基于用戶行為挖掘的數(shù)據(jù)流管理技術(shù)研究[D];北京郵電大學(xué);2012年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 龐景月;滑動(dòng)窗口模型下的數(shù)據(jù)流自適應(yīng)異常檢測方法研究[D];哈爾濱工業(yè)大學(xué);2013年

2 王浩;基于滑動(dòng)窗口和子空間劃分的數(shù)據(jù)流聚類算法研究[D];燕山大學(xué);2010年

3 孫英家;數(shù)據(jù)流中基于滑動(dòng)窗口的效用頻繁模式挖掘算法[D];合肥工業(yè)大學(xué);2012年

4 汪仁紅;基于聚類分析的數(shù)據(jù)流處理算法[D];重慶交通大學(xué);2013年

5 吳亞娟;數(shù)據(jù)流連續(xù)查詢的自適應(yīng)降裁策略研究[D];大慶石油學(xué)院;2010年

6 龔云;基于滑動(dòng)窗口的密度聚類算法研究[D];安徽大學(xué);2011年

7 王立波;基于滑動(dòng)窗口的數(shù)據(jù)流頻繁模式挖掘算法研究[D];燕山大學(xué);2010年

8 姚晨;高緯數(shù)據(jù)流的異常檢測[D];電子科技大學(xué);2011年

9 楊溢之;基于數(shù)據(jù)流的關(guān)聯(lián)規(guī)則挖掘方法的研究[D];西安科技大學(xué);2011年

10 周云霞;基于數(shù)據(jù)流的油水井工況趨勢分析方法研究[D];東北石油大學(xué);2013年

  本文關(guān)鍵詞：滑動(dòng)窗口模型下的數(shù)據(jù)流自適應(yīng)異常檢測方法研究，由筆耕文化傳播整理發(fā)布。

本文編號：321737