【摘要】：數(shù)據(jù)已經(jīng)成為與自然資源、人力資源一樣重要的戰(zhàn)略資源,數(shù)據(jù)中隱藏著巨大的價(jià)值。大數(shù)據(jù)具有體量浩大、模態(tài)繁多、生成快速和價(jià)值巨大等特點(diǎn)。數(shù)據(jù)流中的時(shí)序數(shù)據(jù)分析是大數(shù)據(jù)研究的重要分支。數(shù)據(jù)流分析技術(shù)就是從各種類型繁多的數(shù)據(jù)中快速獲得有價(jià)值的信息。數(shù)據(jù)流及其應(yīng)用的迅速發(fā)展不僅促進(jìn)基礎(chǔ)科學(xué)的發(fā)展,更是許多行業(yè)技術(shù)進(jìn)步、國家創(chuàng)新和產(chǎn)業(yè)發(fā)展的重要機(jī)遇和挑戰(zhàn)。數(shù)據(jù)流的突變指的是當(dāng)前時(shí)刻數(shù)據(jù)流的值相比于之前的數(shù)據(jù)流的值或者是數(shù)據(jù)流的平均值差值比較大。目前的數(shù)據(jù)流中突變點(diǎn)檢測的分析方法大多很耗時(shí),且對兩端的突變點(diǎn)檢測不準(zhǔn)確等問題。本文引入了HWKS算法,該方法能夠快速的檢測到數(shù)據(jù)中的突變點(diǎn),并做了對比驗(yàn)證。在該算法的基礎(chǔ)上,引入了滑動窗口,以實(shí)現(xiàn)數(shù)據(jù)的在線檢測,并通過模擬的數(shù)據(jù)驗(yàn)證了該方法的有效性。此外,通過實(shí)際火災(zāi)發(fā)生時(shí)的溫度、煙霧濃度、CO和CO_2數(shù)據(jù)驗(yàn)證了該方法能夠及時(shí)的檢測到火災(zāi)的發(fā)生。HWKS算法是在Haar小波變換理論和改進(jìn)的KS統(tǒng)計(jì)檢驗(yàn)理論的基礎(chǔ)上提出的。HWKS算法主要針對的是數(shù)據(jù)流中的時(shí)序模型數(shù)據(jù),該算法的主要步驟是先應(yīng)用多級Haar小波變換分解待檢測的數(shù)據(jù)流,同時(shí)構(gòu)建均值二叉樹和差值二叉樹。然后,在改進(jìn)的KS統(tǒng)計(jì)的基礎(chǔ)上,構(gòu)建兩種突變點(diǎn)檢測的兩個(gè)搜索規(guī)則,規(guī)則一是基于差值二叉搜索樹,規(guī)則二是基于均值二叉搜索樹,當(dāng)規(guī)則一搜索不到突變點(diǎn)時(shí),則采用規(guī)則二進(jìn)行搜索,所以這兩種規(guī)則是相互補(bǔ)充。最后,根據(jù)此規(guī)則進(jìn)行突變點(diǎn)的檢測。該算法采用自頂向下的搜索策略,并且以折半的思想進(jìn)行查找,大大提高了檢測的效率。本文通過仿真數(shù)據(jù),將HWKS算法與KS檢驗(yàn)、Haar小波和t檢驗(yàn)三種方法從耗時(shí)、命中率、誤差以及準(zhǔn)確度四個(gè)方面進(jìn)行了比較,驗(yàn)證了HWKS算法在算法效率、準(zhǔn)確性和敏感性方面有明顯的優(yōu)勢。為了應(yīng)對數(shù)據(jù)流實(shí)時(shí)的特性,本文在HWKS算法的基礎(chǔ)上,引入滑動窗口模型。通過仿真分析,探討數(shù)據(jù)流的大小不變,滑動窗口尺寸的改變的情況下對數(shù)據(jù)流上突變點(diǎn)檢測的影響。實(shí)驗(yàn)結(jié)果表明,滑動窗口越大檢測到的突變點(diǎn)的位置越準(zhǔn)確,但是滑動窗口也不是越大越好,還應(yīng)考慮數(shù)據(jù)流的流速問題和數(shù)據(jù)流中有多個(gè)突變點(diǎn)的情況,為了驗(yàn)證HWKS算法對數(shù)據(jù)流中兩端突變點(diǎn)的敏感性,本次仿真將突變點(diǎn)設(shè)置在數(shù)據(jù)流的起始位置和結(jié)束位置。實(shí)驗(yàn)結(jié)果表明,引入滑動窗口模型后,HWKS算法不僅對于數(shù)據(jù)邊緣的突變點(diǎn)的檢測仍然有很好的效果,同時(shí)也能夠準(zhǔn)確的探測出數(shù)據(jù)流中的所有的突變的。最后,本文通過模擬真實(shí)的火災(zāi)發(fā)生時(shí)的溫度數(shù)據(jù)、煙霧濃度數(shù)據(jù)、CO濃度數(shù)據(jù)和CO_2濃度數(shù)據(jù),運(yùn)用帶滑動窗口的HWKS算法和不帶滑動窗口的HWKS算法進(jìn)行了對比試驗(yàn)。實(shí)驗(yàn)結(jié)果表明引入滑動窗口后的HWKS算法不僅能夠檢測到火災(zāi)發(fā)生時(shí)的特征變化,同時(shí)也能檢測出火災(zāi)后,這些特征的變化。此外,對于加入滑動窗口模型的HWKS算法比沒有引入滑動窗口的HWKS算法要準(zhǔn)確,所以該算法對火災(zāi)的探測有很好實(shí)際意義。
【學(xué)位授予單位】：東華大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2018
【分類號】：TP311.13
【圖文】：

一種數(shù)據(jù)流突變點(diǎn)快速探測算法的研究與實(shí)1,2 1,2 1, 2, 2,3,..., log2k j k jk jcA cAcA k N (1,2 1,2 1, 2-, 2,3,..., log2k j k jk jcA cAcD k N (過 k 級 Haar 分解后可以獲得 k 級近似分量kcA 和 k 級細(xì)節(jié)分2 3, ,...,k cD cD ，2k 1, 2,3,..., logN，即1 2 1Z (cA cD cD ... cD cD )kH k k k (中，cA 和 cD 分別為均值和差值參數(shù)。時(shí)序數(shù)據(jù) Z 進(jìn)行多級小波變換下圖所示。

序數(shù)據(jù)會帶來不同，那么其累積經(jīng)驗(yàn) ) ( ))j C 也同時(shí)成節(jié)點(diǎn)對應(yīng)數(shù)據(jù)里存在據(jù)中存在突變點(diǎn)，那個(gè)選出來，并選擇該結(jié)點(diǎn)起向下逐層選索路徑。而且，這使一選擇突變點(diǎn)路徑孩子結(jié)點(diǎn)對應(yīng)的時(shí)值的那條支路。其中規(guī)則一失效則 A_p ,

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 陳磊松;林錦賢;;面向高速網(wǎng)絡(luò)的數(shù)據(jù)流處理模型研究[J];漳州師范學(xué)院學(xué)報(bào)(自然科學(xué)版);2006年02期

2 李斌;數(shù)據(jù)流處理自動化和重新設(shè)計(jì)[J];管理科學(xué)文摘;1997年05期

3 王文敏;方濱興;胡銘曾;;邏輯程序設(shè)計(jì)語言的數(shù)據(jù)流并行計(jì)算模型研究[J];哈爾濱電工學(xué)院學(xué)報(bào);1989年02期

4 David P.Misunas ,張啟瑞;數(shù)據(jù)流處理機(jī)的性能分析[J];計(jì)算機(jī)工程與應(yīng)用;1980年12期

5 陳付梅;韓德志;畢坤;戴永濤;;大數(shù)據(jù)環(huán)境下的分布式數(shù)據(jù)流處理關(guān)鍵技術(shù)探析[J];計(jì)算機(jī)應(yīng)用;2017年03期

6 程小輝;肖富元;饒建輝;李澤球;;基于局域網(wǎng)的自適應(yīng)修復(fù)的高可用數(shù)據(jù)流處理[J];計(jì)算機(jī)工程與設(shè)計(jì);2011年07期

7 宮學(xué)慶;閆鶯;常建龍;張晨;周傲英;;數(shù)據(jù)流處理技術(shù)在電信網(wǎng)管系統(tǒng)中的應(yīng)用[J];計(jì)算機(jī)科學(xué)與探索;2008年02期

8 李俊奎;王元珍;;可重寫循環(huán)滑動窗口:面向高效的在線數(shù)據(jù)流處理[J];計(jì)算機(jī)科學(xué);2007年12期

9 牟柳晨,殷國富,廖敏;帶傳動遠(yuǎn)程設(shè)計(jì)系統(tǒng)的數(shù)據(jù)流處理方法[J];計(jì)算機(jī)應(yīng)用;2004年S1期

10 山蕊;李濤;蔣林;;動態(tài)可重構(gòu)陣列處理器數(shù)據(jù)流處理單元的設(shè)計(jì)與實(shí)現(xiàn)[J];微電子學(xué)與計(jì)算機(jī);2017年01期

相關(guān)會議論文 前5條

1 韓近強(qiáng);楊冬青;唐世渭;;數(shù)據(jù)流處理中一種自適應(yīng)的直方圖維護(hù)算法[A];第二十屆全國數(shù)據(jù)庫學(xué)術(shù)會議論文集（研究報(bào)告篇）[C];2003年

2 楚紅濤;寒楓;張燕;王婷;;基于數(shù)據(jù)流的挖掘研究[A];計(jì)算機(jī)技術(shù)與應(yīng)用進(jìn)展·2007——全國第18屆計(jì)算機(jī)技術(shù)與應(yīng)用（CACIS）學(xué)術(shù)會議論文集[C];2007年

3 劉英杰;朱科軍;趙京偉;;BESIII事例篩選軟件中的備用機(jī)制[A];第13屆全國計(jì)算機(jī)、網(wǎng)絡(luò)在現(xiàn)代科學(xué)技術(shù)領(lǐng)域的應(yīng)用學(xué)術(shù)會議論文集[C];2007年

4 曹輝;巨新剛;于飛;;面向在軌信息處理的多層次緊耦合處理器設(shè)計(jì)和應(yīng)用[A];航天電子軍民融合論壇暨第十四屆學(xué)術(shù)交流會優(yōu)秀論文集（2017年）[C];2017年

5 姜文紅;;Linux系統(tǒng)中IPsec協(xié)議數(shù)據(jù)流處理方式的研究[A];中國電子學(xué)會第十六屆信息論學(xué)術(shù)年會論文集[C];2009年

相關(guān)重要報(bào)紙文章 前1條

1 李勇;降低投資70%[N];中國計(jì)算機(jī)報(bào);2003年

相關(guān)博士學(xué)位論文 前10條

1 任思琪;基于概念漂移的數(shù)據(jù)流集成分類算法研究[D];湖南大學(xué);2018年

2 金澈清;數(shù)據(jù)流上若干查詢處理算法的研究[D];復(fù)旦大學(xué);2005年

3 王金棟;數(shù)據(jù)流系統(tǒng)中負(fù)載管理技術(shù)應(yīng)用研究[D];南京航空航天大學(xué);2006年

4 陳安龍;多數(shù)據(jù)流處理的關(guān)鍵技術(shù)研究[D];四川大學(xué);2006年

5 單世民;基于網(wǎng)格和密度的數(shù)據(jù)流聚類方法研究[D];大連理工大學(xué);2006年

6 劉學(xué)軍;數(shù)據(jù)流聚集查詢和頻繁模式挖掘的研究[D];東南大學(xué);2006年

7 王永利;數(shù)據(jù)流概要與數(shù)據(jù)流分析若干關(guān)鍵問題研究[D];東南大學(xué);2006年

8 錢江波;連續(xù)查詢硬處理器及相關(guān)算法研究[D];東南大學(xué);2006年

9 曹鋒;數(shù)據(jù)流聚類分析算法[D];復(fù)旦大學(xué);2006年

10 崇志宏;基于屏蔽/匯總技術(shù)的數(shù)據(jù)流處理算法[D];復(fù)旦大學(xué);2006年

相關(guān)碩士學(xué)位論文 前10條

1 宋巧紅;一種數(shù)據(jù)流突變點(diǎn)快速探測算法的研究與實(shí)現(xiàn)[D];東華大學(xué);2018年

2 魏星貝;基于時(shí)間關(guān)聯(lián)性的數(shù)據(jù)流亂序處理技術(shù)[D];廣西大學(xué);2018年

3 韓杰;基于集成學(xué)習(xí)的數(shù)據(jù)流分類算法研究[D];合肥工業(yè)大學(xué);2018年

4 張旭旭;基于主動學(xué)習(xí)的數(shù)據(jù)流分類器研究[D];湖南大學(xué);2017年

5 叢義昊;基于數(shù)據(jù)流的分布式實(shí)時(shí)推薦算法的研究與實(shí)現(xiàn)[D];北京郵電大學(xué);2018年

6 周利朋;廣告交易平臺的設(shè)計(jì)與實(shí)現(xiàn)[D];山東大學(xué);2018年

7 郭旭;面向數(shù)據(jù)流的頻繁模式挖掘算法研究[D];天津工業(yè)大學(xué);2018年

8 牛麗媛;基于Storm的分布式數(shù)據(jù)流密度聚類算法的研究[D];天津師范大學(xué);2018年

9 周飛杰;SDN中快速流分類策略及自適應(yīng)路由算法研究[D];鄭州大學(xué);2018年

10 崔澤林;基于密度網(wǎng)格的數(shù)據(jù)流聚類和概念漂移檢測算法研究[D];北京交通大學(xué);2017年

本文編號：2719584