大數(shù)據(jù)流挖掘作為數(shù)據(jù)挖掘的一個(gè)重要分支,越來越成為人們關(guān)注的熱點(diǎn)之一,尤其是隨著網(wǎng)格計(jì)算,云計(jì)算,特別是大數(shù)據(jù)的出現(xiàn),人們對大數(shù)據(jù)流的處理需求的迫切程度越來越高。本文主要介紹了大數(shù)據(jù)流挖掘中滯后相關(guān)性的概念和方法,介紹了傳統(tǒng)數(shù)據(jù)流挖掘的相關(guān)知識(shí)與存在的問題,針對大數(shù)據(jù)流挖掘中滯后相關(guān)性研究工作包括以下兩個(gè)方面:第一、本文提出了一種基于級(jí)數(shù)分層滑動(dòng)窗口的數(shù)據(jù)流序列滯后相關(guān)性挖掘方法。該方法首先對序列按級(jí)數(shù)遞增進(jìn)行分層,在每層上計(jì)算滑動(dòng)窗口的覆蓋度g,之后再對每層的滑動(dòng)窗口計(jì)算序列的參數(shù)值;最后根據(jù)各層滑動(dòng)窗口的參數(shù)值,計(jì)算序列的滯后相關(guān)系數(shù),以此來確定序列的滯后相關(guān)性,實(shí)驗(yàn)結(jié)果表明本文方法是有效的。第二、本文提出了一種基于布爾約減級(jí)數(shù)分層的數(shù)據(jù)流滯后相關(guān)性挖掘方法。該方法根據(jù)原數(shù)據(jù)流兩段序列的序列均值x、y,設(shè)立flag變量對原數(shù)據(jù)流序列元素進(jìn)行標(biāo)記,對大數(shù)據(jù)流序列進(jìn)行宏布爾變換,根據(jù)閾值?剔除元素,并由flag對剩余元素進(jìn)行還原;其次,根據(jù)采樣周期T及得到的宏布爾序列值進(jìn)行微布爾變換,剔除序列元素后還原。對還原后的微布爾序列按級(jí)數(shù)遞增進(jìn)行分層,在每層上根據(jù)滑動(dòng)窗口的寬度g和每次滑動(dòng)窗口數(shù)目c,計(jì)算每層序列的參數(shù)值;最后根據(jù)參數(shù)值,計(jì)算滯后相關(guān)系數(shù),以此來確定序列的滯后相關(guān)性。實(shí)驗(yàn)結(jié)果表明,本文方法可以大幅度的減少運(yùn)算時(shí)間,在保證精度的情況下提高運(yùn)算效率。數(shù)據(jù)流的增長從某種意義上來說是無限量的,不同的階段會(huì)有不同的挑戰(zhàn),在未來的工作中,著重關(guān)注算法的適用性及穩(wěn)定性,并會(huì)對算法在數(shù)據(jù)約減方面的誤差做進(jìn)一步的研究。
【學(xué)位單位】：遼寧師范大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位年份】：2015
【中圖分類】：TP311.13
【文章目錄】：
摘要
Abstract
引言
1 緒論
    1.1 數(shù)據(jù)挖掘研究背景
    1.2 數(shù)據(jù)挖掘基礎(chǔ)與應(yīng)用
    1.3 問題的提出
    1.4 大數(shù)據(jù)流挖掘現(xiàn)存問題解決思路
    1.5 論文體系架構(gòu)
2 大數(shù)據(jù)流挖掘相關(guān)理論與研究現(xiàn)狀
    2.1 大數(shù)據(jù)流的特點(diǎn)及相關(guān)應(yīng)用
        2.1.1 大數(shù)據(jù)流的特點(diǎn)
        2.1.2 大數(shù)據(jù)流的相關(guān)應(yīng)用
    2.2 大數(shù)據(jù)流挖掘技術(shù)介紹
    2.3 時(shí)間序列模型
    2.4 時(shí)間序列分析
        2.4.1 滯后相關(guān)性查詢技術(shù)
        2.4.2 數(shù)據(jù)約減技術(shù)
3 基于級(jí)數(shù)分層滑動(dòng)窗口的大數(shù)據(jù)流滯后相關(guān)性挖掘方法
    3.1 問題描述
    3.2 模型建立
        3.2.1 預(yù)備知識(shí)
        3.2.2 相關(guān)系數(shù)的介紹
    3.3 幾何探測的引入
    3.4 引入分層滑動(dòng)窗口
    3.5 算法過程圖解
    3.6 算法關(guān)鍵代碼實(shí)現(xiàn)
        3.6.1 算法實(shí)現(xiàn)過程
        3.6.2 算法 1：層級(jí)參數(shù)求和的計(jì)算
        3.6.3 算法 2：層級(jí)參數(shù)求內(nèi)積的計(jì)算
        3.6.4 算法 3：層級(jí)相關(guān)系數(shù)的計(jì)算
    3.7 實(shí)驗(yàn)與分析
    3.8 結(jié)束語
4 基于布爾約減級(jí)數(shù)分層的大數(shù)據(jù)流滯后相關(guān)性挖掘方法
    4.1 預(yù)備知識(shí)
    4.2 模型建立
        4.2.1 布爾約減算法的引入
        4.2.2 布爾約減具體過程
    4.3 級(jí)數(shù)分層算法的引入
        4.3.1 級(jí)數(shù)分層相關(guān)理論
        4.3.2 級(jí)數(shù)分層滑動(dòng)窗口
        4.3.3 級(jí)數(shù)分層計(jì)算過程
    4.4 算法核心程序代碼實(shí)現(xiàn)
        4.4.1 布爾約減算法實(shí)現(xiàn)
        4.4.2 級(jí)數(shù)分層算法實(shí)現(xiàn)
    4.5 實(shí)驗(yàn)與分析
        4.5.1 布爾約減后滯后相關(guān)性測試
        4.5.2 滯后相關(guān)性計(jì)算精度測試
        4.5.3 算法計(jì)算時(shí)間分析
    4.6 結(jié)束語
參考文獻(xiàn)
攻讀碩士學(xué)位期間發(fā)表學(xué)術(shù)論文情況
致謝

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 侯太平,顧大權(quán),王柏春,朱紅偉;遠(yuǎn)程天氣會(huì)商系統(tǒng)中的數(shù)據(jù)流處理[J];計(jì)算機(jī)工程;2003年03期

2 陳昕,宋瀚濤;基于數(shù)據(jù)流的近似查詢計(jì)算及其應(yīng)用研究[J];計(jì)算機(jī)應(yīng)用研究;2003年11期

3 陳昕,陳維興,蘇錦祥;基于數(shù)據(jù)流模式的聚集快速查詢計(jì)算研究[J];計(jì)算機(jī)集成制造系統(tǒng);2004年06期

4 張冬冬,李建中,王偉平,郭龍江;分布式復(fù)式數(shù)據(jù)流的處理[J];計(jì)算機(jī)研究與發(fā)展;2004年10期

5 王金棟;周良;張磊;丁秋林;;一類數(shù)據(jù)流連續(xù)查詢的降載策略研究[J];武漢大學(xué)學(xué)報(bào)(工學(xué)版);2005年06期

6 劉景春;;數(shù)據(jù)流分類關(guān)鍵技術(shù)研究[J];佳木斯大學(xué)學(xué)報(bào)(自然科學(xué)版);2007年01期

7 李琳;孫士兵;;數(shù)據(jù)流聚類方法發(fā)展研究[J];長沙民政職業(yè)技術(shù)學(xué)院學(xué)報(bào);2008年04期

8 陳軍;周明天;楊曉燕;;數(shù)據(jù)流系統(tǒng)降載研究綜述[J];計(jì)算機(jī)應(yīng)用研究;2008年10期

9 傅鸝;魯先志;蔡斌;;一種基于數(shù)據(jù)流驅(qū)動(dòng)的數(shù)據(jù)流連續(xù)查詢模型[J];重慶工學(xué)院學(xué)報(bào)(自然科學(xué)版);2008年10期

10 David P.Misunas ,張啟瑞;數(shù)據(jù)流處理機(jī)的性能分析[J];計(jì)算機(jī)工程與應(yīng)用;1980年12期

相關(guān)博士學(xué)位論文 前10條

1 張麗;數(shù)據(jù)流上序敏感查詢處理關(guān)鍵技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2013年

2 王超;時(shí)間序列數(shù)據(jù)流復(fù)雜模式挖掘研究[D];合肥工業(yè)大學(xué);2015年

3 陳華輝;基于遺忘特性的數(shù)據(jù)流概要結(jié)構(gòu)及其應(yīng)用研究[D];復(fù)旦大學(xué);2008年

4 孔英會(huì);數(shù)據(jù)流技術(shù)及其在電力信息處理中的應(yīng)用研究[D];華北電力大學(xué)（河北）;2009年

5 崇志宏;基于屏蔽/匯總技術(shù)的數(shù)據(jù)流處理算法[D];復(fù)旦大學(xué);2006年

6 姚遠(yuǎn);海量動(dòng)態(tài)數(shù)據(jù)流分類方法研究[D];大連理工大學(xué);2013年

7 曹振麗;面向養(yǎng)殖環(huán)境監(jiān)測的數(shù)據(jù)流處理方法研究[D];中國農(nóng)業(yè)大學(xué);2015年

8 朱輝生;基于情節(jié)規(guī)則匹配的數(shù)據(jù)流預(yù)測研究[D];復(fù)旦大學(xué);2011年

9 袁志堅(jiān);數(shù)據(jù)流突發(fā)檢測若干關(guān)鍵技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2008年

10 王金棟;數(shù)據(jù)流系統(tǒng)中負(fù)載管理技術(shù)應(yīng)用研究[D];南京航空航天大學(xué);2006年

相關(guān)碩士學(xué)位論文 前10條

1 王川;面向位置服務(wù)的物聯(lián)網(wǎng)數(shù)據(jù)質(zhì)量保證方法研究[D];南京理工大學(xué);2015年

2 祝然威;基于時(shí)間窗口的數(shù)據(jù)流頻繁項(xiàng)挖掘算法[D];復(fù)旦大學(xué);2014年

3 邱孝兵;基于GPU的數(shù)據(jù)流聚類及相關(guān)性分析[D];大連理工大學(xué);2015年

4 張野;數(shù)據(jù)流查詢語言中語法分析器的設(shè)計(jì)[D];電子科技大學(xué);2015年

5 閆新院;基于概要模型的數(shù)據(jù)流聚合技術(shù)研究[D];西安電子科技大學(xué);2014年

6 王濤;基于Ntrip協(xié)議的實(shí)時(shí)數(shù)據(jù)流軟件的設(shè)計(jì)與實(shí)現(xiàn)[D];西安電子科技大學(xué);2014年

7 陳彬;數(shù)據(jù)流實(shí)時(shí)存儲(chǔ)關(guān)鍵技術(shù)[D];浙江工業(yè)大學(xué);2015年

8 王高洋;基于網(wǎng)格和加速粒子群優(yōu)化的數(shù)據(jù)流聚類算法研究[D];哈爾濱師范大學(xué);2015年

9 錢海振;大數(shù)據(jù)流滯后相關(guān)性挖掘方法[D];遼寧師范大學(xué);2015年

10 鄒會(huì)文;數(shù)據(jù)流上的分類挖掘算法研究[D];大慶石油學(xué)院;2009年

本文編號(hào)：2850179