本文關鍵詞：基于時間序列的頻繁模式挖掘研究與應用

  更多相關文章： 時間序列 頻繁模式 時間序列符號化 Map-Reduce

【摘要】：伴隨著互聯網的不斷發(fā)展,越來越多的用戶每天在網絡上進行著社交、網上購物、瀏覽新聞等不同類型的網絡活動,同時網站后臺記錄了這些用戶大量的交互信息、購買、點擊、瀏覽等行為,產生了海量的結構化數據,半結構化數據,甚至非結構化數據。這也促進了大數據技術的蓬勃發(fā)展。其中,數據挖掘技術就是近年在對海量用戶行為數據進行整合處理和深層次模式發(fā)現的實際需求下,產生的一項非常流行且重要的技術。頻繁模式挖掘是數據挖掘技術的一個重要研究方向。本文基于傳統(tǒng)的時間序列數據挖掘研究,以氣象領域的時間序列數據分析為實際應用背景,對基于時間序列頻繁模式挖掘中的時間序列符號化、基于時間序列的頻繁項集挖掘、基于時間序列的頻繁序列挖掘和基于Hadoop平臺的頻繁模式挖掘等四個方面的問題進行了深入研究和分析,對于時間序列符號化技術和時間序列頻繁項挖掘的關鍵算法提出了改進,并取得了一定成果。由于時間序列數據固有的結構特性,如高維性質、連續(xù)性以及現實觀測設備引入的各種噪聲使得一般的時間序列處理流程通常會先將時間序列轉換成離散的、有序的字符串,再在轉換后的字符序列上進行后續(xù)挖掘任務。本文在對氣象數據時間序列的頻繁模式挖掘中,為了更好的識別時間序列的局部趨勢變化,對時間序列符號化的分段線性化步驟進行了改進,提出了基于誤差增量的符號化算法。其次,為了更好處理海量的時間序列數據,本文基于Hadoop的Map-Reduce模型實現了負載均衡的FP-growth算法的分布式計算程序。最后本文還實現了基于Python的時間序列數據挖掘系統(tǒng),將本文提出的算法和解決方案集成起來,并提供了可視化的圖形界面。
【關鍵詞】：時間序列 頻繁模式 時間序列符號化 Map-Reduce
【學位授予單位】：電子科技大學
【學位級別】：碩士
【學位授予年份】：2016
【分類號】：TP311.13;O211.61
【目錄】：

• 摘要5-6
• ABSTRACT6-9
• 第一章 緒論9-17
• 1.1 研究工作的背景與意義9-10
• 1.2 時間序列數據挖掘的研究歷史與現狀10-14
• 1.2.1 傳統(tǒng)數據挖掘技術10-12
• 1.2.2 時間序列挖掘技術12-14
• 1.3 本文的主要貢獻與創(chuàng)新14-15
• 1.4 論文的結構安排15-17
• 第二章 時間序列頻繁模式挖掘的相關技術17-28
• 2.1 傳統(tǒng)的數據挖掘處理過程17-18
• 2.2 聚類分析18-19
• 2.3 頻繁項集挖掘19-20
• 2.4 頻繁序列挖掘20-21
• 2.5 時間序列常用方法21-26
• 2.5.1 時間序列的分段壓縮21-25
• 2.5.2 時間序列的相似性度量25-26
• 2.6 Hadoop簡介26-27
• 2.7 本章小結27-28
• 第三章 時間序列符號化28-42
• 3.1 時間序列符號化的意義28
• 3.2 時間序列符號化方法28-35
• 3.2.1 篩選重要點30-31
• 3.2.2 基于增量誤差的分段算法31-34
• 3.2.3 聚類符號化34-35
• 3.3 相關實驗與結果分析35-41
• 3.4 本章小結41-42
• 第四章 時間序列頻繁模式挖掘42-60
• 4.1 時間序列頻繁項集挖掘42-48
• 4.1.1 時間序列對齊操作42-44
• 4.1.2 時間序列頻繁項集挖掘44-48
• 4.2 時間序列頻繁序列挖掘48-52
• 4.2.1 時間序列劃分操作48-50
• 4.2.2 時間序列頻繁序列挖掘50-52
• 4.3 相關實驗與結果分析52-59
• 4.4 本章小結59-60
• 第五章 基于HADOOP的頻繁模式挖掘60-71
• 5.1 HDFS和Map-Reduce相關介紹60-61
• 5.2 FP-growth分布式化61-69
• 5.2.1 統(tǒng)計頻繁 1-項集63-65
• 5.2.2 平衡分組65-67
• 5.2.3 頻繁模式挖掘67-69
• 5.3 相關實驗結果69-70
• 5.4 本章小結70-71
• 第六章 時間序列頻繁模式挖掘平臺71-83
• 6.1 系統(tǒng)目標和原則71-73
• 6.1.1 系統(tǒng)目標71-72
• 6.1.2 系統(tǒng)設計原則72-73
• 6.2 系統(tǒng)架構73-75
• 6.3 系統(tǒng)模塊設計75-82
• 6.3.1 數據加載模塊75-78
• 6.3.2 預處理模塊78-79
• 6.3.3 符號化模塊79-81
• 6.3.4 頻繁模式挖掘模塊81-82
• 6.4 本章小結82-83
• 第七章 總結與展望83-85
• 7.1 工作總結83
• 7.2 后續(xù)工作展望83-85
• 致謝85-86
• 參考文獻86-90

【參考文獻】

中國期刊全文數據庫 前6條

1 黃劍;李明奇;郭文強;;并行Fp-growth算法在搜索引擎中的應用[J];計算機科學;2015年S1期

2 王棟;;數據挖掘研究綜述[J];數字技術與應用;2014年02期

3 呂雪驥;李龍澍;;FP-Growth算法MapReduce化研究[J];計算機技術與發(fā)展;2012年11期

4 高兵;鄒啟杰;;基于網格的聚類方法研究[J];軟件工程師;2010年Z1期

5 賀玲;吳玲達;蔡益朝;;數據挖掘中的聚類算法綜述[J];計算機應用研究;2007年01期

6 李斌,譚立湘,章勁松,莊鎮(zhèn)泉;面向數據挖掘的時間序列符號化方法研究[J];電路與系統(tǒng)學報;2000年02期

中國重要會議論文全文數據庫 前1條

1 馬曉艷;唐雁;;層次聚類算法研究[A];2008年計算機應用技術交流會論文集[C];2008年

中國碩士學位論文全文數據庫 前2條

1 李偉雄;基于密度的聚類算法研究[D];湖南大學;2010年

2 鄭柏杰;基于劃分的聚類算法研究[D];重慶大學;2005年

，

本文編號：670302