基于軌跡數據流的聚集模式挖掘方法研究
發(fā)布時間:2022-07-16 15:43
近年來,隨著無線通信、移動定位、互聯網、云計算等技術的快速發(fā)展,人們能夠源源不斷地獲得海量的軌跡數據。軌跡數據具有明顯的時空特征和流式特征,通過分析和挖掘,能夠一定程度上反映出移動對象的運動模式。時空軌跡聚集模式是時空軌跡模式中的一個重要研究內容,主要用于發(fā)現異;虻湫托缘娜后w事件,被廣泛應用于人類行為模式、交通物流、動物習性、市場營銷等領域。目前,時空軌跡聚集模式挖掘算法研究取得了一系列成果,但針對流式數據處理的算法效率還有待提升。本文研究軌跡數據流中的聚集模式挖掘算法,在聚類和群組檢測階段取得的主要研究成果如下:1.提出了一種面向聚集模式挖掘的網格聚類算法MR-GDBSCAN(Grid-based MR-DBSCAN),在Spark分布式環(huán)境中加以實現。該算法將海量的移動對象點映射到網格中,通過網格索引移動對象,將網格作為聚類對象,減少了需要進行聚類的數量,降低了計算量,并利用二叉空間分割技術將網格數據分發(fā)到各個計算節(jié)點中去并行聚類,以此來達到提高聚類效率的目的。2.提出了一種基于滑動時間窗口的增量式群組檢測算法,結合Spark Streaming的滑動時間窗口模型,在時間窗口中對...
【文章頁數】:58 頁
【學位級別】:碩士
【文章目錄】:
摘要
abstract
第1章 引言
1.1 研究背景和意義
1.2 國內外研究現狀
1.3 論文主要工作
1.4 論文章節(jié)組織結構
第2章 相關研究基礎
2.1 聚類算法
2.1.1 基于劃分的聚類算法
2.1.2 基于層次的聚類算法
2.1.3 基于密度的聚類算法
2.1.4 基于網格的聚類算法
2.2 索引技術
2.2.1 B樹索引
2.2.2 R樹索引
2.2.3 四叉樹索引
2.2.4 網格索引
2.3 時空軌跡聚集模式挖掘方法
2.3.1 基于密度的聚集模式挖掘方法
2.3.2 基于近似查詢的聚集模式挖掘方法
2.3.3 基于關聯規(guī)則剪枝的聚集模式挖掘方法
2.4 Spark大數據生態(tài)圈
2.4.1 Spark特點
2.4.2 RDD數據集
2.4.3 Spark Streaming流式技術
2.5 本章小結
第3章 基于軌跡數據流的聚集模式挖掘方法
3.1 相關定義
3.2 面向聚集模式的網格聚類算法
3.2.1 網格構建
3.2.2 數據分區(qū)
3.2.3 本地聚類
3.2.4 全局聚類
3.3 增量式群組挖掘算法
3.3.1 增量式群組檢測
3.3.2 時間復雜度分析
3.4 聚集模式檢測
3.5 本章小結
第4章 實驗與分析
4.1 實驗數據集
4.2 實驗結果與分析
4.2.1 聚類參數分析
4.2.2 效率、可伸縮性分析
4.2.3 挖掘效果可視化
4.3 本章小結
第5章 總結與展望
5.1 總結
5.2 展望
5.2.1 算法層面的考慮
5.2.2 研究數據層面的考慮
5.2.3 數據可視化層面的考慮
參考文獻
致謝
攻讀碩士學位期間從事的科研工作及取得的成果
【參考文獻】:
期刊論文
[1]基于密度自適應聚類數的社區(qū)發(fā)現譜方法[J]. 王學軍,李有紅,李熾平. 計算機技術與發(fā)展. 2019(05)
[2]Hadoop研究及挑戰(zhàn)綜述[J]. 何思佑,王亞強. 信息通信. 2018(10)
[3]基于密度權值平均變化率的CFSFDP聚類算法[J]. 董炎焱. 太原師范學院學報(自然科學版). 2018(03)
[4]Spark性能優(yōu)化技術研究綜述[J]. 廖湖聲,黃珊珊,徐俊剛,劉仁峰. 計算機科學. 2018(07)
[5]基于時空軌跡的移動對象匯聚模式挖掘算法[J]. 張逸凡,趙斌,孫鴻艷,談超,吉根林. 數據采集與處理. 2018(03)
[6]近似到達時間約束下的語義軌跡頻繁模式挖掘[J]. 吳瑕,唐祖鍇,祝園園,彭煜瑋,彭智勇. 軟件學報. 2018(10)
[7]一種新的基于時空軌跡的匯合模式挖掘算法[J]. 楊宇,吉根林,趙斌,黃瀟婷. 南京大學學報(自然科學). 2018(01)
[8]一種基于MapReduce高效K-means并行算法[J]. 王永貴,崔鵬. 遼寧工程技術大學學報(自然科學版). 2017(11)
[9]基于MapReduce的并行MRACO-PAM聚類算法[J]. 趙寶文,徐華. 計算機工程與科學. 2017(10)
[10]面向位置大數據的快速密度聚類算法[J]. 于彥偉,賈召飛,曹磊,趙金東,劉兆偉,劉驚雷. 軟件學報. 2018(08)
博士論文
[1]基于軌跡數據的移動對象聚集模式挖掘方法研究[D]. 張峻銘.北京郵電大學 2016
碩士論文
[1]基于Spark的時空數據查詢與分析關鍵技術研究[D]. 蘇敏章.西安電子科技大學 2018
[2]基于語義相似度的中文文本聚類算法研究[D]. 楊開平.電子科技大學 2018
[3]云計算環(huán)境下時空軌跡聚集模式挖掘算法研究[D]. 王敏.南京師范大學 2016
本文編號:3662790
【文章頁數】:58 頁
【學位級別】:碩士
【文章目錄】:
摘要
abstract
第1章 引言
1.1 研究背景和意義
1.2 國內外研究現狀
1.3 論文主要工作
1.4 論文章節(jié)組織結構
第2章 相關研究基礎
2.1 聚類算法
2.1.1 基于劃分的聚類算法
2.1.2 基于層次的聚類算法
2.1.3 基于密度的聚類算法
2.1.4 基于網格的聚類算法
2.2 索引技術
2.2.1 B樹索引
2.2.2 R樹索引
2.2.3 四叉樹索引
2.2.4 網格索引
2.3 時空軌跡聚集模式挖掘方法
2.3.1 基于密度的聚集模式挖掘方法
2.3.2 基于近似查詢的聚集模式挖掘方法
2.3.3 基于關聯規(guī)則剪枝的聚集模式挖掘方法
2.4 Spark大數據生態(tài)圈
2.4.1 Spark特點
2.4.2 RDD數據集
2.4.3 Spark Streaming流式技術
2.5 本章小結
第3章 基于軌跡數據流的聚集模式挖掘方法
3.1 相關定義
3.2 面向聚集模式的網格聚類算法
3.2.1 網格構建
3.2.2 數據分區(qū)
3.2.3 本地聚類
3.2.4 全局聚類
3.3 增量式群組挖掘算法
3.3.1 增量式群組檢測
3.3.2 時間復雜度分析
3.4 聚集模式檢測
3.5 本章小結
第4章 實驗與分析
4.1 實驗數據集
4.2 實驗結果與分析
4.2.1 聚類參數分析
4.2.2 效率、可伸縮性分析
4.2.3 挖掘效果可視化
4.3 本章小結
第5章 總結與展望
5.1 總結
5.2 展望
5.2.1 算法層面的考慮
5.2.2 研究數據層面的考慮
5.2.3 數據可視化層面的考慮
參考文獻
致謝
攻讀碩士學位期間從事的科研工作及取得的成果
【參考文獻】:
期刊論文
[1]基于密度自適應聚類數的社區(qū)發(fā)現譜方法[J]. 王學軍,李有紅,李熾平. 計算機技術與發(fā)展. 2019(05)
[2]Hadoop研究及挑戰(zhàn)綜述[J]. 何思佑,王亞強. 信息通信. 2018(10)
[3]基于密度權值平均變化率的CFSFDP聚類算法[J]. 董炎焱. 太原師范學院學報(自然科學版). 2018(03)
[4]Spark性能優(yōu)化技術研究綜述[J]. 廖湖聲,黃珊珊,徐俊剛,劉仁峰. 計算機科學. 2018(07)
[5]基于時空軌跡的移動對象匯聚模式挖掘算法[J]. 張逸凡,趙斌,孫鴻艷,談超,吉根林. 數據采集與處理. 2018(03)
[6]近似到達時間約束下的語義軌跡頻繁模式挖掘[J]. 吳瑕,唐祖鍇,祝園園,彭煜瑋,彭智勇. 軟件學報. 2018(10)
[7]一種新的基于時空軌跡的匯合模式挖掘算法[J]. 楊宇,吉根林,趙斌,黃瀟婷. 南京大學學報(自然科學). 2018(01)
[8]一種基于MapReduce高效K-means并行算法[J]. 王永貴,崔鵬. 遼寧工程技術大學學報(自然科學版). 2017(11)
[9]基于MapReduce的并行MRACO-PAM聚類算法[J]. 趙寶文,徐華. 計算機工程與科學. 2017(10)
[10]面向位置大數據的快速密度聚類算法[J]. 于彥偉,賈召飛,曹磊,趙金東,劉兆偉,劉驚雷. 軟件學報. 2018(08)
博士論文
[1]基于軌跡數據的移動對象聚集模式挖掘方法研究[D]. 張峻銘.北京郵電大學 2016
碩士論文
[1]基于Spark的時空數據查詢與分析關鍵技術研究[D]. 蘇敏章.西安電子科技大學 2018
[2]基于語義相似度的中文文本聚類算法研究[D]. 楊開平.電子科技大學 2018
[3]云計算環(huán)境下時空軌跡聚集模式挖掘算法研究[D]. 王敏.南京師范大學 2016
本文編號:3662790
本文鏈接:http://sikaile.net/kejilunwen/ruanjiangongchenglunwen/3662790.html