軌跡數(shù)據(jù)的壓縮技術和系統(tǒng)實現(xiàn)
本文關鍵詞:軌跡數(shù)據(jù)的壓縮技術和系統(tǒng)實現(xiàn),由筆耕文化傳播整理發(fā)布。
【摘要】:城市出租車裝配的定位設備每天能夠收集到大量的軌跡數(shù)據(jù),為基于位置服務(Location-based service, LBS)提供重要的數(shù)據(jù)來源。通過對海量出租車軌跡數(shù)據(jù)進行分析和挖掘,能夠了解交通流量規(guī)律,輔助規(guī)劃人們出行,分析人群行為特征等。然而由于移動定位設備的快速普及和出租車業(yè)務的發(fā)展,導致軌跡數(shù)據(jù)的快速增長,給數(shù)據(jù)存儲、實時查詢以及數(shù)據(jù)分析帶來了巨大的挑戰(zhàn)。而軌跡數(shù)據(jù)壓縮技術是解決數(shù)據(jù)快速增長的一種有效解決方案。因此本文對軌跡數(shù)據(jù)進行分析,提取特征數(shù)據(jù),挖掘特征的分布。然后基于特征的分布,提出了軌跡信息量度量指標,并在此基礎上提出了兩種軌跡壓縮算法,基于信息量的軌跡壓縮算法和基于壓縮率的軌跡壓縮算法,既保證了壓縮率又能保證較高的軌跡壓縮質量。為了應對典型的軌跡查詢,本文對壓縮后的數(shù)據(jù)進行分布式存儲,同時保證較優(yōu)的查詢效率和高吞吐量。本文主要貢獻如下:·軌跡特征挖掘提出了軌跡特征挖掘的框架,從軌跡數(shù)據(jù)中提取速度、方向和位置三維信息,借助馬爾科夫鏈分析軌跡特征的分布。然后利用高斯模型、高斯混合模型和指數(shù)分布擬合軌跡特征的分布,并在真實軌跡數(shù)據(jù)上實驗證明模型的有效性�!ぼ壽E壓縮研究提出了軌跡信息量度量指標,然后根據(jù)軌跡信息量和軌跡壓縮率,綜合考慮了軌跡速度,方向和位置特征,提出了基于信息量的軌跡壓縮算法和基于壓縮率的軌跡壓縮算法,在保證壓縮率的同時保證軌跡壓縮質量。最后與已有的軌跡壓縮技術,在真實數(shù)據(jù)集上進行多個維度比較,實驗證明算法的高效性和有效性�!ぼ壽E分布式存儲和查詢針對軌跡數(shù)據(jù)上幾種常見的查詢分析類型,提出基于HBase的分布式存儲系統(tǒng),以及為了支持高效查詢分析和快速存儲,設計了軌跡數(shù)據(jù)存儲模型,并給出了相應的查詢算法。然后在此基礎上提出布隆過濾器的優(yōu)化策略,對不需要遍歷的數(shù)據(jù)塊進行剪枝,提高查詢效率。最后通過實驗證明存儲模型的高效性。
【關鍵詞】:軌跡壓縮 基于位置服務 行駛特征 分布式存儲 信息量
【學位授予單位】:華東師范大學
【學位級別】:碩士
【學位授予年份】:2016
【分類號】:TP311.52
【目錄】:
- 摘要6-7
- ABSTRACT7-15
- 第一章 緒論15-19
- 1.1 研究背景15-17
- 1.2 本文工作與主要貢獻17-18
- 1.3 組織結構18-19
- 第二章 研究現(xiàn)狀19-31
- 2.1 基于位置的服務發(fā)展現(xiàn)狀19-20
- 2.2 軌跡壓縮國內外研究現(xiàn)狀20-24
- 2.2.1 線段簡化壓縮21-23
- 2.2.2 基于路網結構的壓縮23-24
- 2.2.3 基于語義壓縮24
- 2.3 軌跡數(shù)據(jù)管理系統(tǒng)24-26
- 2.4 軌跡誤差度量26-30
- 2.5 本章小結30-31
- 第三章 軌跡行駛特征分析31-47
- 3.1 預備知識31-34
- 3.1.1 軌跡數(shù)據(jù)介紹31-32
- 3.1.2 路網數(shù)據(jù)介紹32-33
- 3.1.3 高斯混合模型33-34
- 3.2 軌跡行駛特征34-39
- 3.2.1 速度特征35-37
- 3.2.2 方向特征37-38
- 3.2.3 位置特征38-39
- 3.3 實驗研究39-46
- 3.3.1 特征分布實驗40-41
- 3.3.2 模型有效性評估實驗41-46
- 3.4 本章小結46-47
- 第四章 基于軌跡特征的軌跡壓縮方法47-65
- 4.1 預備知識47-49
- 4.1.1 馬爾科夫鏈48
- 4.1.2 信息論48-49
- 4.2 軌跡信息量49-53
- 4.2.1 定義49-50
- 4.2.2 計算規(guī)則50-53
- 4.3 基于信息量的軌跡壓縮算法53-55
- 4.4 基于壓縮率的軌跡壓縮算法55
- 4.5 實驗結果分析55-63
- 4.5.1 對比算法56-57
- 4.5.2 算法性能評測標準57-58
- 4.5.3 算法有效性評估實驗58-61
- 4.5.4 算法時間性能評估實驗61-63
- 4.6 本章小結63-65
- 第五章 軌跡存儲與查詢系統(tǒng)65-81
- 5.1 預備知識65-66
- 5.2 系統(tǒng)架構66-76
- 5.2.1 分布式存儲解決方案68-71
- 5.2.2 分布式查詢解決方案71-74
- 5.2.3 存儲和查詢優(yōu)化方案74-76
- 5.3 實驗評估76-80
- 5.3.1 實驗環(huán)境76-77
- 5.3.2 系統(tǒng)吞吐量評估實驗77-78
- 5.3.3 查詢性能評估實驗78-80
- 5.4 本章總結80-81
- 第六章 總結與展望81-83
- 6.1 本文工作總結81-82
- 6.2 今后工作展望82-83
- 參考文獻83-91
- 致謝91-93
- 攻讀碩士學位期間發(fā)表論文和科研情況93
【相似文獻】
中國期刊全文數(shù)據(jù)庫 前10條
1 王征;劉心松;李美安;;企業(yè)信息分布式存儲的熱點處理策略[J];計算機集成制造系統(tǒng);2006年09期
2 李磊;沈海斌;黃凱;嚴曉浪;Han Sangil;Ahmed A Jerraya;;分布式存儲管理在多核設計中的高層建模[J];電子與信息學報;2008年11期
3 劉翔;汪海玲;;分布式存儲中的一種數(shù)據(jù)放置策略[J];計算機與數(shù)字工程;2009年05期
4 陳衛(wèi)衛(wèi);吳海佳;胥光輝;;分布式存儲中文件分割的最優(yōu)化模型[J];解放軍理工大學學報(自然科學版);2010年04期
5 崔忠強;左德承;張展;;在云間可重構的分布式存儲[J];系統(tǒng)工程理論與實踐;2011年S2期
6 郝杰;逯彥博;劉鑫吉;夏樹濤;;分布式存儲中的再生碼綜述[J];重慶郵電大學學報(自然科學版);2013年01期
7 唐京偉;;基于云計算的分布式存儲技術[J];中國傳媒科技;2013年15期
8 郭棟;王偉;曾國蓀;;基于一致性樹分布的數(shù)據(jù)分布式存儲方法[J];計算機應用;2013年12期
9 蘇李亮;王云福;侯斌;;海量設計文檔分布式存儲及負載均衡的研究與實現(xiàn)[J];電信科學;2013年12期
10 謝然;;敢問存儲之路在何方?見分布式存儲搖曳在數(shù)據(jù)枝頭[J];互聯(lián)網周刊;2014年02期
中國重要會議論文全文數(shù)據(jù)庫 前7條
1 蘇李亮;王云福;侯斌;;海量設計文檔分布式存儲及負載均衡的研究與實現(xiàn)[A];2013電力行業(yè)信息化年會論文集[C];2013年
2 蘇李亮;王云福;侯斌;;海量設計文檔分布式存儲及負載均衡的研究與實現(xiàn)[A];2013電力行業(yè)信息化年會論文集[C];2013年
3 鄭文武;李先緒;黃植勤;邱紅飛;;云存儲關鍵技術[A];2012全國無線及移動通信學術大會論文集(下)[C];2012年
4 蔣軼林;郭淑琴;;分布式存儲在數(shù)字集群移動通信系統(tǒng)中的應用[A];浙江省電子學會2013學術年會論文集[C];2013年
5 姜繼忱;陳鋼;;P2P之路——締造“分布式對等”的Internet3.0[A];全面建設小康社會:中國科技工作者的歷史責任——中國科協(xié)2003年學術年會論文集(下)[C];2003年
6 付偉;肖儂;盧錫城;;QoS感知的副本放置問題研究綜述[A];第15屆全國信息存儲技術學術會議論文集[C];2008年
7 張彥;劉欣然;徐慧彬;;一種基于虛擬計算環(huán)境的分布式存儲體系結構[A];2009全國計算機網絡與通信學術會議論文集[C];2009年
中國重要報紙全文數(shù)據(jù)庫 前8條
1 京東架構委員會主任 云平臺首席架構師 系統(tǒng)技術部負責人 劉海鋒;京東:分布式存儲體系成為業(yè)務基石[N];中國信息化周報;2014年
2 《網絡世界》記者 于翔;京東分布式存儲體系研發(fā)歷程[N];網絡世界;2014年
3 《網絡世界》記者 于翔;融合一體機投入大規(guī)模商用[N];網絡世界;2013年
4 記者 余榮華;大數(shù)據(jù),催生大變革[N];人民日報;2014年
5 本報記者 張佳星;新生產業(yè)布局如何“云”中索驥[N];科技日報;2014年
6 本報記者 甘露;物聯(lián)網讓管理更美妙[N];計算機世界;2013年
7 本報記者 郭濤;華為幫用戶定制HANA一體機[N];中國計算機報;2013年
8 臨江;手機瀏覽器,3G時代的采礦機?[N];人民郵電;2009年
中國博士學位論文全文數(shù)據(jù)庫 前9條
1 吳思;容錯分布式存儲系統(tǒng)擴容機制研究[D];中國科學技術大學;2016年
2 胡q,
本文編號:427743
本文鏈接:http://sikaile.net/kejilunwen/ruanjiangongchenglunwen/427743.html