面向旅游場景的時空大數(shù)據(jù)應(yīng)用服務(wù)技術(shù)的優(yōu)化與實現(xiàn)
發(fā)布時間:2021-02-01 01:45
時空大數(shù)據(jù)即是擁有時間和空間兩個維度屬性的大數(shù)據(jù),在海量的大數(shù)據(jù)中,80%以上的數(shù)據(jù)都和時間、空間位置有關(guān)。在時空大數(shù)據(jù)的應(yīng)用領(lǐng)域之中,旅游行業(yè)的前景非常廣闊,借助時空大數(shù)據(jù)相關(guān)技術(shù)平臺,可以方便旅行社團隊跟蹤監(jiān)測;可以制作景區(qū)客流熱力圖,方便景區(qū)管理人員實時負荷監(jiān)測;可以準確預(yù)知客流趨向,進而采取相應(yīng)的措施疏導(dǎo)客流等等。本文以旅游智慧監(jiān)管平臺為背景,研究時空大數(shù)據(jù)中一些關(guān)鍵性技術(shù)的優(yōu)化問題,主要涉及時空采集性能優(yōu)化、分布式存儲方案設(shè)計以及基于移動對象的最近鄰查詢優(yōu)化三個方面。首先,本文針對旅游客流數(shù)據(jù)的采集性能提升問題,設(shè)計了一種基于大數(shù)據(jù)平臺的讀寫框架STClient,先介紹了其整體流程,然后針對時空數(shù)據(jù)的特點,分別從文件讀寫、數(shù)據(jù)預(yù)處理、時空索引方案設(shè)計、序列化以及入庫這個五個方面進行優(yōu)化。然后,本文設(shè)計了一種面向時空大數(shù)據(jù)的分布式存儲系統(tǒng)。根據(jù)時空大數(shù)據(jù)的空間性和時序性特點,設(shè)計了基于項目背景的系統(tǒng)架構(gòu);按照時空劃分對數(shù)據(jù)進行,并通過構(gòu)建空間熱度樹來提高系統(tǒng)負載均衡的性能;在已有數(shù)據(jù)冷熱分離方案的基礎(chǔ)上針對其問題做出了進一步改進,完善存儲系統(tǒng)的可用性和提高系統(tǒng)的性能。這些方案使...
【文章來源】:電子科技大學(xué)四川省 211工程院校 985工程院校 教育部直屬院校
【文章頁數(shù)】:92 頁
【學(xué)位級別】:碩士
【部分圖文】:
基于時空大數(shù)據(jù)的旅游景區(qū)客流監(jiān)管示意圖
第二章相關(guān)理論和技術(shù)15表2-5Base32編碼Decimal0123456789101112131415Base320123456789bcdefgDecimal16171819202122232425262728293031Base32hjkmnpqrstuvwxyz根據(jù)上述步驟,GeoHash最終將二維的經(jīng)緯度坐標轉(zhuǎn)轉(zhuǎn)換成了GeoHash地理編碼字符串,比如圖2-3展示了北京9個區(qū)域的GeoHash字符串,每一個字符串代表著一個矩形區(qū)域,同時,該區(qū)域內(nèi)的所有點(即經(jīng)緯度坐標)都共享相同的GeoHash字符串,這樣既可以保護隱私(只表示大概區(qū)域位置而不是具體的點),又比較容易做緩存。圖2-3北京9個區(qū)域的GeoHash字符串Geohash的優(yōu)點很明顯,它利用Z階曲線進行編碼。而Z階曲線可以將二維或者多維空間里的所有點都轉(zhuǎn)換成一維曲線。在數(shù)學(xué)上成為分形維。并且Z階曲線還具有局部保序性。Z階曲線通過交織點的坐標值的二進制表示來簡單地計算多維度中的點的z值。一旦將數(shù)據(jù)被加到該排序中,任何一維數(shù)據(jù)結(jié)構(gòu),例如二叉搜索樹,B樹,跳躍表或(具有低有效位被截斷)哈希表都可以用來處理數(shù)據(jù)。通過Z階曲線所得到的順序可以等同地被描述為從四叉樹的深度優(yōu)先遍歷得到的順序。這也是Geohash的另外一個優(yōu)點,搜索查找鄰近點比較快。然而Geohash的缺點之一也來自Z階曲線。Z階曲線有一個比較嚴重的問題,雖然有局部保序性,但是它也有突變性。在每個Z字母的拐角,都有可能出現(xiàn)順序的突變。Geohash的另外一個缺點是,如果選擇不好合適的網(wǎng)格大小,判斷鄰近點可能會比較麻煩。
電子科技大學(xué)碩士學(xué)位論文162.2.2GoogleS2S2算法基于希爾伯特(Hilbert)曲線,它將三維的地球轉(zhuǎn)變成二維,再將二維轉(zhuǎn)成一維,最后,將一維表示成二進制碼存儲,通過這種方式來唯一的表示地球上的一塊空間。地球是一個三維的球體,我們只要把這個球體放在一個正方體中,想象從地球的中心向外發(fā)光,地球表面的點會投射在正方體上,地球表面就變成如圖2-4所示的正方體。然后就可以用0-5這6個數(shù)字來標記每一面,通過這個方法將三維變成二維。圖2-4S2將三維轉(zhuǎn)變成二維上面的方法實際上會產(chǎn)生一個問題:投射區(qū)間比例不同。在圖2-5中可以看到,雖然投出的角度數(shù)相同,但上方投出的區(qū)間卻遠大于下方。投射范圍會出現(xiàn)中間短兩邊長的問題。如果投射范圍不一樣,不同區(qū)塊的面積會差很多。圖2-5三維球體映射成二維解決方法是加入?yún)^(qū)間轉(zhuǎn)換。在得到第一步投射之后,再進行二次變換,將上面長的拉短、將下面短的拉長,盡量讓區(qū)間變相同。通過上述將地球的表明轉(zhuǎn)換成了二維空間的平面,接下來需要切割二維空間,可以切割出很多正方形,最簡單的表示這些正方形的方法是在平面上進行遍歷。每遍歷到一個點,就給它標注一個值,比如00、01、10、11,隨著二進制數(shù)字增加,
【參考文獻】:
期刊論文
[1]時空大數(shù)據(jù)及其在智慧城市中的應(yīng)用[J]. 張擁軍. 中國標準化. 2019(16)
[2]基于空間數(shù)據(jù)內(nèi)容的動態(tài)負載均衡方法[J]. 李忠民,喻占武,朱莉. 武漢大學(xué)學(xué)報(信息科學(xué)版). 2009(05)
碩士論文
[1]基于用戶體驗的智能終端流暢度評測研究與實現(xiàn)[D]. 尤增顯.北京郵電大學(xué) 2018
[2]基于HBase的海量數(shù)據(jù)實時查詢系統(tǒng)設(shè)計與實現(xiàn)[D]. 卓海藝.北京郵電大學(xué) 2013
本文編號:3011970
【文章來源】:電子科技大學(xué)四川省 211工程院校 985工程院校 教育部直屬院校
【文章頁數(shù)】:92 頁
【學(xué)位級別】:碩士
【部分圖文】:
基于時空大數(shù)據(jù)的旅游景區(qū)客流監(jiān)管示意圖
第二章相關(guān)理論和技術(shù)15表2-5Base32編碼Decimal0123456789101112131415Base320123456789bcdefgDecimal16171819202122232425262728293031Base32hjkmnpqrstuvwxyz根據(jù)上述步驟,GeoHash最終將二維的經(jīng)緯度坐標轉(zhuǎn)轉(zhuǎn)換成了GeoHash地理編碼字符串,比如圖2-3展示了北京9個區(qū)域的GeoHash字符串,每一個字符串代表著一個矩形區(qū)域,同時,該區(qū)域內(nèi)的所有點(即經(jīng)緯度坐標)都共享相同的GeoHash字符串,這樣既可以保護隱私(只表示大概區(qū)域位置而不是具體的點),又比較容易做緩存。圖2-3北京9個區(qū)域的GeoHash字符串Geohash的優(yōu)點很明顯,它利用Z階曲線進行編碼。而Z階曲線可以將二維或者多維空間里的所有點都轉(zhuǎn)換成一維曲線。在數(shù)學(xué)上成為分形維。并且Z階曲線還具有局部保序性。Z階曲線通過交織點的坐標值的二進制表示來簡單地計算多維度中的點的z值。一旦將數(shù)據(jù)被加到該排序中,任何一維數(shù)據(jù)結(jié)構(gòu),例如二叉搜索樹,B樹,跳躍表或(具有低有效位被截斷)哈希表都可以用來處理數(shù)據(jù)。通過Z階曲線所得到的順序可以等同地被描述為從四叉樹的深度優(yōu)先遍歷得到的順序。這也是Geohash的另外一個優(yōu)點,搜索查找鄰近點比較快。然而Geohash的缺點之一也來自Z階曲線。Z階曲線有一個比較嚴重的問題,雖然有局部保序性,但是它也有突變性。在每個Z字母的拐角,都有可能出現(xiàn)順序的突變。Geohash的另外一個缺點是,如果選擇不好合適的網(wǎng)格大小,判斷鄰近點可能會比較麻煩。
電子科技大學(xué)碩士學(xué)位論文162.2.2GoogleS2S2算法基于希爾伯特(Hilbert)曲線,它將三維的地球轉(zhuǎn)變成二維,再將二維轉(zhuǎn)成一維,最后,將一維表示成二進制碼存儲,通過這種方式來唯一的表示地球上的一塊空間。地球是一個三維的球體,我們只要把這個球體放在一個正方體中,想象從地球的中心向外發(fā)光,地球表面的點會投射在正方體上,地球表面就變成如圖2-4所示的正方體。然后就可以用0-5這6個數(shù)字來標記每一面,通過這個方法將三維變成二維。圖2-4S2將三維轉(zhuǎn)變成二維上面的方法實際上會產(chǎn)生一個問題:投射區(qū)間比例不同。在圖2-5中可以看到,雖然投出的角度數(shù)相同,但上方投出的區(qū)間卻遠大于下方。投射范圍會出現(xiàn)中間短兩邊長的問題。如果投射范圍不一樣,不同區(qū)塊的面積會差很多。圖2-5三維球體映射成二維解決方法是加入?yún)^(qū)間轉(zhuǎn)換。在得到第一步投射之后,再進行二次變換,將上面長的拉短、將下面短的拉長,盡量讓區(qū)間變相同。通過上述將地球的表明轉(zhuǎn)換成了二維空間的平面,接下來需要切割二維空間,可以切割出很多正方形,最簡單的表示這些正方形的方法是在平面上進行遍歷。每遍歷到一個點,就給它標注一個值,比如00、01、10、11,隨著二進制數(shù)字增加,
【參考文獻】:
期刊論文
[1]時空大數(shù)據(jù)及其在智慧城市中的應(yīng)用[J]. 張擁軍. 中國標準化. 2019(16)
[2]基于空間數(shù)據(jù)內(nèi)容的動態(tài)負載均衡方法[J]. 李忠民,喻占武,朱莉. 武漢大學(xué)學(xué)報(信息科學(xué)版). 2009(05)
碩士論文
[1]基于用戶體驗的智能終端流暢度評測研究與實現(xiàn)[D]. 尤增顯.北京郵電大學(xué) 2018
[2]基于HBase的海量數(shù)據(jù)實時查詢系統(tǒng)設(shè)計與實現(xiàn)[D]. 卓海藝.北京郵電大學(xué) 2013
本文編號:3011970
本文鏈接:http://sikaile.net/kejilunwen/shengwushengchang/3011970.html
最近更新
教材專著