【摘要】：隨著遙感技術(shù)的發(fā)展,遙感數(shù)據(jù)的類型和量級發(fā)生了巨大變化,對于傳統(tǒng)的存儲方法產(chǎn)生了挑戰(zhàn)。針對HBase中海量地形數(shù)據(jù)管理效率不高的問題,提出一種四叉樹-Hilbert相結(jié)合的索引設(shè)計方法。首先,對傳統(tǒng)地形數(shù)據(jù)管理方式和基于HBase的數(shù)據(jù)存儲國內(nèi)外研究現(xiàn)狀進行了綜述;然后,在基于四叉樹對全球數(shù)據(jù)進行組織的基礎(chǔ)上,提出了四叉樹和Hilbert編碼相結(jié)合的設(shè)計思想;其次,設(shè)計了根據(jù)經(jīng)緯度求地形數(shù)據(jù)的行列號和根據(jù)行列號計算Hilbert編碼的算法;最后,對設(shè)計的索引的物理存儲結(jié)構(gòu)進行了設(shè)計。實驗結(jié)果表明,利用設(shè)計的索引進行海量地形數(shù)據(jù)入庫,數(shù)據(jù)入庫速度與單機情況相比,提高了63.79%~78.45%;在地形數(shù)據(jù)的范圍查詢中,設(shè)計的索引與傳統(tǒng)的行序索引相比,查詢時間降低了16.13%~39.68%。查詢速度最低為14.71 MB/s,可以滿足地形數(shù)據(jù)顯示的要求。
【圖文】：

se系統(tǒng)架構(gòu)如圖1所示［7］，，分為用戶層、服務(wù)層和支撐層。其中:支撐層是系統(tǒng)運行的基礎(chǔ)，分布式文件系統(tǒng)作為底層的數(shù)據(jù)存儲系統(tǒng)保證數(shù)據(jù)的可靠性，分布式鎖系統(tǒng)Zookeeper用來保證數(shù)據(jù)的同步服務(wù)和配置維護;主服務(wù)器是系統(tǒng)的核心部分，負(fù)責(zé)處理來自客戶端的連接請求，維護與子表服務(wù)器的連接和子表的分配。元數(shù)據(jù)表類似于數(shù)據(jù)字典，用來維護子表的記錄范圍;子表服務(wù)器負(fù)責(zé)處理所有操作的讀寫操作，隨著數(shù)據(jù)量的急劇增加，可以通過增加子表服務(wù)器的數(shù)量動態(tài)擴容，客戶端對數(shù)據(jù)的操作通過直接和子表服務(wù)器交互實現(xiàn)。圖1HBase系統(tǒng)體系架構(gòu)通過查閱相關(guān)文獻，現(xiàn)階段使用HBase進行數(shù)據(jù)存儲的研究如表1所示。其中:ＲDF(ＲesourceDescriptionFramework)為海量資源描述框架。表1基于HBase的存儲研究現(xiàn)狀存儲數(shù)據(jù)類型解決的主要問題文獻地圖瓦片數(shù)據(jù)提出了一種地圖瓦片數(shù)據(jù)緩存方案，解決了單機瓦片緩存效率不高的問題文獻［8］海量圖片數(shù)據(jù)提出了一種海量圖片數(shù)據(jù)存儲方案，解決了HBase無校驗碼和鍵值對字節(jié)數(shù)組未對齊問題，在城市監(jiān)控系統(tǒng)中得到應(yīng)用文獻［9］無線傳感信息提出了兩層存儲架構(gòu)，可以滿足大規(guī)模傳感器的存儲需要文獻［10－11］海量影像數(shù)據(jù)提出了適用于海量影像數(shù)據(jù)分布式存儲的索引結(jié)構(gòu)P2H，可以進行影像數(shù)據(jù)的存儲和快速查詢文獻［12］矢量空間數(shù)據(jù)設(shè)計了基于HBase的矢量空間數(shù)據(jù)存儲模型和空間索引方法文獻［13］ＲDF數(shù)據(jù)提出一種基于基于HBase的ＲDF數(shù)據(jù)存儲模型，實現(xiàn)了基于該模型的8種查詢算法并進行了可行性驗證文獻［14］海量空間數(shù)據(jù)提出一種HGrid數(shù)據(jù)模型，設(shè)計了基于四叉樹和網(wǎng)格索引的雙重索引結(jié)構(gòu)文獻［15］通過表1可以看出，HBase適于存儲海量數(shù)據(jù)，尤其對于海量

⒑Ａ渴

本文編號：2554559