基于時(shí)空特性數(shù)據(jù)的分布式存儲(chǔ)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)
發(fā)布時(shí)間:2021-03-23 18:58
時(shí)空數(shù)據(jù)具有空間性和時(shí)間性的特征,詳細(xì)記錄了事物的空間屬性和隨時(shí)間序列而改變的信息。在不斷發(fā)展的信息化時(shí)代中,時(shí)空數(shù)據(jù)的應(yīng)用變得更加廣泛。從智慧城市監(jiān)控器中捕獲的圖像數(shù)據(jù),到各地方隨時(shí)間變化的天氣狀態(tài)信息,再到應(yīng)用程序所產(chǎn)生的日志信息,這些都是屬于時(shí)空數(shù)據(jù)。而隨著時(shí)空數(shù)據(jù)的廣泛應(yīng)用,如何對(duì)這些數(shù)據(jù)進(jìn)行高效的存儲(chǔ)和查詢,成為了一個(gè)值得研究的課題。不同于傳統(tǒng)的數(shù)據(jù)類型,時(shí)空數(shù)據(jù)具有空間性和時(shí)間性的特征。時(shí)空數(shù)據(jù)往往是隨時(shí)間序列增長而產(chǎn)生,后期上層應(yīng)用可能會(huì)對(duì)時(shí)空數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘和智能分析,從而獲取有用的信息。時(shí)空數(shù)據(jù)具有以下幾個(gè)特點(diǎn):存在一個(gè)空間屬性,表明了數(shù)據(jù)的生成者;數(shù)據(jù)的產(chǎn)生具有時(shí)序性,往往是連續(xù)地寫入系統(tǒng);上層應(yīng)用對(duì)時(shí)空數(shù)據(jù)的查詢一般是大批量的;數(shù)據(jù)不存在修改,它表明了事物在某個(gè)空間和時(shí)間的真實(shí)性。因此,如何實(shí)現(xiàn)一個(gè)高效的面向時(shí)空數(shù)據(jù)的存儲(chǔ)系統(tǒng)是本文需要研究的課題。本文設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)基于時(shí)空數(shù)據(jù)的分布式存儲(chǔ)系統(tǒng),并詳細(xì)地闡述了系統(tǒng)所涉及的理論基礎(chǔ)、設(shè)計(jì)思路、實(shí)現(xiàn)方案以及測(cè)試分析。本文的主要完成的工作如下:(1)本文對(duì)分布式存儲(chǔ)系統(tǒng)的相關(guān)理論技術(shù)進(jìn)行了深入地研究;選取中心節(jié)點(diǎn)的方式...
【文章來源】:電子科技大學(xué)四川省 211工程院校 985工程院校 教育部直屬院校
【文章頁數(shù)】:87 頁
【學(xué)位級(jí)別】:碩士
【部分圖文】:
CentralNodeB運(yùn)行結(jié)果
61圖 5-6 DataNode B 運(yùn)行結(jié)果5.2.2 數(shù)據(jù)存儲(chǔ)測(cè)試本測(cè)試通過客戶端 Client 提供的 API 進(jìn)行數(shù)據(jù)存儲(chǔ)。Client 進(jìn)程模擬時(shí)空數(shù)據(jù)的生成,每次寫入的數(shù)據(jù)大小為 3KB,以每秒寫入 10 條數(shù)據(jù)的速率向 DataNode
將 DataNode 節(jié)點(diǎn)的 Buffer 大小設(shè)de 數(shù)據(jù)分片的時(shí)間范圍設(shè)置為 1 天,運(yùn)行系統(tǒng)t 進(jìn)程,Client 進(jìn)程調(diào)用 createPlaceID 接口獲取調(diào)用 put 接口寫入數(shù)據(jù),數(shù)據(jù)大小為 3KB,寫續(xù)調(diào)用 put 接口,直到存儲(chǔ) 1 萬個(gè)數(shù)據(jù)。Node 節(jié)點(diǎn)的數(shù)據(jù)存儲(chǔ)情況與 CentralNode 集群成了一個(gè)為 ID3215710 的空間 ID,并通過請(qǐng)求odeA 中。DataNodeA 成功將數(shù)據(jù)存儲(chǔ)到了十示了數(shù)據(jù)塊里面第一條記錄的 key 值,key 值 5-7 所示,其中 Manifest 文件保存了數(shù)據(jù)塊與 CentralNode Leader 節(jié)點(diǎn)保持心跳,并將元er 節(jié)點(diǎn)上,CentralNode Leader 通過 ZooKeepewer 節(jié)點(diǎn)上,如圖 5-8 所示。
【參考文獻(xiàn)】:
期刊論文
[1]面向大數(shù)據(jù)的時(shí)空數(shù)據(jù)挖掘綜述[J]. 吉根林,趙斌. 南京師大學(xué)報(bào)(自然科學(xué)版). 2014(01)
博士論文
[1]時(shí)空數(shù)據(jù)模型及其應(yīng)用研究[D]. 曹聞.解放軍信息工程大學(xué) 2011
本文編號(hào):3096265
【文章來源】:電子科技大學(xué)四川省 211工程院校 985工程院校 教育部直屬院校
【文章頁數(shù)】:87 頁
【學(xué)位級(jí)別】:碩士
【部分圖文】:
CentralNodeB運(yùn)行結(jié)果
61圖 5-6 DataNode B 運(yùn)行結(jié)果5.2.2 數(shù)據(jù)存儲(chǔ)測(cè)試本測(cè)試通過客戶端 Client 提供的 API 進(jìn)行數(shù)據(jù)存儲(chǔ)。Client 進(jìn)程模擬時(shí)空數(shù)據(jù)的生成,每次寫入的數(shù)據(jù)大小為 3KB,以每秒寫入 10 條數(shù)據(jù)的速率向 DataNode
將 DataNode 節(jié)點(diǎn)的 Buffer 大小設(shè)de 數(shù)據(jù)分片的時(shí)間范圍設(shè)置為 1 天,運(yùn)行系統(tǒng)t 進(jìn)程,Client 進(jìn)程調(diào)用 createPlaceID 接口獲取調(diào)用 put 接口寫入數(shù)據(jù),數(shù)據(jù)大小為 3KB,寫續(xù)調(diào)用 put 接口,直到存儲(chǔ) 1 萬個(gè)數(shù)據(jù)。Node 節(jié)點(diǎn)的數(shù)據(jù)存儲(chǔ)情況與 CentralNode 集群成了一個(gè)為 ID3215710 的空間 ID,并通過請(qǐng)求odeA 中。DataNodeA 成功將數(shù)據(jù)存儲(chǔ)到了十示了數(shù)據(jù)塊里面第一條記錄的 key 值,key 值 5-7 所示,其中 Manifest 文件保存了數(shù)據(jù)塊與 CentralNode Leader 節(jié)點(diǎn)保持心跳,并將元er 節(jié)點(diǎn)上,CentralNode Leader 通過 ZooKeepewer 節(jié)點(diǎn)上,如圖 5-8 所示。
【參考文獻(xiàn)】:
期刊論文
[1]面向大數(shù)據(jù)的時(shí)空數(shù)據(jù)挖掘綜述[J]. 吉根林,趙斌. 南京師大學(xué)報(bào)(自然科學(xué)版). 2014(01)
博士論文
[1]時(shí)空數(shù)據(jù)模型及其應(yīng)用研究[D]. 曹聞.解放軍信息工程大學(xué) 2011
本文編號(hào):3096265
本文鏈接:http://sikaile.net/kejilunwen/jisuanjikexuelunwen/3096265.html
最近更新
教材專著