關(guān)系數(shù)據(jù)庫支持的不確定時間序列存儲與優(yōu)化方法研究
發(fā)布時間:2021-01-19 00:13
時間序列作為一種常見的數(shù)據(jù)表現(xiàn)形式,廣泛存在于現(xiàn)實世界的許多應(yīng)用領(lǐng)域。人類通過對觀測和采集到的時間序列數(shù)據(jù)加以處理,可以解決決策和預(yù)測等諸多方面的問題,尤其對于國民經(jīng)濟(jì)宏觀控制、氣象預(yù)報、地震前兆預(yù)報等現(xiàn)實應(yīng)用具有重要意義。由于不確定性數(shù)據(jù)的普遍存在,當(dāng)前基于對確定性時間序列數(shù)據(jù)的存儲和管理理論已經(jīng)無法適用于實際需要。首先,傳統(tǒng)時序數(shù)據(jù)庫普遍采用在分布式環(huán)境下的列式存儲,以這種形式存儲不確定時間序列數(shù)據(jù)會造成存儲資源的浪費。其次,相比于精確數(shù)據(jù),不確定數(shù)據(jù)中一個時間點上對應(yīng)多個數(shù)據(jù),使用傳統(tǒng)時序數(shù)據(jù)庫存儲容易造成數(shù)據(jù)的混亂。目前,針對不確定時間序列數(shù)據(jù)的存儲少有研究成果發(fā)表。本文致力于對不確定時間序列在關(guān)系數(shù)據(jù)庫中的存儲方法進(jìn)行研究,試圖在克服傳統(tǒng)數(shù)據(jù)庫缺陷的基礎(chǔ)上,尋找一種簡單高效的數(shù)據(jù)存儲方式,實現(xiàn)不確定時間序列數(shù)據(jù)的有效存儲。論文的主要工作包括兩點:1.提出一種基于關(guān)系數(shù)據(jù)庫的不確定時間序列存儲方法。首先,利用傳統(tǒng)結(jié)構(gòu)化表示語言對非結(jié)構(gòu)化不確定時間序列進(jìn)行描述,并分析其存儲到關(guān)系數(shù)據(jù)庫所帶來的問題。其次,通過分析這些問題并結(jié)合傳統(tǒng)時序數(shù)據(jù)庫的存儲特點,提出了針對不確定時序存儲框架...
【文章來源】:南京航空航天大學(xué)江蘇省 211工程院校
【文章頁數(shù)】:79 頁
【學(xué)位級別】:碩士
【部分圖文】:
圖01020304050195519601965197019751980198519901995200020052010(b)不同類型鯰魚數(shù)量同時序走勢
圖 1.3 存儲分析圖確定的時序數(shù)據(jù)選擇不同的存儲方法時,已經(jīng)有許多文獻(xiàn)對此展開討論。Google 公司提出了三篇在大數(shù)據(jù)領(lǐng)域經(jīng)典的論文(GFS/Bigtable/MapReduce[24]),這幾篇文章的出掀起了互聯(lián)網(wǎng)分布式存儲的熱潮。存儲體系的支撐體系用 GFS[22]來存儲數(shù)據(jù)文件和日按 SSTable 文件格式來存儲數(shù)據(jù),用 Chubby 管理元數(shù)據(jù),整個存儲體系改變了傳統(tǒng)的,采用在尾部追加數(shù)據(jù)的方式去替代原覆蓋方式。Bigtable[23]是一個稀疏的、分布式的、多維有序 Map,這張 Map 針對行鍵、列名和時間戳都建立了索引,它是以鍵值對對為問方式,奠定了近年來列式存儲的基礎(chǔ)。xDB[25]是一款運用 Go 語言寫的時間序列數(shù)據(jù)庫,主要依賴于 LSM tree[26],而該樹是ogle 的 Bigtable 架構(gòu),數(shù)據(jù)則是以鍵值對的方式存儲的。該時序數(shù)據(jù)庫存儲結(jié)構(gòu)實現(xiàn)了以及時間戳 2 個維度的有序存取,并通過壓縮數(shù)據(jù)來降低 I/O 開銷,查詢一系列值時,。nTSDB[27]是一種基于 HBase[23,28]的分布式,可伸縮的時間序列數(shù)據(jù)庫。HBase 中的基本單元,每個單元格可以有多個版本的數(shù)據(jù)。在物理存儲方面上,每個列簇都持續(xù)的存
南京航空航天大學(xué)全日制專業(yè)學(xué)位碩士學(xué)位論文于時間戳上的多個可能表示,每個值對應(yīng)于可能發(fā)生的概率,并且對應(yīng)于每個時獲取值的概率之和為 1。圖 2.2 顯示了一個離散的時間序列,其中每個點都有相同在進(jìn)行存儲時,不對原始數(shù)據(jù)進(jìn)行規(guī)約,將該條序列全部進(jìn)行存儲,在進(jìn)行相似理時,考慮到每個值發(fā)生的概率,并以概率的形式進(jìn)行結(jié)果分析。這樣應(yīng)該以不方式進(jìn)行有效處理,而不是選取每個可能值,使得計算量成倍增大,降低處理效
本文編號:2985940
【文章來源】:南京航空航天大學(xué)江蘇省 211工程院校
【文章頁數(shù)】:79 頁
【學(xué)位級別】:碩士
【部分圖文】:
圖01020304050195519601965197019751980198519901995200020052010(b)不同類型鯰魚數(shù)量同時序走勢
圖 1.3 存儲分析圖確定的時序數(shù)據(jù)選擇不同的存儲方法時,已經(jīng)有許多文獻(xiàn)對此展開討論。Google 公司提出了三篇在大數(shù)據(jù)領(lǐng)域經(jīng)典的論文(GFS/Bigtable/MapReduce[24]),這幾篇文章的出掀起了互聯(lián)網(wǎng)分布式存儲的熱潮。存儲體系的支撐體系用 GFS[22]來存儲數(shù)據(jù)文件和日按 SSTable 文件格式來存儲數(shù)據(jù),用 Chubby 管理元數(shù)據(jù),整個存儲體系改變了傳統(tǒng)的,采用在尾部追加數(shù)據(jù)的方式去替代原覆蓋方式。Bigtable[23]是一個稀疏的、分布式的、多維有序 Map,這張 Map 針對行鍵、列名和時間戳都建立了索引,它是以鍵值對對為問方式,奠定了近年來列式存儲的基礎(chǔ)。xDB[25]是一款運用 Go 語言寫的時間序列數(shù)據(jù)庫,主要依賴于 LSM tree[26],而該樹是ogle 的 Bigtable 架構(gòu),數(shù)據(jù)則是以鍵值對的方式存儲的。該時序數(shù)據(jù)庫存儲結(jié)構(gòu)實現(xiàn)了以及時間戳 2 個維度的有序存取,并通過壓縮數(shù)據(jù)來降低 I/O 開銷,查詢一系列值時,。nTSDB[27]是一種基于 HBase[23,28]的分布式,可伸縮的時間序列數(shù)據(jù)庫。HBase 中的基本單元,每個單元格可以有多個版本的數(shù)據(jù)。在物理存儲方面上,每個列簇都持續(xù)的存
南京航空航天大學(xué)全日制專業(yè)學(xué)位碩士學(xué)位論文于時間戳上的多個可能表示,每個值對應(yīng)于可能發(fā)生的概率,并且對應(yīng)于每個時獲取值的概率之和為 1。圖 2.2 顯示了一個離散的時間序列,其中每個點都有相同在進(jìn)行存儲時,不對原始數(shù)據(jù)進(jìn)行規(guī)約,將該條序列全部進(jìn)行存儲,在進(jìn)行相似理時,考慮到每個值發(fā)生的概率,并以概率的形式進(jìn)行結(jié)果分析。這樣應(yīng)該以不方式進(jìn)行有效處理,而不是選取每個可能值,使得計算量成倍增大,降低處理效
本文編號:2985940
本文鏈接:http://sikaile.net/kejilunwen/ruanjiangongchenglunwen/2985940.html
最近更新
教材專著