關(guān)系數(shù)據(jù)庫(kù)支持的不確定時(shí)間序列存儲(chǔ)與優(yōu)化方法研究
發(fā)布時(shí)間:2021-01-19 00:13
時(shí)間序列作為一種常見(jiàn)的數(shù)據(jù)表現(xiàn)形式,廣泛存在于現(xiàn)實(shí)世界的許多應(yīng)用領(lǐng)域。人類通過(guò)對(duì)觀測(cè)和采集到的時(shí)間序列數(shù)據(jù)加以處理,可以解決決策和預(yù)測(cè)等諸多方面的問(wèn)題,尤其對(duì)于國(guó)民經(jīng)濟(jì)宏觀控制、氣象預(yù)報(bào)、地震前兆預(yù)報(bào)等現(xiàn)實(shí)應(yīng)用具有重要意義。由于不確定性數(shù)據(jù)的普遍存在,當(dāng)前基于對(duì)確定性時(shí)間序列數(shù)據(jù)的存儲(chǔ)和管理理論已經(jīng)無(wú)法適用于實(shí)際需要。首先,傳統(tǒng)時(shí)序數(shù)據(jù)庫(kù)普遍采用在分布式環(huán)境下的列式存儲(chǔ),以這種形式存儲(chǔ)不確定時(shí)間序列數(shù)據(jù)會(huì)造成存儲(chǔ)資源的浪費(fèi)。其次,相比于精確數(shù)據(jù),不確定數(shù)據(jù)中一個(gè)時(shí)間點(diǎn)上對(duì)應(yīng)多個(gè)數(shù)據(jù),使用傳統(tǒng)時(shí)序數(shù)據(jù)庫(kù)存儲(chǔ)容易造成數(shù)據(jù)的混亂。目前,針對(duì)不確定時(shí)間序列數(shù)據(jù)的存儲(chǔ)少有研究成果發(fā)表。本文致力于對(duì)不確定時(shí)間序列在關(guān)系數(shù)據(jù)庫(kù)中的存儲(chǔ)方法進(jìn)行研究,試圖在克服傳統(tǒng)數(shù)據(jù)庫(kù)缺陷的基礎(chǔ)上,尋找一種簡(jiǎn)單高效的數(shù)據(jù)存儲(chǔ)方式,實(shí)現(xiàn)不確定時(shí)間序列數(shù)據(jù)的有效存儲(chǔ)。論文的主要工作包括兩點(diǎn):1.提出一種基于關(guān)系數(shù)據(jù)庫(kù)的不確定時(shí)間序列存儲(chǔ)方法。首先,利用傳統(tǒng)結(jié)構(gòu)化表示語(yǔ)言對(duì)非結(jié)構(gòu)化不確定時(shí)間序列進(jìn)行描述,并分析其存儲(chǔ)到關(guān)系數(shù)據(jù)庫(kù)所帶來(lái)的問(wèn)題。其次,通過(guò)分析這些問(wèn)題并結(jié)合傳統(tǒng)時(shí)序數(shù)據(jù)庫(kù)的存儲(chǔ)特點(diǎn),提出了針對(duì)不確定時(shí)序存儲(chǔ)框架...
【文章來(lái)源】:南京航空航天大學(xué)江蘇省 211工程院校
【文章頁(yè)數(shù)】:79 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
圖01020304050195519601965197019751980198519901995200020052010(b)不同類型鯰魚(yú)數(shù)量同時(shí)序走勢(shì)
圖 1.3 存儲(chǔ)分析圖確定的時(shí)序數(shù)據(jù)選擇不同的存儲(chǔ)方法時(shí),已經(jīng)有許多文獻(xiàn)對(duì)此展開(kāi)討論。Google 公司提出了三篇在大數(shù)據(jù)領(lǐng)域經(jīng)典的論文(GFS/Bigtable/MapReduce[24]),這幾篇文章的出掀起了互聯(lián)網(wǎng)分布式存儲(chǔ)的熱潮。存儲(chǔ)體系的支撐體系用 GFS[22]來(lái)存儲(chǔ)數(shù)據(jù)文件和日按 SSTable 文件格式來(lái)存儲(chǔ)數(shù)據(jù),用 Chubby 管理元數(shù)據(jù),整個(gè)存儲(chǔ)體系改變了傳統(tǒng)的,采用在尾部追加數(shù)據(jù)的方式去替代原覆蓋方式。Bigtable[23]是一個(gè)稀疏的、分布式的、多維有序 Map,這張 Map 針對(duì)行鍵、列名和時(shí)間戳都建立了索引,它是以鍵值對(duì)對(duì)為問(wèn)方式,奠定了近年來(lái)列式存儲(chǔ)的基礎(chǔ)。xDB[25]是一款運(yùn)用 Go 語(yǔ)言寫(xiě)的時(shí)間序列數(shù)據(jù)庫(kù),主要依賴于 LSM tree[26],而該樹(shù)是ogle 的 Bigtable 架構(gòu),數(shù)據(jù)則是以鍵值對(duì)的方式存儲(chǔ)的。該時(shí)序數(shù)據(jù)庫(kù)存儲(chǔ)結(jié)構(gòu)實(shí)現(xiàn)了以及時(shí)間戳 2 個(gè)維度的有序存取,并通過(guò)壓縮數(shù)據(jù)來(lái)降低 I/O 開(kāi)銷,查詢一系列值時(shí),。nTSDB[27]是一種基于 HBase[23,28]的分布式,可伸縮的時(shí)間序列數(shù)據(jù)庫(kù)。HBase 中的基本單元,每個(gè)單元格可以有多個(gè)版本的數(shù)據(jù)。在物理存儲(chǔ)方面上,每個(gè)列簇都持續(xù)的存
南京航空航天大學(xué)全日制專業(yè)學(xué)位碩士學(xué)位論文于時(shí)間戳上的多個(gè)可能表示,每個(gè)值對(duì)應(yīng)于可能發(fā)生的概率,并且對(duì)應(yīng)于每個(gè)時(shí)獲取值的概率之和為 1。圖 2.2 顯示了一個(gè)離散的時(shí)間序列,其中每個(gè)點(diǎn)都有相同在進(jìn)行存儲(chǔ)時(shí),不對(duì)原始數(shù)據(jù)進(jìn)行規(guī)約,將該條序列全部進(jìn)行存儲(chǔ),在進(jìn)行相似理時(shí),考慮到每個(gè)值發(fā)生的概率,并以概率的形式進(jìn)行結(jié)果分析。這樣應(yīng)該以不方式進(jìn)行有效處理,而不是選取每個(gè)可能值,使得計(jì)算量成倍增大,降低處理效
本文編號(hào):2985940
【文章來(lái)源】:南京航空航天大學(xué)江蘇省 211工程院校
【文章頁(yè)數(shù)】:79 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
圖01020304050195519601965197019751980198519901995200020052010(b)不同類型鯰魚(yú)數(shù)量同時(shí)序走勢(shì)
圖 1.3 存儲(chǔ)分析圖確定的時(shí)序數(shù)據(jù)選擇不同的存儲(chǔ)方法時(shí),已經(jīng)有許多文獻(xiàn)對(duì)此展開(kāi)討論。Google 公司提出了三篇在大數(shù)據(jù)領(lǐng)域經(jīng)典的論文(GFS/Bigtable/MapReduce[24]),這幾篇文章的出掀起了互聯(lián)網(wǎng)分布式存儲(chǔ)的熱潮。存儲(chǔ)體系的支撐體系用 GFS[22]來(lái)存儲(chǔ)數(shù)據(jù)文件和日按 SSTable 文件格式來(lái)存儲(chǔ)數(shù)據(jù),用 Chubby 管理元數(shù)據(jù),整個(gè)存儲(chǔ)體系改變了傳統(tǒng)的,采用在尾部追加數(shù)據(jù)的方式去替代原覆蓋方式。Bigtable[23]是一個(gè)稀疏的、分布式的、多維有序 Map,這張 Map 針對(duì)行鍵、列名和時(shí)間戳都建立了索引,它是以鍵值對(duì)對(duì)為問(wèn)方式,奠定了近年來(lái)列式存儲(chǔ)的基礎(chǔ)。xDB[25]是一款運(yùn)用 Go 語(yǔ)言寫(xiě)的時(shí)間序列數(shù)據(jù)庫(kù),主要依賴于 LSM tree[26],而該樹(shù)是ogle 的 Bigtable 架構(gòu),數(shù)據(jù)則是以鍵值對(duì)的方式存儲(chǔ)的。該時(shí)序數(shù)據(jù)庫(kù)存儲(chǔ)結(jié)構(gòu)實(shí)現(xiàn)了以及時(shí)間戳 2 個(gè)維度的有序存取,并通過(guò)壓縮數(shù)據(jù)來(lái)降低 I/O 開(kāi)銷,查詢一系列值時(shí),。nTSDB[27]是一種基于 HBase[23,28]的分布式,可伸縮的時(shí)間序列數(shù)據(jù)庫(kù)。HBase 中的基本單元,每個(gè)單元格可以有多個(gè)版本的數(shù)據(jù)。在物理存儲(chǔ)方面上,每個(gè)列簇都持續(xù)的存
南京航空航天大學(xué)全日制專業(yè)學(xué)位碩士學(xué)位論文于時(shí)間戳上的多個(gè)可能表示,每個(gè)值對(duì)應(yīng)于可能發(fā)生的概率,并且對(duì)應(yīng)于每個(gè)時(shí)獲取值的概率之和為 1。圖 2.2 顯示了一個(gè)離散的時(shí)間序列,其中每個(gè)點(diǎn)都有相同在進(jìn)行存儲(chǔ)時(shí),不對(duì)原始數(shù)據(jù)進(jìn)行規(guī)約,將該條序列全部進(jìn)行存儲(chǔ),在進(jìn)行相似理時(shí),考慮到每個(gè)值發(fā)生的概率,并以概率的形式進(jìn)行結(jié)果分析。這樣應(yīng)該以不方式進(jìn)行有效處理,而不是選取每個(gè)可能值,使得計(jì)算量成倍增大,降低處理效
本文編號(hào):2985940
本文鏈接:http://sikaile.net/kejilunwen/ruanjiangongchenglunwen/2985940.html
最近更新
教材專著