發(fā)布時(shí)間：2021-05-08 11:31

　　當(dāng)前,隨著物聯(lián)網(wǎng)的不斷發(fā)展,多維時(shí)序數(shù)據(jù)不斷產(chǎn)生,為了提高查詢(xún)效率,優(yōu)化用戶(hù)查詢(xún)體驗(yàn),實(shí)現(xiàn)交互式聚合查詢(xún)成為目前亟待解決的需求。傳統(tǒng)的多維時(shí)序數(shù)據(jù)聚合查詢(xún)工作需要等待查詢(xún)?nèi)蝿?wù)執(zhí)行,獲取聚合查詢(xún)結(jié)果時(shí)存在延遲性,為解決此問(wèn)題,本文提出了多維時(shí)序數(shù)據(jù)的交互式聚合查詢(xún)方法。主要研究?jī)?nèi)容如下:1、針對(duì)海量多維時(shí)序數(shù)據(jù)聚合查詢(xún)結(jié)果存在滯后性問(wèn)題,以實(shí)現(xiàn)交互式聚合查詢(xún)?yōu)槟繕?biāo),提出多維時(shí)序數(shù)據(jù)的交互式聚合查詢(xún)方法。該方法兼顧存儲(chǔ)結(jié)構(gòu)及查詢(xún)計(jì)算優(yōu)化,設(shè)計(jì)了合理的存儲(chǔ)結(jié)構(gòu)與索引結(jié)構(gòu),達(dá)到交互式聚合查詢(xún)效果。2、針對(duì)時(shí)序數(shù)據(jù)的高維度特點(diǎn)導(dǎo)致的多維時(shí)序數(shù)據(jù)聚合查詢(xún)磁盤(pán)IO開(kāi)銷(xiāo)大的問(wèn)題,提出了基于位圖索引的查詢(xún)優(yōu)化方法。詳細(xì)介紹了該索引優(yōu)化方法中索引構(gòu)建與壓縮等技術(shù),并設(shè)計(jì)了基于位圖索引的查詢(xún)。實(shí)驗(yàn)表明通過(guò)位圖索引技術(shù)提高了多維時(shí)序數(shù)據(jù)聚合查詢(xún)的速度。3、針對(duì)內(nèi)存計(jì)算快但容量有限的問(wèn)題,提出了基于內(nèi)存調(diào)優(yōu)的查詢(xún)加速方法,包括最優(yōu)預(yù)聚合任務(wù)選擇算法和優(yōu)化的內(nèi)存替換策。最優(yōu)預(yù)聚合任務(wù)選擇算法選擇盡量多的預(yù)聚合任務(wù)放置于內(nèi)存中,內(nèi)存替換策略將熱數(shù)據(jù)替換入內(nèi)存,阻止預(yù)測(cè)為冷數(shù)據(jù)的數(shù)據(jù)其進(jìn)入內(nèi)存,提高內(nèi)存命中率。實(shí)驗(yàn)表... 

【文章來(lái)源】：北方工業(yè)大學(xué)北京市

【文章頁(yè)數(shù)】：73 頁(yè)

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
ABSTRACT
第一章 緒論
    1.1 研究背景
    1.2 研究問(wèn)題
    1.3 研究?jī)?nèi)容
    1.4 研究現(xiàn)狀
        1.4.1 聚合查詢(xún)
        1.4.2 時(shí)序數(shù)據(jù)庫(kù)
        1.4.3 內(nèi)存替換策略
    1.5 文章結(jié)構(gòu)
第二章 相關(guān)技術(shù)
    2.1 時(shí)序數(shù)據(jù)存儲(chǔ)技術(shù)
        2.1.1 TSM TREE數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)
        2.1.2 HBase面向列的分布式數(shù)據(jù)庫(kù)
        2.1.3 HADOOP分布式文件系統(tǒng)
    2.2 交互式聚合查詢(xún)技術(shù)
        2.2.1 DRUID時(shí)序數(shù)據(jù)庫(kù)
        2.2.2 Bitmap索引
        2.2.3 內(nèi)存存儲(chǔ)結(jié)構(gòu)
        2.2.4 常見(jiàn)內(nèi)存替換策略
    2.3 本章總結(jié)
第三章 多維時(shí)序數(shù)據(jù)的交互式聚合查詢(xún)方法
    3.1 交互式聚合查詢(xún)思想
    3.2 系統(tǒng)模型架構(gòu)設(shè)計(jì)
    3.3 交互式聚合查詢(xún)方法
        3.3.1 基于TSM-TREE與 Bitmap索引聚合查詢(xún)方法
        3.3.2 基于內(nèi)存存儲(chǔ)結(jié)構(gòu)與LAMBDA架構(gòu)的交互式聚合查詢(xún)方法
    3.4 本章總結(jié)
第四章 基于位圖索引的查詢(xún)優(yōu)化方法
    4.1 問(wèn)題分析
    4.2 位圖索引設(shè)計(jì)
        4.2.1 位圖索引的寫(xiě)入與構(gòu)建
        4.2.2 位圖索引的壓縮
        4.2.3 基于位圖索引的查詢(xún)
    4.3 實(shí)驗(yàn)與分析
        4.3.1 實(shí)驗(yàn)過(guò)程和結(jié)論
        4.3.2 實(shí)驗(yàn)結(jié)果分析
        4.3.3 空間復(fù)雜度分析
    4.4 本章總結(jié)
第五章 基于內(nèi)存調(diào)優(yōu)的查詢(xún)加速方法
    5.1 問(wèn)題分析
    5.2 數(shù)據(jù)預(yù)聚合
        5.2.1 最優(yōu)預(yù)聚合任務(wù)選擇算法
        5.2.2 實(shí)驗(yàn)過(guò)程和結(jié)論
        5.2.3 實(shí)驗(yàn)結(jié)果分析
    5.3 內(nèi)存替換
        5.3.1 LRFU-AR內(nèi)存替換策略
        5.3.2 實(shí)驗(yàn)過(guò)程和結(jié)論
        5.3.3 實(shí)驗(yàn)結(jié)果分析
    5.4 本章總結(jié)
第六章 系統(tǒng)實(shí)現(xiàn)
    6.1 系統(tǒng)架構(gòu)設(shè)計(jì)
    6.2 系統(tǒng)模塊設(shè)計(jì)
        6.2.1 系統(tǒng)總體查詢(xún)模塊
        6.2.2 系統(tǒng)實(shí)時(shí)聚合查詢(xún)模塊
        6.2.3 系統(tǒng)歷史聚合查詢(xún)模塊
    6.3 系統(tǒng)效果展示
    6.4 本章總結(jié)
第七章 結(jié)論與展望
    7.1 主要結(jié)論
    7.2 研究展望
參考文獻(xiàn)
在學(xué)期間的研究成果
致謝


【參考文獻(xiàn)】：
期刊論文
[1]用于智能電表數(shù)據(jù)分析的大數(shù)據(jù)平臺(tái)[J]. 葉海峰,陳存林,張煒,劉路登,朱剛剛.  信息技術(shù). 2020(01)
[2]HOS:一種基于HBase的分布式存儲(chǔ)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J]. 季一木,張寧,堯海昌,李奎,李航,劉尚東,王汝傳.  南京郵電大學(xué)學(xué)報(bào)(自然科學(xué)版). 2019(05)
[3]基于influxDB的工業(yè)時(shí)序數(shù)據(jù)庫(kù)引擎設(shè)計(jì)[J]. 徐化巖,初彥龍.  計(jì)算機(jī)應(yīng)用與軟件. 2019(09)
[4]An improved HASM method for dealing with large spatial data sets[J]. Na ZHAO,Tianxiang YUE,Chuanfa CHEN,Miaomiao ZHAO,Zhengping DU.  Science China（Earth Sciences）. 2018(08)
[5]基于Hadoop平臺(tái)的數(shù)據(jù)遷移方法研究實(shí)現(xiàn)[J]. 王銘,田茂,趙鑫,金山城.  計(jì)算機(jī)測(cè)量與控制. 2018(04)
[6]邊緣計(jì)算參考架構(gòu)2.0（中）[J].   自動(dòng)化博覽. 2018(02)
[7]結(jié)合HBase的散列概要森林索引方案[J]. 馮詩(shī)淳,曹斌,晁德文,林博,尹建偉.  小型微型計(jì)算機(jī)系統(tǒng). 2018(01)
[8]基于Hadoop生態(tài)環(huán)境的大數(shù)據(jù)平臺(tái)在電網(wǎng)公司海量數(shù)據(jù)準(zhǔn)實(shí)時(shí)處理中的應(yīng)用[J]. 苑立民,郝成亮,劉昶,徐峰,潘建宏,張凱.  大眾用電. 2017(S1)
[9]大數(shù)據(jù)熱點(diǎn)技術(shù)綜述[J]. 陳軍成,丁治明,高需.  北京工業(yè)大學(xué)學(xué)報(bào). 2017(03)
[10]基于分布式文件電力異構(gòu)數(shù)據(jù)存儲(chǔ)綜述[J]. 張琦,陳艷,張春平,劉銘.  計(jì)算機(jī)系統(tǒng)應(yīng)用. 2017(02)

碩士論文
[1]基于壓縮位圖索引的RDF數(shù)據(jù)存儲(chǔ)與管理[D]. 姜偉.北京交通大學(xué) 2017
[2]面向?qū)崟r(shí)交通流數(shù)據(jù)的HBase輔助索引技術(shù)研究和實(shí)現(xiàn)[D]. 李冬.北方工業(yè)大學(xué) 2017
[3]LRFU及其自適應(yīng)算法的研究[D]. 還璋武.安徽工業(yè)大學(xué) 2016
[4]基于HBase的交通流數(shù)據(jù)實(shí)時(shí)存儲(chǔ)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 陸婷.北方工業(yè)大學(xué) 2016
[5]多維數(shù)據(jù)可視化方法研究[D]. 張魯營(yíng).北京交通大學(xué) 2016
[6]時(shí)間序列數(shù)據(jù)相似性與聚合top-k查詢(xún)算法研究與應(yīng)用[D]. 鐘麗娟.浙江大學(xué) 2016
[7]基于數(shù)據(jù)庫(kù)的Summary查詢(xún)研究[D]. 王丹.東北大學(xué) 2013
[8]基于聚合函數(shù)的物化視圖關(guān)鍵技術(shù)的研究[D]. 張茜.南京理工大學(xué) 2010
[9]查詢(xún)優(yōu)化技術(shù)研究及在油井施工設(shè)計(jì)中的應(yīng)用[D]. 左杰.大連理工大學(xué) 2008



本文編號(hào)：3175263