結(jié)合自身工作,本文以新疆農(nóng)業(yè)大學(xué)科學(xué)技術(shù)學(xué)院集中供熱系統(tǒng)的具體工程項目,利用大數(shù)據(jù)分析與挖掘技術(shù)深入研究傳感器海量時間序列的存儲、分布式環(huán)境下的相似性查詢以及數(shù)據(jù)可視化技術(shù),從而進行供熱系統(tǒng)的智能監(jiān)測和控制,達到節(jié)能環(huán)保的目的。在溫度監(jiān)測過程中,隨著時間的推移,傳感會產(chǎn)生海量的時間序列數(shù)據(jù),海量數(shù)據(jù)的存儲是一個重要技術(shù);而數(shù)據(jù)序列的相關(guān)性計算,又是時間序列分析中的基礎(chǔ)操作�；贖Base數(shù)據(jù)庫計算長時間序列（比如:1赫茲的傳感器,連續(xù)產(chǎn)生1年的序列長度可達10⁷數(shù)量級）之間的相關(guān)性,會產(chǎn)生大量的I/O和網(wǎng)絡(luò)通信數(shù)據(jù),這使得難以應(yīng)用交互式查詢。為了解決這個問題,架設(shè)了基于Hadoop和HBase的存儲和計算平臺,設(shè)計了海量時間序列數(shù)據(jù)的存儲和計算框架,并且設(shè)計了相關(guān)性計算分布式處理方法,最后將該方法應(yīng)用于工程實踐當中,挖掘價值信息并實現(xiàn)數(shù)據(jù)的可視化。在具體應(yīng)用中,本項目設(shè)計的平臺和計算方法的有效性和效率都得到了驗證。具體來說,本文解決的關(guān)鍵技術(shù)問題是:（1）建立分布式存儲和計算平臺,設(shè)計了針對海量時間序列數(shù)據(jù)的分布式存儲方法,針對非主鍵查詢設(shè)計HBase二級索引;（... 

【文章來源】：大連理工大學(xué)遼寧省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：72 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
Abstract
引言
1 緒論
    1.1 研究背景及問題提出
    1.2 國內(nèi)外研究現(xiàn)狀
        1.2.1 國外研究現(xiàn)狀
        1.2.2 國內(nèi)研究現(xiàn)狀
    1.3 本文研究內(nèi)容
    1.4 論文結(jié)構(gòu)與安排
2 傳感器網(wǎng)絡(luò)海量數(shù)據(jù)存儲及計算的關(guān)鍵技術(shù)
    2.1 時間序列數(shù)據(jù)定義
    2.2 MapReduce論述
        2.2.1 MapReduce簡要分析
        2.2.2 MapReduce計算框架
    2.3 Hadoop和 HBase基本理論
        2.3.1 Hadoop簡要分析
        2.3.2 HBase簡要分析
    2.4 時間序列數(shù)據(jù)存儲分析
    2.5 數(shù)據(jù)索引技術(shù)分析
        2.5.1 全局分布式索引
        2.5.2 分片位圖索引
        2.5.3 基于Hadoop框架索引技術(shù)
        2.5.4 二級索引設(shè)計分析
        2.5.5 檢索數(shù)據(jù)相似性
        2.5.6 數(shù)據(jù)的高維相似性檢索
    2.6 本章小結(jié)
3 基于Hadoop、HBase的大數(shù)據(jù)處理平臺的實現(xiàn)
    3.1 系統(tǒng)平臺環(huán)境部署
        3.1.1 Hadoop集群環(huán)境設(shè)計
        3.1.2 安裝配置環(huán)境
        3.1.3 免密碼的遠程登錄協(xié)議配置
        3.1.4 配置防火墻
        3.1.5 安裝配置Java
    3.2 安裝配置Hadoop
    3.3 安裝配置HBase
    3.4 Hadoop和 HBase安裝總結(jié)
    3.5 本章小結(jié)
4 系統(tǒng)設(shè)計與架構(gòu)
    4.1 提出問題及思路
    4.2 系統(tǒng)總體設(shè)計
    4.3 數(shù)據(jù)來源層
        4.3.1 溫度數(shù)據(jù)采集
    4.4 數(shù)據(jù)管理層
        4.4.1 HBase數(shù)據(jù)模型
        4.4.2 基于HBase的時間序列存儲
        4.4.3 分布式存儲模型
        4.4.4 時間序列數(shù)據(jù)結(jié)構(gòu)化存儲設(shè)計
        4.4.5 數(shù)據(jù)層的設(shè)計
    4.5 數(shù)據(jù)顯示層
    4.6 本章小結(jié)
5 時間序列相關(guān)系數(shù)估算算法
    5.1 相關(guān)系數(shù)算法及估算方法的概述
    5.2 TSDC(Time Series Data Computation)算法
    5.3 基于HBase平臺進行上下界估算
    5.4 時間序列相關(guān)系數(shù)近似值的計算方法
    5.5 針對長序列的快速估算方法
    5.6 算法復(fù)雜度分析
    5.7 實驗結(jié)果
        5.7.1 數(shù)據(jù)集
        5.7.2 實驗環(huán)境
        5.7.3 實驗對比算法結(jié)果分析
    5.8 本章小結(jié)
6 溫度數(shù)據(jù)趨勢查詢和可視化
    6.1 粒度的選擇
    6.2 查詢流程
    6.3 數(shù)據(jù)可視化
    6.4 可視化結(jié)果
        6.4.1 界面設(shè)計及效果
        6.4.2 數(shù)據(jù)圖表展示設(shè)計
        6.4.3 系統(tǒng)平臺展示
    6.5 系統(tǒng)運行數(shù)據(jù)比對
    6.6 本章小結(jié)
7 總結(jié)與展望
參考文獻
致謝


【參考文獻】：
期刊論文
[1]海量數(shù)據(jù)下基于Hadoop的分布式FP-Growth算法[J]. 朱顥東,薛校博,李紅嬋,孟潁輝.  輕工學(xué)報. 2018(05)
[2]基于分布式平臺Spark的空間文本查詢分析[J]. 徐陽,王志杰,錢詩友.  華東師范大學(xué)學(xué)報(自然科學(xué)版). 2018(05)
[3]城市燃氣規(guī)劃設(shè)計問題研究[J]. 鄧苗苗.  化工管理. 2018(13)
[4]大數(shù)據(jù)相似性連接查詢技術(shù)研究進展[J]. 馬友忠,張智輝,林春杰.  計算機應(yīng)用. 2018(04)
[5]多維時空數(shù)據(jù)協(xié)同可視分析方法[J]. 周志光,孫暢,樂丹丹,石晨,劉玉華.  計算機輔助設(shè)計與圖形學(xué)學(xué)報. 2017(12)
[6]我國集中供熱的現(xiàn)狀與對策[J]. 石賀.  山西建筑. 2017(15)
[7]大數(shù)據(jù)處理對電子商務(wù)的影響與服務(wù)模式創(chuàng)新[J]. 趙明媚.  赤峰學(xué)院學(xué)報(自然科學(xué)版). 2016(21)
[8]基于MapReduce與項目分類的協(xié)同過濾算法[J]. 程曦,陳軍.  計算機工程. 2016(07)
[9]云數(shù)據(jù)管理索引技術(shù)研究[J]. 馬友忠,孟小峰.  軟件學(xué)報. 2015(01)
[10]四元樹算法在地理國情普查生產(chǎn)管理系統(tǒng)中的應(yīng)用[J]. 李鎮(zhèn)洲,張學(xué)之,趙鐵鋒.  測繪與空間地理信息. 2014(06)

碩士論文
[1]時變數(shù)據(jù)可視化系統(tǒng)的研究與實現(xiàn)[D]. 王子慧.北京郵電大學(xué) 2019
[2]基于Hadoop平臺的個性化圖書推薦系統(tǒng)的研究[D]. 張春.安徽工業(yè)大學(xué) 2017
[3]新華網(wǎng)數(shù)據(jù)新聞欄目研究[D]. 董曉宇.內(nèi)蒙古大學(xué) 2017
[4]分布式存儲系統(tǒng)中的高效數(shù)據(jù)獲取技術(shù)[D]. 洪揚.上海交通大學(xué) 2017
[5]基于云計算的視頻處理技術(shù)研究及其應(yīng)用[D]. 孫富.南京郵電大學(xué) 2016
[6]自助銀行信息管理系統(tǒng)的設(shè)計與實現(xiàn)[D]. 孫青.浙江工業(yè)大學(xué) 2016
[7]基于MapReduce的高校大數(shù)據(jù)分析挖掘[D]. 司雅楠.河南師范大學(xué) 2016
[8]新型互聯(lián)網(wǎng)服務(wù)注冊查詢系統(tǒng)設(shè)計與優(yōu)化[D]. 胡鴻.北京交通大學(xué) 2016
[9]一種基于OpenTSDB的海量實時數(shù)據(jù)存儲系統(tǒng)[D]. 單若琦.華南理工大學(xué) 2016
[10]大數(shù)據(jù)環(huán)境下時空多維數(shù)據(jù)可視化研究[D]. 王瑞松.浙江大學(xué) 2016



本文編號：3250502