結(jié)合自身工作,本文以新疆農(nóng)業(yè)大學科學技術學院集中供熱系統(tǒng)的具體工程項目,利用大數(shù)據(jù)分析與挖掘技術深入研究傳感器海量時間序列的存儲、分布式環(huán)境下的相似性查詢以及數(shù)據(jù)可視化技術,從而進行供熱系統(tǒng)的智能監(jiān)測和控制,達到節(jié)能環(huán)保的目的。在溫度監(jiān)測過程中,隨著時間的推移,傳感會產(chǎn)生海量的時間序列數(shù)據(jù),海量數(shù)據(jù)的存儲是一個重要技術;而數(shù)據(jù)序列的相關性計算,又是時間序列分析中的基礎操作�；贖Base數(shù)據(jù)庫計算長時間序列（比如:1赫茲的傳感器,連續(xù)產(chǎn)生1年的序列長度可達10⁷數(shù)量級）之間的相關性,會產(chǎn)生大量的I/O和網(wǎng)絡通信數(shù)據(jù),這使得難以應用交互式查詢。為了解決這個問題,架設了基于Hadoop和HBase的存儲和計算平臺,設計了海量時間序列數(shù)據(jù)的存儲和計算框架,并且設計了相關性計算分布式處理方法,最后將該方法應用于工程實踐當中,挖掘價值信息并實現(xiàn)數(shù)據(jù)的可視化。在具體應用中,本項目設計的平臺和計算方法的有效性和效率都得到了驗證。具體來說,本文解決的關鍵技術問題是:（1）建立分布式存儲和計算平臺,設計了針對海量時間序列數(shù)據(jù)的分布式存儲方法,針對非主鍵查詢設計HBase二級索引;（... 

【文章來源】：大連理工大學遼寧省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：72 頁

【學位級別】：碩士

【文章目錄】：
摘要
Abstract
引言
1 緒論
    1.1 研究背景及問題提出
    1.2 國內(nèi)外研究現(xiàn)狀
        1.2.1 國外研究現(xiàn)狀
        1.2.2 國內(nèi)研究現(xiàn)狀
    1.3 本文研究內(nèi)容
    1.4 論文結(jié)構(gòu)與安排
2 傳感器網(wǎng)絡海量數(shù)據(jù)存儲及計算的關鍵技術
    2.1 時間序列數(shù)據(jù)定義
    2.2 MapReduce論述
        2.2.1 MapReduce簡要分析
        2.2.2 MapReduce計算框架
    2.3 Hadoop和 HBase基本理論
        2.3.1 Hadoop簡要分析
        2.3.2 HBase簡要分析
    2.4 時間序列數(shù)據(jù)存儲分析
    2.5 數(shù)據(jù)索引技術分析
        2.5.1 全局分布式索引
        2.5.2 分片位圖索引
        2.5.3 基于Hadoop框架索引技術
        2.5.4 二級索引設計分析
        2.5.5 檢索數(shù)據(jù)相似性
        2.5.6 數(shù)據(jù)的高維相似性檢索
    2.6 本章小結(jié)
3 基于Hadoop、HBase的大數(shù)據(jù)處理平臺的實現(xiàn)
    3.1 系統(tǒng)平臺環(huán)境部署
        3.1.1 Hadoop集群環(huán)境設計
        3.1.2 安裝配置環(huán)境
        3.1.3 免密碼的遠程登錄協(xié)議配置
        3.1.4 配置防火墻
        3.1.5 安裝配置Java
    3.2 安裝配置Hadoop
    3.3 安裝配置HBase
    3.4 Hadoop和 HBase安裝總結(jié)
    3.5 本章小結(jié)
4 系統(tǒng)設計與架構(gòu)
    4.1 提出問題及思路
    4.2 系統(tǒng)總體設計
    4.3 數(shù)據(jù)來源層
        4.3.1 溫度數(shù)據(jù)采集
    4.4 數(shù)據(jù)管理層
        4.4.1 HBase數(shù)據(jù)模型
        4.4.2 基于HBase的時間序列存儲
        4.4.3 分布式存儲模型
        4.4.4 時間序列數(shù)據(jù)結(jié)構(gòu)化存儲設計
        4.4.5 數(shù)據(jù)層的設計
    4.5 數(shù)據(jù)顯示層
    4.6 本章小結(jié)
5 時間序列相關系數(shù)估算算法
    5.1 相關系數(shù)算法及估算方法的概述
    5.2 TSDC(Time Series Data Computation)算法
    5.3 基于HBase平臺進行上下界估算
    5.4 時間序列相關系數(shù)近似值的計算方法
    5.5 針對長序列的快速估算方法
    5.6 算法復雜度分析
    5.7 實驗結(jié)果
        5.7.1 數(shù)據(jù)集
        5.7.2 實驗環(huán)境
        5.7.3 實驗對比算法結(jié)果分析
    5.8 本章小結(jié)
6 溫度數(shù)據(jù)趨勢查詢和可視化
    6.1 粒度的選擇
    6.2 查詢流程
    6.3 數(shù)據(jù)可視化
    6.4 可視化結(jié)果
        6.4.1 界面設計及效果
        6.4.2 數(shù)據(jù)圖表展示設計
        6.4.3 系統(tǒng)平臺展示
    6.5 系統(tǒng)運行數(shù)據(jù)比對
    6.6 本章小結(jié)
7 總結(jié)與展望
參考文獻
致謝


【參考文獻】：
期刊論文
[1]海量數(shù)據(jù)下基于Hadoop的分布式FP-Growth算法[J]. 朱顥東,薛校博,李紅嬋,孟潁輝.  輕工學報. 2018(05)
[2]基于分布式平臺Spark的空間文本查詢分析[J]. 徐陽,王志杰,錢詩友.  華東師范大學學報(自然科學版). 2018(05)
[3]城市燃氣規(guī)劃設計問題研究[J]. 鄧苗苗.  化工管理. 2018(13)
[4]大數(shù)據(jù)相似性連接查詢技術研究進展[J]. 馬友忠,張智輝,林春杰.  計算機應用. 2018(04)
[5]多維時空數(shù)據(jù)協(xié)同可視分析方法[J]. 周志光,孫暢,樂丹丹,石晨,劉玉華.  計算機輔助設計與圖形學學報. 2017(12)
[6]我國集中供熱的現(xiàn)狀與對策[J]. 石賀.  山西建筑. 2017(15)
[7]大數(shù)據(jù)處理對電子商務的影響與服務模式創(chuàng)新[J]. 趙明媚.  赤峰學院學報(自然科學版). 2016(21)
[8]基于MapReduce與項目分類的協(xié)同過濾算法[J]. 程曦,陳軍.  計算機工程. 2016(07)
[9]云數(shù)據(jù)管理索引技術研究[J]. 馬友忠,孟小峰.  軟件學報. 2015(01)
[10]四元樹算法在地理國情普查生產(chǎn)管理系統(tǒng)中的應用[J]. 李鎮(zhèn)洲,張學之,趙鐵鋒.  測繪與空間地理信息. 2014(06)

碩士論文
[1]時變數(shù)據(jù)可視化系統(tǒng)的研究與實現(xiàn)[D]. 王子慧.北京郵電大學 2019
[2]基于Hadoop平臺的個性化圖書推薦系統(tǒng)的研究[D]. 張春.安徽工業(yè)大學 2017
[3]新華網(wǎng)數(shù)據(jù)新聞欄目研究[D]. 董曉宇.內(nèi)蒙古大學 2017
[4]分布式存儲系統(tǒng)中的高效數(shù)據(jù)獲取技術[D]. 洪揚.上海交通大學 2017
[5]基于云計算的視頻處理技術研究及其應用[D]. 孫富.南京郵電大學 2016
[6]自助銀行信息管理系統(tǒng)的設計與實現(xiàn)[D]. 孫青.浙江工業(yè)大學 2016
[7]基于MapReduce的高校大數(shù)據(jù)分析挖掘[D]. 司雅楠.河南師范大學 2016
[8]新型互聯(lián)網(wǎng)服務注冊查詢系統(tǒng)設計與優(yōu)化[D]. 胡鴻.北京交通大學 2016
[9]一種基于OpenTSDB的海量實時數(shù)據(jù)存儲系統(tǒng)[D]. 單若琦.華南理工大學 2016
[10]大數(shù)據(jù)環(huán)境下時空多維數(shù)據(jù)可視化研究[D]. 王瑞松.浙江大學 2016



本文編號：3250502