在工業(yè)4.0的背景下,物聯(lián)網(wǎng)相關技術的逐步興起使其終端設備產(chǎn)生了愈來愈多的數(shù)據(jù),對海量的數(shù)據(jù)需要借助大數(shù)據(jù)、數(shù)據(jù)挖掘等技術進行處理和分析。在實際應用中大量的設備傳感器數(shù)據(jù)存在著許多可供壓縮的冗余信息,需要在數(shù)據(jù)存儲過程中進行壓縮存儲以縮減其數(shù)據(jù)規(guī)模,存儲壓縮后的數(shù)據(jù)還應滿足用戶提供實時的查詢檢索功能。另外設備運行過程中積累的大量運行數(shù)據(jù)也為數(shù)據(jù)的挖掘提供了基礎,可用于對設備的運行狀態(tài)進行分析,例如對設備工況進行識別。針對以上需求,本文在建立設備大數(shù)據(jù)平臺的基礎上進一步提出設備數(shù)據(jù)存儲壓縮查詢以及工況聚類算法,主要研究內(nèi)容如下:（1）面向設備的全生命周期以及設備信息分析共享的需求,建立設備大數(shù)據(jù)存儲分析管理平臺。平臺底層對數(shù)據(jù)格式進行解析之后存儲至HBase中,HDFS用于存儲底層數(shù)據(jù)的原始文件,Spark作為計算引擎可用于數(shù)據(jù)指標的再計算,同時數(shù)據(jù)平臺應用層還可用于設備數(shù)據(jù)的可視化顯示操作。（2）針對設備數(shù)據(jù)在存儲過程中存在的大量冗余信息,本文提出查詢壓縮方案以減少數(shù)據(jù)存儲空間。將數(shù)據(jù)按不同的數(shù)據(jù)通道分別進行壓縮后存儲至HDFS中,并將存儲的文件塊信息寫入到數(shù)據(jù)庫中。接收到查詢請求后,... 

【文章來源】：北京交通大學北京市 211工程院校 教育部直屬院校

【文章頁數(shù)】：66 頁

【學位級別】：碩士

【文章目錄】：
致謝
摘要
ABSTRACT
1 引言
    1.1 研究背景及意義
    1.2 國內(nèi)外研究現(xiàn)狀
        1.2.1 工業(yè)大數(shù)據(jù)平臺發(fā)展現(xiàn)狀
        1.2.2 數(shù)據(jù)查詢壓縮算法研究現(xiàn)狀
        1.2.3 設備工況識別算法
    1.3 本文研究內(nèi)容及主要貢獻
    1.4 論文章節(jié)安排
    1.5 本章小結
2 設備傳感器及日志大數(shù)據(jù)平臺建設
    2.1 大數(shù)據(jù)平臺總體需求概述
    2.2 大數(shù)據(jù)平臺系統(tǒng)架構設計
        2.2.1 系統(tǒng)功能架構設計
        2.2.2 系統(tǒng)物理架構設計
        2.2.3 系統(tǒng)軟件支撐
    2.3 數(shù)據(jù)存儲結構以及應用接口實現(xiàn)
        2.3.1 HDFS存儲文件設計
        2.3.2 HBASE表結構設計
        2.3.3 交互接口設計
    2.4 本章小結
3 結構化設備大數(shù)據(jù)壓縮存儲與查詢方案
    3.1 數(shù)據(jù)壓縮存儲算法概述
        3.1.1 數(shù)據(jù)壓縮算法原理
        3.1.2 Hadoop結構化數(shù)據(jù)存儲
    3.2 查詢壓縮算法方案設計
        3.2.1 算法整體方案概述
        3.2.2 文件查詢與索引策略
    3.3 文件Web瀏覽器設計及查詢可視化
    3.4 系統(tǒng)測試和結果
        3.4.1 數(shù)據(jù)存儲層測試
        3.4.2 數(shù)據(jù)應用層測試
    3.5 本章小結
4 設備時間序列數(shù)據(jù)工況聚類算法
    4.1 設備數(shù)據(jù)預處理概述
    4.2 時間序列預處理技術
        4.2.1 序列標準化及主成分分析
        4.2.2 時間序列滑動窗口模型
    4.3 設備數(shù)據(jù)工況聚類算法
        4.3.1 時間序列聚類算法介紹
        4.3.2 相關聚類算法原理
        4.3.3 評價指標
    4.4 實驗結果與分析
    4.5 本章小結
5 總結和展望
    5.1 工作總結
    5.2 工作展望
參考文獻
作者簡歷及攻讀碩士學位期間取得的研究成果
學位論文數(shù)據(jù)集


【參考文獻】：
期刊論文
[1]大數(shù)據(jù)技術應用現(xiàn)狀及發(fā)展趨勢研究[J]. 唐俊林.  信息記錄材料. 2018(12)
[2]行列混合存儲的數(shù)據(jù)壓縮策略研究[J]. 魏玲,郭新朋.  小型微型計算機系統(tǒng). 2017(06)
[3]工業(yè)物聯(lián)網(wǎng)大數(shù)據(jù)平臺在工程機械行業(yè)的應用[J]. 張啟亮,韓鍵,姜麗萍.  信息技術與標準化. 2017(04)
[4]基于Hadoop平臺的數(shù)據(jù)壓縮技術研究[J]. 王菊,徐董冬.  數(shù)字技術與應用. 2016(08)
[5]無損數(shù)據(jù)壓縮與解壓算法的介紹與實現(xiàn)[J]. 余興閣.  信息與電腦(理論版). 2016(01)
[6]一種基于k-均值的DBSCAN算法參數(shù)動態(tài)選擇方法[J]. 王兆豐,單甘霖.  計算機工程與應用. 2017(03)
[7]工業(yè)4.0時代的信息化系統(tǒng)體系結構研究[J]. 嚴新金,彭發(fā)強,王錦蘭,林曄琛,胡國良.  中國管理信息化. 2015(10)
[8]基于支持向量機的風電機組運行工況分類方法[J]. 劉永前,王飛,時文剛,卓越.  太陽能學報. 2010(09)
[9]空調節(jié)能多工況分區(qū)控制及專家系統(tǒng)的實現(xiàn)[J]. 高巖,龔至豪,黃鴻.  北京理工大學學報. 1997(03)

碩士論文
[1]基于大數(shù)據(jù)的電力系統(tǒng)信息質量評估[D]. 焦亞菲.華北電力大學 2017
[2]基于實測時間序列的風電場機群劃分研究[D]. 李詩童.華北電力大學(北京) 2017
[3]工業(yè)大數(shù)據(jù)環(huán)境下的混合故障診斷模型研究[D]. 鐘福磊.西安電子科技大學 2015
[4]四川移動PUSH信息服務云模塊的設計與實現(xiàn)[D]. 譚典.電子科技大學 2015
[5]Hadoop平臺上結構化數(shù)據(jù)的壓縮技術研究與實現(xiàn)[D]. 田波.東華大學 2015
[6]基于MVC的DB公司采購平臺測試管理軟件設計[D]. 劉悅.復旦大學 2012



本文編號：3471759