本文關(guān)鍵詞：大數(shù)據(jù)分析在智能變電站狀態(tài)監(jiān)測(cè)系統(tǒng)中的應(yīng)用研究

  更多相關(guān)文章： 狀態(tài)監(jiān)測(cè) 大數(shù)據(jù) 聯(lián)機(jī)分析 數(shù)據(jù)模型 層次編碼

【摘要】：隨著云計(jì)算、大數(shù)據(jù)處理等相關(guān)領(lǐng)域技術(shù)以及狀態(tài)監(jiān)測(cè)技術(shù)本身的迅猛發(fā)展,在智能變電站狀態(tài)監(jiān)測(cè)中得到廣泛地應(yīng)用。變電設(shè)備狀態(tài)監(jiān)測(cè)數(shù)據(jù)量呈現(xiàn)指數(shù)級(jí)增長(zhǎng),給傳統(tǒng)的變電設(shè)備狀態(tài)監(jiān)測(cè)數(shù)據(jù)平臺(tái)的存儲(chǔ)、管理與分析能力帶來(lái)了極大的挑戰(zhàn),而現(xiàn)有硬件所提供的計(jì)算和存儲(chǔ)能力已難以適應(yīng)未來(lái)電力企業(yè)數(shù)據(jù)存儲(chǔ)優(yōu)化與并行處理的要求。將大數(shù)據(jù)分析技術(shù)融入到變電設(shè)備狀態(tài)監(jiān)測(cè)中,可以提高狀態(tài)監(jiān)測(cè)數(shù)據(jù)的利用率、信息共享與數(shù)據(jù)分析能力。本文首先結(jié)合電力系統(tǒng)業(yè)務(wù)發(fā)展需求,給出了一種傳統(tǒng)變電設(shè)備狀態(tài)監(jiān)測(cè)平臺(tái)的架構(gòu)方案。然后,鑒于傳統(tǒng)狀態(tài)監(jiān)測(cè)平臺(tái)存儲(chǔ)性能差、分析效率低等問(wèn)題,設(shè)計(jì)了一種大數(shù)據(jù)環(huán)境下變電設(shè)備狀態(tài)監(jiān)測(cè)數(shù)據(jù)平臺(tái),提出了基于Hive的關(guān)系型聯(lián)機(jī)分析(ROLAP)、基于Impala的關(guān)系型聯(lián)機(jī)分析(ROLAP)和基于HBase的多維聯(lián)機(jī)分析(MOLAP)三種分布式數(shù)據(jù)分析方案。同時(shí),設(shè)計(jì)了基于Hive的分布式ROLAP星型模型及狀態(tài)監(jiān)測(cè)平臺(tái)的工作流程。常規(guī)數(shù)據(jù)模型涉及大量的維表和事實(shí)表之間的映射運(yùn)算,導(dǎo)致數(shù)據(jù)分析的響應(yīng)速度慢、開(kāi)銷(xiāo)大等問(wèn)題。針對(duì)該問(wèn)題,本文提出一種基于無(wú)連接層次編碼的變電設(shè)備狀態(tài)監(jiān)測(cè)數(shù)據(jù)模型,該模型把維表的層次信息進(jìn)行編碼,壓縮至事實(shí)表中,減少大量連接操作,以優(yōu)化其性能。由于Hadoop平臺(tái)具有易擴(kuò)展、可靠性高、高效的設(shè)備利用率等特點(diǎn),本文利用Hadoop分布式集群搭建變電設(shè)備狀態(tài)監(jiān)測(cè)實(shí)驗(yàn)平臺(tái),采用Hive和Impala等大數(shù)據(jù)分析工具,在不同規(guī)模監(jiān)測(cè)數(shù)據(jù)集上對(duì)本模型的監(jiān)測(cè)數(shù)據(jù)加載、上卷操作、存儲(chǔ)開(kāi)銷(xiāo)等方面進(jìn)行實(shí)驗(yàn)測(cè)試。實(shí)驗(yàn)結(jié)果表明,數(shù)據(jù)加載速度慢于常規(guī)模型,但上卷執(zhí)行性能與存儲(chǔ)開(kāi)銷(xiāo)均優(yōu)于常規(guī)數(shù)模模型。通過(guò)實(shí)驗(yàn)驗(yàn)證了本模型的有效性與可行性,本模型能夠解決分布式ROLAP大量繁瑣的表之間的連接操作,從而更加適合在大規(guī)模、分布式集群上執(zhí)行大數(shù)據(jù)分析,給變電設(shè)備狀態(tài)監(jiān)測(cè)大數(shù)據(jù)分析帶來(lái)一種新的思路。
【關(guān)鍵詞】：狀態(tài)監(jiān)測(cè) 大數(shù)據(jù) 聯(lián)機(jī)分析 數(shù)據(jù)模型 層次編碼
【學(xué)位授予單位】：華北電力大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類(lèi)號(hào)】：TM63;TM76;TP311.13
【目錄】：

• 摘要5-6
• ABSTRACT6-10
• 第1章 緒論10-15
• 1.1 課題研究的背景和意義10-11
• 1.2 國(guó)內(nèi)外研究現(xiàn)狀11-13
• 1.2.1 變電設(shè)備狀態(tài)監(jiān)測(cè)數(shù)據(jù)分析研究現(xiàn)狀11-12
• 1.2.2 大數(shù)據(jù)分析技術(shù)研究現(xiàn)狀12
• 1.2.3 變電設(shè)備狀態(tài)監(jiān)測(cè)大數(shù)據(jù)分析的研究12-13
• 1.3 本文主要工作及內(nèi)容安排13-15
• 第2章 大數(shù)據(jù)分析技術(shù)的研究15-25
• 2.1 大數(shù)據(jù)處理技術(shù)15-16
• 2.2 Hadoop16-19
• 2.2.1 Hadoop概述16
• 2.2.2 HDFS16-17
• 2.2.3 MapReduce17-18
• 2.2.4 Hadoop YARN18-19
• 2.2.5 Sqoop19
• 2.3 分布式OLAP技術(shù)19-24
• 2.3.1 分布式OLAP技術(shù)分析19-20
• 2.3.2 Hive20-22
• 2.3.3 Impala22-23
• 2.3.4 Hive與Impala的分析比較23-24
• 2.4 本章小結(jié)24-25
• 第3章 變電設(shè)備狀態(tài)監(jiān)測(cè)大數(shù)據(jù)分析平臺(tái)的設(shè)計(jì)25-29
• 3.1 傳統(tǒng)變電設(shè)備狀態(tài)監(jiān)測(cè)平臺(tái)架構(gòu)25-27
• 3.2 大數(shù)據(jù)下變電設(shè)備狀態(tài)監(jiān)測(cè)平臺(tái)的設(shè)計(jì)27-28
• 3.3 本章小結(jié)28-29
• 第4章 基于無(wú)連接層次編碼的變電設(shè)備狀態(tài)監(jiān)測(cè)數(shù)據(jù)模型29-38
• 4.1 常規(guī)數(shù)據(jù)模型29-33
• 4.1.1 基于Hive的分布式ROLAP星型模型30-31
• 4.1.2 基于Hive智能變電站狀態(tài)監(jiān)測(cè)數(shù)據(jù)的工作流程31-33
• 4.2 無(wú)連接層次編碼模型33-35
• 4.3 基于NJLS的變電設(shè)備狀態(tài)監(jiān)測(cè)數(shù)據(jù)模型35-37
• 4.4 模型性能分析37
• 4.5 本章小結(jié)37-38
• 第5章 實(shí)驗(yàn)測(cè)試與分析38-45
• 5.1 實(shí)驗(yàn)平臺(tái)的搭建38-39
• 5.2 監(jiān)測(cè)數(shù)據(jù)準(zhǔn)備39-40
• 5.3 監(jiān)測(cè)數(shù)據(jù)加載40-41
• 5.4 分析操作41-42
• 5.5 存儲(chǔ)開(kāi)銷(xiāo)42-43
• 5.6 實(shí)驗(yàn)結(jié)果分析43-44
• 5.7 本章小結(jié)44-45
• 第6章 總結(jié)與展望45-46
• 參考文獻(xiàn)46-50
• 攻讀碩士學(xué)位期間發(fā)表的論文及其它成果50-51
• 致謝51

【參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 王德文;孫志偉;;電力用戶側(cè)大數(shù)據(jù)分析與并行負(fù)荷預(yù)測(cè)[J];中國(guó)電機(jī)工程學(xué)報(bào);2015年03期

2 嚴(yán)英杰;盛戈v，

本文編號(hào)：629440