發(fā)布時(shí)間：2020-12-26 22:04

　　隨著電力系統(tǒng)的自動(dòng)化和智能化程度越來(lái)越高,電力系統(tǒng)的五大環(huán)節(jié)產(chǎn)生了大量的數(shù)據(jù),數(shù)據(jù)規(guī)模對(duì)傳統(tǒng)的數(shù)據(jù)處理方式帶來(lái)了巨大壓力,對(duì)此,電力系統(tǒng)與大數(shù)據(jù)技術(shù)結(jié)合成為了熱門研究?jī)?nèi)容。為提高電力系統(tǒng)中大數(shù)據(jù)處理能力,降低工作人員使用門檻,實(shí)現(xiàn)計(jì)算機(jī)學(xué)科和電氣學(xué)科的高效融合,本文圍繞面向服務(wù)和微服務(wù)的架構(gòu)開展研究,設(shè)計(jì)了涵蓋在線分析接口、復(fù)雜計(jì)算接口、抽取轉(zhuǎn)換裝載系統(tǒng)的電力大數(shù)據(jù)平臺(tái),并在私有云平臺(tái)進(jìn)行部署。通過融合Hadoop分布式文件系統(tǒng),GreenPlum數(shù)據(jù)倉(cāng)庫(kù),Spark并行計(jì)算等幾大技術(shù)的優(yōu)勢(shì),結(jié)合電力系統(tǒng)的調(diào)控?cái)?shù)據(jù)實(shí)現(xiàn)在線分析(OLAP)接口開發(fā);設(shè)計(jì)研究了基于Spark的可編程復(fù)雜計(jì)算接口,通過RESTful接口暴露,允許用戶發(fā)送HTTP請(qǐng)求上傳和執(zhí)行程序包,實(shí)現(xiàn)了對(duì)Spark并行計(jì)算資源的統(tǒng)一托管;同時(shí)在復(fù)雜計(jì)算接口的基礎(chǔ)上,開發(fā)了服務(wù)于并行處理的抽取、轉(zhuǎn)換、裝載(ETL)系統(tǒng),利用Spark Streaming工具流式提取數(shù)據(jù)源的數(shù)據(jù),并轉(zhuǎn)化為結(jié)構(gòu)化的數(shù)據(jù)存儲(chǔ)到數(shù)據(jù)倉(cāng)庫(kù),ETL基于復(fù)雜計(jì)算接口,繼承了其可編程性和靈活性,通過利用托管的資源,降低了開發(fā)成本;私有云平臺(tái)通過Kuber... 

【文章來(lái)源】：電子科技大學(xué)四川省 211工程院校 985工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：74 頁(yè)

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
ABSTRACT
第一章 緒論
    1.1 研究工作的背景與意義
    1.2 電力大數(shù)據(jù)的國(guó)內(nèi)外研究歷史與現(xiàn)狀
    1.3 云技術(shù)國(guó)內(nèi)外發(fā)展情況
    1.4 本文主要工作及結(jié)構(gòu)安排
第二章 電力大數(shù)據(jù)平臺(tái)的關(guān)鍵技術(shù)
    2.1 面向服務(wù)的架構(gòu)
        2.1.1 概念
        2.1.2 微服務(wù)
        2.1.3 Kubernetes微服務(wù)框架
    2.2 分布式計(jì)算和存儲(chǔ)技術(shù)
        2.2.1 Spark分布式計(jì)算技術(shù)
        2.2.2 Hadoop DFS分布式存儲(chǔ)技術(shù)
    2.3 GreenPlum關(guān)系型數(shù)據(jù)庫(kù)
        2.3.1 關(guān)系型數(shù)據(jù)庫(kù)在電網(wǎng)的使用場(chǎng)景
        2.3.2 GreenPlum相對(duì)于Oracle等傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)的優(yōu)勢(shì)
    2.4 大數(shù)據(jù)可視化
    2.5 虛擬化技術(shù)
    2.6 小結(jié)
第三章 面向服務(wù)和私有云的電力大數(shù)據(jù)系統(tǒng)平臺(tái)的設(shè)計(jì)
    3.1 電力大數(shù)據(jù)平臺(tái)功能需求分析
        3.1.1 數(shù)據(jù)整合治理與互聯(lián)互通功能
        3.1.2 大數(shù)據(jù)數(shù)據(jù)倉(cāng)庫(kù)和在線分析功能
        3.1.3 基于多機(jī)器并行技術(shù)的復(fù)雜計(jì)算功能
        3.1.4 統(tǒng)一安全認(rèn)證系統(tǒng)
    3.2 電力大數(shù)據(jù)平臺(tái)整體設(shè)計(jì)框架
    3.3 小結(jié)
第四章 面向服務(wù)和私有云電力大數(shù)據(jù)平臺(tái)的的實(shí)現(xiàn)
    4.1 大數(shù)據(jù)復(fù)雜計(jì)算系統(tǒng)
        4.1.1 Spark編程概述
        4.1.2 大數(shù)據(jù)復(fù)雜計(jì)算平臺(tái)的設(shè)計(jì)
    4.2 大數(shù)據(jù)ETL系統(tǒng)
        4.2.1 Spark流式處理簡(jiǎn)介
        4.2.2 ETL子系統(tǒng)架構(gòu)設(shè)計(jì)
    4.3 OLAP系統(tǒng)接口設(shè)計(jì)和實(shí)現(xiàn)
    4.4 系統(tǒng)的部署
        4.4.1 云環(huán)境準(zhǔn)備
            4.4.1.1 安裝Docker
            4.4.1.2 部署Kubernetes
        4.4.2 組件的打包和安裝
            4.4.2.1 Hadoop的部署
            4.4.2.2 spark的部署
            4.4.2.3 數(shù)據(jù)倉(cāng)庫(kù)GreenPlum的部署
    4.5 本章小結(jié)
第五章 電力大數(shù)據(jù)系統(tǒng)部分功能展示
    5.1 OLAP系統(tǒng)功能展示
        5.1.1 統(tǒng)計(jì)模塊
        5.1.2 關(guān)聯(lián)模塊
    5.2 復(fù)雜計(jì)算系統(tǒng)功能展示
    5.3 ETL功能展示
    5.4 本章小結(jié)
第六章 總結(jié)和展望
    6.1 總結(jié)
    6.2 展望
致謝
參考文獻(xiàn)
攻讀碩士期間取得的成果


【參考文獻(xiàn)】：
期刊論文
[1]淺析微服務(wù)架構(gòu)在企業(yè)信息系統(tǒng)構(gòu)建中的應(yīng)用價(jià)值[J]. 韓佼男.  中國(guó)管理信息化. 2018(02)
[2]面向服務(wù)的軟件架構(gòu)SOA及其支撐技術(shù)[J]. 李肖克,覃旺.  電子技術(shù)與軟件工程. 2018(01)
[3]大屏可視化技術(shù)在電力系統(tǒng)中的應(yīng)用研究[J]. 張新陽(yáng),孫夢(mèng)覺,牛斌.  電力大數(shù)據(jù). 2017(10)
[4]Hadoop與Spark應(yīng)用場(chǎng)景研究[J]. 馮興杰,王文超.  計(jì)算機(jī)應(yīng)用研究. 2018(09)
[5]基于SOA架構(gòu)的Web Service體系研究[J]. 陳建虎,肖成龍,宋好,魏春林.  電腦知識(shí)與技術(shù). 2017(29)
[6]基于數(shù)據(jù)挖掘的Greenplum分析[J]. 余彪.  計(jì)算機(jī)與網(wǎng)絡(luò). 2017(16)
[7]電力大數(shù)據(jù)可視化研究設(shè)計(jì)[J]. 孫夢(mèng)覺,徐敏,牛斌.  電力大數(shù)據(jù). 2017(08)
[8]分布式數(shù)據(jù)庫(kù)Greenplum研究與應(yīng)用[J]. 張文升.  金融科技時(shí)代. 2017(06)
[9]大數(shù)據(jù)環(huán)境下的電力數(shù)據(jù)質(zhì)量評(píng)價(jià)模型與治理體系研究[J]. 尹蕊,余仰淇,王滿意,黃文思,許元斌.  自動(dòng)化技術(shù)與應(yīng)用. 2017(04)
[10]基于ECharts的數(shù)據(jù)可視化分析組件設(shè)計(jì)實(shí)現(xiàn)[J]. 王子毅,張春海.  微型機(jī)與應(yīng)用. 2016(14)

博士論文
[1]大數(shù)據(jù)服務(wù)若干關(guān)鍵技術(shù)研究[D]. 韓晶.北京郵電大學(xué) 2013

碩士論文
[1]基于Kubemetes的大數(shù)據(jù)流式計(jì)算Spark平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)[D]. 杜威科.南京郵電大學(xué) 2017
[2]基于OpenStack的云平臺(tái)管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 王彬.北京交通大學(xué) 2016
[3]基于D3.js的數(shù)據(jù)可視化系統(tǒng)框架設(shè)計(jì)與實(shí)現(xiàn)[D]. 權(quán)鑫.北京交通大學(xué) 2016
[4]基于PostgreSQL和Spark的可擴(kuò)展大數(shù)據(jù)分析平臺(tái)[D]. 程敏.中國(guó)科學(xué)院深圳先進(jìn)技術(shù)研究院 2016
[5]基于Docker的虛擬化應(yīng)用平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)[D]. 張怡.華南理工大學(xué) 2016
[6]基于OLAP的電力客戶能效評(píng)估方法及應(yīng)用[D]. 李永祥.蘭州理工大學(xué) 2012



本文編號(hào)：2940529