伴隨著社會發(fā)展進步和人們生活水平的提高,城市化愈來愈熱,伴隨而來的一種局面便是水電等能源的急劇消耗,與此同時各種能耗數(shù)據(jù)也呈現(xiàn)迅猛增長的趨勢。如何利用這海量的能源消耗數(shù)據(jù)來更好地把握能耗規(guī)律,為用能單位和部門決策提供輔助參考,進一步實現(xiàn)節(jié)能減排的目標,是當前業(yè)內專家學者高度關注的問題。隨著高新技術的日益創(chuàng)新和發(fā)展,大數(shù)據(jù)的浪潮己經(jīng)開始席卷社會的各行各業(yè),這也為我國可以利用先進信息化方法來加強對能耗數(shù)據(jù)的管控方式提供了更大的選擇。借助大數(shù)據(jù)技術的相關方法可以更加智能地探究區(qū)域單位的用能規(guī)律和合理優(yōu)化資源配置,科學地提高水電能源使用效率。本文以Hadoop和Spark大數(shù)據(jù)技術為基礎,結合深度學習算法模型,對能源消耗數(shù)據(jù)挖掘和分析展開了研究。主要研究內容如下:（1）本文將經(jīng)驗模態(tài)分解應用到能耗預測領域,基于神經(jīng)網(wǎng)絡模型和時序算法模型提出了一種新型的用于預測區(qū)域耗電數(shù)據(jù)的EMD-LSTM-ARIMA混合模型,并通過實驗實現(xiàn)了對EMD-LSTM-ARIMA模型和其他預測模型（基于殘差的ARIMALSTM混合模型、EMD-ARIMA混合預測模型）的對比分析,EMD-LSTM-ARIMA混合預測模... 

【文章來源】：青島科技大學山東省

【文章頁數(shù)】：69 頁

【學位級別】：碩士

【部分圖文】：

Hadoop版本發(fā)展變化

荒茉諼募??末尾添加而不能完成修改操作。由于HDFS的分布式特點也不適合用于頻繁寫入數(shù)據(jù)的場景。HDFS的這種機制都是為了保證各個節(jié)點數(shù)據(jù)的一致性。HDFS不適合小規(guī)模的數(shù)據(jù)文件存儲和管理。一方面，當大量的小文件保存再HDFS上存儲時，系統(tǒng)會將NameNode的內存空間地址用用作小文件元數(shù)據(jù)存儲,這會對容量有限的NameNode造成空間浪費[25]；另一方面，讀取小文件時需要在尋址上浪費很多時間，塊的讀取頻繁也給NameNode造成壓力，不利于集群或平臺的穩(wěn)定性；總之在Hadoop存儲量多的小文件是一個只能臨時而不能長久的方案。圖2-3HDFS架構圖Fig.2-3HDFSarchitecturediagramHDFS數(shù)據(jù)存儲架構為主從架構（Master/Slave），如2-3圖所示。這種架構主要由四部分組成。接下來對這四個部分進行簡單的功能介紹。（1）Client又叫客戶端，主要負責文件切分任務。當數(shù)據(jù)文件上傳到HDFS文件系統(tǒng)中時，客戶端調用creat()方法、輸入流DFSOutputStream()等方法將文件切分并采用block塊形式存儲，并將block的副本分發(fā)到其它集群節(jié)點上。(2)NameNode就是整個架構的master，即管理者角色，包括管理HDFS名稱空間以及block塊的元數(shù)據(jù)信息映射，配置副本策略，處理來自客戶端的數(shù)據(jù)讀寫請求。

分為兩個數(shù)據(jù)處理階段，這兩個階段分別為Map和Reduce（又稱為映射與歸約）[27]。用戶在解決問題時，需要用map()和reduce()兩個編程函數(shù)來實現(xiàn)問題的解決流程，最后提交兩個函數(shù)模型到集群環(huán)境中來實現(xiàn)分布式并行計算，最后輸出保存結果。這種并行處理模式很適合用在大數(shù)據(jù)處理上，同時它為研發(fā)人員降低了技術門檻，使用該模型的人不需要特別擅長分布式編程能力，而且該框架在數(shù)據(jù)處理上具有速度快。容錯性高，節(jié)點擴展性強等優(yōu)點，因此能夠在目前很多國內外大型網(wǎng)站和企業(yè)被中廣泛采用，比如雅虎，阿里巴巴，騰訊等等。圖2-4MapReduce數(shù)據(jù)處理流程圖Fig.2-4MapReducedataprocessingflowchartMapReduce數(shù)據(jù)處理過程如圖2-4所示，MapReduce在進行數(shù)據(jù)處理過程中主要分為Map和Reduce兩個大階段，shuffle可以理解為在這兩個大階段之間的過渡階段。在數(shù)據(jù)處理的map階段，首先需要將目標數(shù)據(jù)從HDFS分布式文件系

【參考文獻】：
期刊論文
[1]基于Hadoop和HBase的輸變電設備數(shù)據(jù)聚合平臺[J]. 陳銳,吳應雙,曹杰,劉明順.  電力大數(shù)據(jù). 2020(03)
[2]國家電網(wǎng)公司“三型兩網(wǎng)”的戰(zhàn)略內涵及實施問題[J]. 杜志婕,蔡明珺,潘益?zhèn)?  科技與創(chuàng)新. 2019(21)
[3]能源消費碳排放的影響因素及空間相關性分析[J]. 張仁杰,董會忠,韓沅剛,李旋.  山東理工大學學報(自然科學版). 2020(01)
[4]大型公共建筑用電能耗預測模型及預測數(shù)據(jù)[J]. 張杰,王波.  電子技術與軟件工程. 2019(20)
[5]基于Hadoop的高可用數(shù)據(jù)采集與存儲方案[J]. 袁昌權,胡益群,許光,俞理超.  電子技術與軟件工程. 2019(18)
[6]基于大數(shù)據(jù)與人工智能技術的電力在線技術監(jiān)督平臺建設方案[J]. 張國斌,張叔禹,劉永江,郭瑞君.  熱力發(fā)電. 2019(09)
[7]淺析Hadoop平臺安全機制不足與解決方案[J]. 魏楠,趙剛.  中國安防. 2019(08)
[8]“能源消耗情況”對建筑節(jié)能的影響分析[J]. 金國輝,梁娜飛,梁麗娜,惠之瑤,王悅,李威風,楊鵬.  節(jié)能. 2019(07)
[9]Hadoop平臺的分布式重刪存儲系統(tǒng)研究[J]. 荊東星.  科技風. 2019(20)
[10]基于SSM框架的智能Web系統(tǒng)研發(fā)[J]. 孫樂康.  決策探索(中). 2019(05)

碩士論文
[1]基于大數(shù)據(jù)的存量用戶指標預測系統(tǒng)的設計實現(xiàn)[D]. 王澤潤.南京郵電大學 2018
[2]基于數(shù)據(jù)挖掘技術的經(jīng)濟責任審計的研究[D]. 王愛軍.南京郵電大學 2018
[3]基于Spark醫(yī)療信息大數(shù)據(jù)交互統(tǒng)計分析研究[D]. 趙建峰.江西財經(jīng)大學 2019
[4]HBase性能預測與資源配置優(yōu)化技術的研究與實現(xiàn)[D]. 臺恩.西安電子科技大學 2019
[5]基于SSM框架的電子商城項目的設計與實現(xiàn)[D]. 李天慶.山東大學 2019
[6]基于Hadoop集群作業(yè)調度實時性能改進的研究與設計[D]. 董碧瑩.沈陽工業(yè)大學 2019
[7]基于SSM框架的網(wǎng)上商城系統(tǒng)的設計與實現(xiàn)[D]. 趙浩翔.北京郵電大學 2019
[8]基于SSM框架的立體化樣書系統(tǒng)的設計與實現(xiàn)[D]. 孟想.沈陽師范大學 2019
[9]ARMA（1,1）模型中自回歸和移動平均系數(shù)的最大似然估計[D]. 顧寶強.云南財經(jīng)大學 2018
[10]大型公共建筑能耗預測模型與監(jiān)管系統(tǒng)研究[D]. 秦育.西安建筑科技大學 2018



本文編號：3002536