隨著城市化進(jìn)程的加快,建筑能耗呈急劇上升的趨勢(shì),建筑節(jié)能研究已成為我國(guó)節(jié)能減排工作的重點(diǎn)。近年來(lái)大數(shù)據(jù)相關(guān)技術(shù)和物聯(lián)網(wǎng)技術(shù)的發(fā)展,為建筑節(jié)能提供了數(shù)據(jù)支撐。利用這些技術(shù)進(jìn)行采集、存儲(chǔ)、分析建筑能耗數(shù)據(jù),可反映建筑運(yùn)行狀況,發(fā)現(xiàn)建筑用能規(guī)律,從而實(shí)現(xiàn)建筑能源的高效使用。智能電表的普及和用能信息采集系統(tǒng)的發(fā)展,建筑能耗信息數(shù)據(jù)量越來(lái)越大,使得傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)對(duì)建筑能耗數(shù)據(jù)進(jìn)行存儲(chǔ)、查詢和處理已出現(xiàn)性能上的瓶頸,同時(shí)也難以滿足大數(shù)據(jù)時(shí)代各種各樣的新需求。本文的研究圍繞基于Hadoop的建筑能耗大數(shù)據(jù)存儲(chǔ)分析平臺(tái)展開(kāi),主要工作內(nèi)容如下:（1）設(shè)計(jì)了一種針對(duì)建筑能耗大數(shù)據(jù)存儲(chǔ)分析平臺(tái)的三層架構(gòu)。研究了如今主流大數(shù)據(jù)平臺(tái)架構(gòu),依據(jù)Lambda架構(gòu)對(duì)平臺(tái)進(jìn)行設(shè)計(jì)。在批處理層中,HDFS提供底層數(shù)據(jù)存儲(chǔ)服務(wù),MapReduce與Spark提供離線計(jì)算服務(wù)。將Spark的運(yùn)行模式配置為Spark on YARN模式,使用YARN對(duì)集群計(jì)算服務(wù)進(jìn)行統(tǒng)一調(diào)度與計(jì)算資源管理,解決了 Spark Standalone模式下只支持簡(jiǎn)單且固定的資源分配策略問(wèn)題。在實(shí)時(shí)處理層中,將Spark Streaming與K... 

【文章來(lái)源】：浙江理工大學(xué)浙江省

【文章頁(yè)數(shù)】：69 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖１．１不同機(jī)構(gòu)對(duì)中國(guó)建筑的測(cè)算數(shù)據(jù)??１．２．２大數(shù)據(jù)平臺(tái)研宄現(xiàn)狀??

??（人節(jié)點(diǎn)??從節(jié)點(diǎn)?＼?＾??ＮｏｄｅＭａｎａｇｅｒ?ＮｏｄｅＭａｎａｇｅｒ?ＮｏｄｅＭａｎａｇｅｒ?＼?＼??資源使用與?資源使用與?資源使用與?Ｉ?１??監(jiān)控?監(jiān)控?監(jiān)控?Ｉ?１??Ｌ＿????Ｌ??／?／??ｐｊ＞Ｐ＿ｔ＿ａｌｒｉｅｒ??Ｃｏｎｔａｉｎｅｒ??ＡｐｐＭａｓｔｅｒ?ｊ?／??計(jì)算任務(wù)?汁算任務(wù)?作、丨＾壬務(wù)Ｉ．７??年、?Ｉ?Ｉ?Ｋ?Ｉ??Ｊ?「??、一?二?Ｔ?＾??啟動(dòng)Ｃｏｎｔａｉｎｅｒ??圖２．１?ＹＡＲＮ中作業(yè)提交流程??ＹＡＲＮ中自帶的可插拔資源調(diào)度器有先入先出調(diào)度器（ＦＩＦＯＳｃｈｅｄｕｌｅｒ）、容量調(diào)度??器（ＣａｐａｃｉｔｙＳｃｈｅｄｕｌｅｒ）和公平調(diào)度器（ＦａｉｒＳｃｈｅｄｕｌｅｒ）丨２９】。??先入先出調(diào)度器以“先來(lái)先服務(wù)”的原則，按照作業(yè)提交的先后時(shí)間進(jìn)行服務(wù)，尤??需任何配置，如圖２．２所示。但這種調(diào)度策略不考慮作業(yè)的優(yōu)先級(jí)，只適合低負(fù)載集群，??當(dāng)使用大型共享集群時(shí)，大型作業(yè)可能會(huì)獨(dú)占集群資源，導(dǎo)致其他應(yīng)用阻塞。??容量“??Ｉ??Ｉ???１?????Ｉ?！?２?ＦＩＦＯ?ｑｕｅｕｅ???ｉ???＞??Ｉ?時(shí)間??Ｊｏｂ?１提交?Ｊｏｂ?２提交??圖?２．２?ＦＩＦＯ?Ｓｃｈｅｄｕｌｅｒ??容量調(diào)度器和公平調(diào)度器都允許大型作業(yè)和小型作業(yè)都得到一定的系統(tǒng)資源｜３＜ｌ１。容??量調(diào)度器支持多個(gè)隊(duì)列，隊(duì)列內(nèi)部采用先入先出調(diào)度方式，每個(gè)隊(duì)列按設(shè)定比例（＊」有集??群資源，隊(duì)列內(nèi)以層級(jí)模式分配資源。在容量調(diào)度器中可設(shè)定參數(shù)??ｙａｒｎ．ｓｃｈｅｄｕｌｅｒ．ｃａｐａｃｉｔｙ．ｍａｘｉｍｕ

浙江理工大學(xué)碩士學(xué)位論文?基于丨ｈＫｋｗｐ的建筑能耗大數(shù)據(jù)存儲(chǔ)分析平臺(tái)的設(shè)Ｈ－??（２）適合大數(shù)據(jù)量處理，數(shù)據(jù)分塊存儲(chǔ)于多節(jié)點(diǎn)中，提供ｒ高吞吐量的數(shù)據(jù)訪問(wèn)能??力；??（３）可構(gòu)建于廉價(jià)機(jī)器上，通過(guò)橫向擴(kuò)展集群計(jì)算機(jī)數(shù)量來(lái)提高集群存儲(chǔ)能力。??ＨＤＦＳ由一個(gè)名稱節(jié)點(diǎn)ＮａｍｅＮｏｄｅ，－個(gè)輔助名稱節(jié)點(diǎn)Ｓｅｃｏｎｄａｒｙ?ＮａｍｃＮｏｄｃ和多個(gè)??數(shù)據(jù)節(jié)點(diǎn)ＤａｔａＮｏｄｅ組成｜３２、架構(gòu)如圖２．５所不。ＮａｍｅＮｏｄｅ維護(hù)管理ＤａｔａＮｏｄｅ，并記??求集群中數(shù)據(jù)的元信息。ＤａｔａＮｏｄｅ存儲(chǔ)集群的文件數(shù)據(jù)塊，并定期向ＮａｍｅＮｏｄｃ同步Ｑ??己的塊信息。Ｓｅｃｏｎｄａｒｙ?ＮａｍｅＮｏｄｅ充當(dāng)ＮａｍｅＮｏｄｅ的備用節(jié)點(diǎn)進(jìn)行容錯(cuò)，同時(shí)負(fù)責(zé)合并??編輯日志Ｅｄｉｔｌｏｇｓ和鏡像文件Ｆｓｌｎｉａｇｅ并Ｍｉ新到ＮａｍｅＮｏｄｅ中１３３】。??ｊ?．ｗ．?文件名或數(shù)據(jù)塊號(hào)??５■尸坰?ＮａｍｅＮｏｄｅ??（Ｃｈｅｍ）卜數(shù)拙塊號(hào)數(shù)據(jù)塊位界丨??讀／寫(xiě)?ｔ心跳／指令??ＤａｔａＮｏｄｅｓ?ＤａｔａＮｏｄｅｓ??，???Ｂｌｏｃｋ?Ｂｌｏｃｋ?Ｂｌｏｃｋ?Ｂｌｏｃｋ?Ｂｌｏｃｋ?Ｂｌｏｃｋ?ｅ－Ｒｅｐｌｉｃａｔｉｏｎ＾?Ｂｌｏｃｋ?Ｂｌｏｃｋ?Ｂｌｏｃｋ?Ｂｌｏｃｋ??Ｂｌｏｃｋ?Ｂｌｏｃｋ?Ｂｌｏｃｋ?‘?‘＃?Ｂｌｏｃｋ?Ｂｌｏｃｋ??．??Ｒｅｐｌｉｃａｔｉｏｎ??．?．?ｋ??＜?機(jī)架?Ｉ?＞?＾?￣￣＞??圖２．５?ＨＤＦＳ架構(gòu)圖??２．１．３?ＭａｐＲｅｄｕｃｅ?計(jì)算框架??ＭａｐＲｅｄｕｃｅ是Ｇｏｏｇｌｅ提出的大規(guī)模并行計(jì)算框架，用于大規(guī)模廉價(jià)集群上的大數(shù)??據(jù)并行處

【參考文獻(xiàn)】：
期刊論文
[1]HBase在智能電網(wǎng)異構(gòu)數(shù)據(jù)同步中的應(yīng)用研究[J]. 徐敏,曾婷.  電子測(cè)試. 2019(22)
[2]基于Hadoop的高可用數(shù)據(jù)采集與存儲(chǔ)方案[J]. 袁昌權(quán),胡益群,許光,俞理超.  電子技術(shù)與軟件工程. 2019(18)
[3]基于統(tǒng)計(jì)數(shù)據(jù)的中美城市級(jí)建筑能耗對(duì)比研究——以紐約和北京為例[J]. 劉菁,楊天嬌,趙靜云,凡培紅,丁洪濤,戚仁廣.  中國(guó)能源. 2019(07)
[4]我國(guó)建筑能源管理控制的現(xiàn)狀調(diào)研及相應(yīng)對(duì)策研究[J]. 陳溢進(jìn).  上海節(jié)能. 2019(02)
[5]基于Spark Streaming的電力流式大數(shù)據(jù)分析架構(gòu)及應(yīng)用[J]. 田璐,齊林海,李青,王紅,田世明,卜凡鵬.  電力信息與通信技術(shù). 2019(02)
[6]2018中國(guó)建筑能耗研究報(bào)告[J].   建筑. 2019(02)
[7]分析Hive數(shù)據(jù)表處理方式[J]. 許紅軍.  網(wǎng)絡(luò)安全和信息化. 2018(12)
[8]基于RDD關(guān)鍵度的Spark檢查點(diǎn)管理策略[J]. 英昌甜,于炯,卞琛,王維慶,魯亮,錢(qián)育蓉.  計(jì)算機(jī)研究與發(fā)展. 2017(12)
[9]一種Hadoop YARN的資源調(diào)度機(jī)制[J]. 李程,柴小麗,謝彬,唐鵬.  計(jì)算機(jī)與現(xiàn)代化. 2017(11)
[10]開(kāi)源大數(shù)據(jù)框架在海洋信息處理中的應(yīng)用[J]. 樊路遙,張晶,陳小龍,劉馳.  科技導(dǎo)報(bào). 2017(20)

碩士論文
[1]基于Spark的易制毒化學(xué)品數(shù)據(jù)分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 李涵碩.河北師范大學(xué) 2019
[2]基于異構(gòu)Hadoop集群的MapReduce任務(wù)調(diào)度算法研究[D]. 王猛.西北大學(xué) 2018
[3]基于YARN的混合結(jié)構(gòu)調(diào)度器的研究和優(yōu)化[D]. 張垚杰.哈爾濱工業(yè)大學(xué) 2018
[4]基于Hadoop的音樂(lè)推薦系統(tǒng)的研究與實(shí)現(xiàn)[D]. 李新衛(wèi).西安工業(yè)大學(xué) 2018
[5]基于物聯(lián)網(wǎng)與大數(shù)據(jù)分析的設(shè)備健康狀況監(jiān)測(cè)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D]. 謝添.北京交通大學(xué) 2018
[6]基于YARN的GPU調(diào)度支持及調(diào)度策略研究[D]. 董輝.電子科技大學(xué) 2018
[7]基于Hadoop的線纜生產(chǎn)的大數(shù)據(jù)服務(wù)平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 段勝澤.電子科技大學(xué) 2017
[8]基于Hadoop+Spark的電能計(jì)量與分析自動(dòng)化系統(tǒng)研究與實(shí)現(xiàn)[D]. 張美娟.南京師范大學(xué) 2017
[9]基于Spark和神經(jīng)網(wǎng)絡(luò)的風(fēng)電機(jī)組發(fā)電機(jī)狀態(tài)監(jiān)測(cè)[D]. 劉午超.華北電力大學(xué) 2017
[10]基于分布式框架的網(wǎng)絡(luò)事件實(shí)時(shí)感知系統(tǒng)[D]. 李鑫迪.浙江大學(xué) 2017



本文編號(hào)：3529564