本文關(guān)鍵詞：基于Hadoop的公共建筑能耗數(shù)據(jù)挖掘方法研究，由筆耕文化傳播整理發(fā)布。

【摘要】：我國對公共建筑能源審計工作已全面展開,各省、市陸續(xù)建立了大型公共建筑能耗監(jiān)測平臺。目前,山東省對公共建筑進行節(jié)能監(jiān)測的數(shù)量累計達到1000余棟。真實準確的公共建筑能耗統(tǒng)計數(shù)據(jù)對進一步推進建筑節(jié)能工作具有重大意義,但是目前對能耗數(shù)據(jù)的有效利用還存在明顯不足。隨著建筑能耗數(shù)據(jù)量不斷增加,數(shù)據(jù)的分析工作也面臨巨大的挑戰(zhàn)。這些能耗數(shù)據(jù)背后蘊涵著豐富的知識,且數(shù)量巨大,傳統(tǒng)分析方法難以發(fā)現(xiàn)和總結(jié)這些數(shù)據(jù)中所蘊涵的知識。本文探索了基于Hadoop的數(shù)據(jù)挖掘技術(shù)在處理海量建筑能耗數(shù)據(jù)中的應用。Hadoop是Apache軟件基金會旗下基于Java語言開發(fā)的一個開源分布式計算平臺,它允許將Hadoop集群部署在低廉的硬件上,用戶可以充分利用集群服務(wù)器的存儲和計算能力,完成海量數(shù)據(jù)的分析處理。在對Hadoop分布式計算平臺深入分析研究的基礎(chǔ)上,針對建筑能耗數(shù)據(jù)無法有效利用這一問題,本文提出利用Hadoop分布式架構(gòu),結(jié)合建筑基本信息對公共建筑能耗數(shù)據(jù)進行數(shù)據(jù)挖掘的方法。首先,本文對基于Hadoop的公共建筑能耗數(shù)據(jù)挖掘系統(tǒng)進行了初步設(shè)計,并對系統(tǒng)的基本架構(gòu)和各模塊的功能進行了設(shè)計和說明。其次,在對HDFS的架構(gòu)和數(shù)據(jù)讀寫機制進行深入學習和研究的基礎(chǔ)上,進行基于MapReduce編程模型的Java程序編寫,實現(xiàn)將實驗樣本數(shù)據(jù)XML文件寫入HDFS。然后,根據(jù)本課題數(shù)據(jù)挖掘需求和實驗數(shù)據(jù)的特點,選擇數(shù)據(jù)挖掘算法。在對MapReduce的架構(gòu)和任務(wù)運行機制進行深入學習和研究的基礎(chǔ)上,實現(xiàn)了基于MapReduce的改進Apriori算法、C4.5算法設(shè)計,以及算法的Java程序編寫。最后,利用四臺計算機搭建Hadoop集群作為實驗平臺,以山東省200棟辦公建筑制冷期空調(diào)系統(tǒng)單位面積(月)耗電量為例進行能耗數(shù)據(jù)挖掘?qū)嶒?得到了建筑基本信息與建筑空調(diào)能耗關(guān)系的相關(guān)結(jié)論,根據(jù)判定樹和建筑信息可預測建筑物制冷期空調(diào)系統(tǒng)耗電等級,并對實驗結(jié)論進行了評價和分析。本文利用Hadoop分布式架構(gòu)結(jié)合建筑基本信息對公共建筑能耗數(shù)據(jù)進行數(shù)據(jù)挖掘,實現(xiàn)了對建筑能耗數(shù)據(jù)更大化的利用,彌補了以往的數(shù)據(jù)分析方法對海量數(shù)據(jù)處理時出現(xiàn)成本高、效率低的缺陷,對完善山東省公共建筑節(jié)能監(jiān)測信息管理系統(tǒng)的數(shù)據(jù)分析功能進行了探索,從數(shù)據(jù)的角度客觀地分析建筑能耗情況并為節(jié)能工作提供決策支持。本課題所涉及的思想和方法可推廣應用到各類建筑能耗數(shù)據(jù)挖掘工作中,對既有建筑的節(jié)能改造和新建建筑的節(jié)能設(shè)計提供參考和借鑒。
【關(guān)鍵詞】：Hadoop 公共建筑能耗 數(shù)據(jù)挖掘 HDFS MapReduce Apriori算法 C4.5算法
【學位授予單位】：山東建筑大學
【學位級別】：碩士
【學位授予年份】：2016
【分類號】：TP311.13
【目錄】：

• 摘要4-6
• ABSTRACT6-11
• 第1章 緒論11-19
• 1.1 課題研究的背景及意義11-12
• 1.1.1 課題研究背景11-12
• 1.1.2 課題研究目的及意義12
• 1.2 課題研究現(xiàn)狀12-15
• 1.2.1 國內(nèi)外建筑能耗數(shù)據(jù)分析研究現(xiàn)狀13-14
• 1.2.2 國內(nèi)外基于Hadoop技術(shù)的數(shù)據(jù)挖掘研究及應用現(xiàn)狀14-15
• 1.3 課題研究的可行性分析15-16
• 1.4 課題主要研究內(nèi)容及論文組織結(jié)構(gòu)16-18
• 1.4.1 主要研究內(nèi)容16-17
• 1.4.2 論文組織結(jié)構(gòu)17-18
• 1.5 本章小結(jié)18-19
• 第2章 基于Hadoop的公共建筑能耗數(shù)據(jù)挖掘系統(tǒng)架構(gòu)設(shè)計19-30
• 2.1 Hadoop分布式系統(tǒng)基礎(chǔ)架構(gòu)19-22
• 2.1.1 Hadoop概述19-20
• 2.1.2 Hadoop的基本架構(gòu)20-22
• 2.2 數(shù)據(jù)挖掘介紹22-24
• 2.2.1 數(shù)據(jù)挖掘的概念22-23
• 2.2.2 知識發(fā)現(xiàn)的過程23-24
• 2.2.3 數(shù)據(jù)挖掘的功能24
• 2.3 基于Hadoop的公共建筑能耗數(shù)據(jù)挖掘系統(tǒng)架構(gòu)設(shè)計24-28
• 2.3.1 系統(tǒng)架構(gòu)模型設(shè)計24-25
• 2.3.2 模塊功能設(shè)計25-26
• 2.3.3 系統(tǒng)底層結(jié)構(gòu)設(shè)計26-28
• 2.4 本章小結(jié)28-30
• 第3章 基于HDFS的實驗數(shù)據(jù)寫入設(shè)計30-36
• 3.1 HDFS的主要特征及讀寫機制分析30-34
• 3.1.1 HDFS的主要特征30-31
• 3.1.2 HDFS讀寫機制分析31-34
• 3.2 實驗樣本數(shù)據(jù)寫入HDFS程序設(shè)計34-35
• 3.3 本章小結(jié)35-36
• 第4章 基于MapReduce編程模型的數(shù)據(jù)挖掘算法設(shè)計36-56
• 4.1 MapReduce任務(wù)運行過程分析36-42
• 4.1.1 Map Task和Reduce Task執(zhí)行過程36-39
• 4.1.2 MapReduce作業(yè)的執(zhí)行流程分析39-42
• 4.2 基于MapReduce的Apriori算法設(shè)計42-50
• 4.2.1 關(guān)聯(lián)分析介紹42
• 4.2.2 Apriori算法的基本原理及思路42-43
• 4.2.3 基于MapReduce的改進Apriori算法設(shè)計43-50
• 4.3 基于MapReduce的決策樹算法設(shè)計50-55
• 4.3.1 決策樹算法介紹50
• 4.3.2 C4.5算法基本思路50-52
• 4.3.3 基于MapReduce的C4.5算法設(shè)計52-55
• 4.4 本章小結(jié)55-56
• 第5章 以辦公建筑為例進行數(shù)據(jù)挖掘及實驗結(jié)果分析評價56-74
• 5.1 實驗平臺的安裝與部署56-65
• 5.1.1 Hadoop集群軟、硬件配置57
• 5.1.2 軟件部署57-63
• 5.1.3 Hadoop集群啟動及測試63-65
• 5.2 以辦公建筑為例進行能耗數(shù)據(jù)挖掘65-71
• 5.2.1 實驗數(shù)據(jù)預處理65-68
• 5.2.2 關(guān)聯(lián)數(shù)據(jù)挖掘及實驗結(jié)果68-69
• 5.2.3 決策樹數(shù)據(jù)挖掘及實驗結(jié)果69-71
• 5.3 實驗結(jié)果分析及評價71-72
• 5.4 本章小結(jié)72-74
• 第6章 總結(jié)與展望74-76
• 6.1 總結(jié)74-75
• 6.2 課題展望75-76
• 參考文獻76-80
• 后記80-81
• 攻讀碩士學位期間論文發(fā)表及科研情況81-82
• 附錄82-85

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 王磊;張永堅;賈繼鵬;牛曉光;聶昌龍;;基于Hadoop的公共建筑能耗數(shù)據(jù)挖掘方法[J];計算機系統(tǒng)應用;2016年03期

2 郭興忠;楊闖;楊輝;吳和平;;門窗熱工性能對建筑能耗影響的模擬研究[J];新型建筑材料;2014年S1期

3 廖飛;黃晟;龔德俊;安樂;;基于Hadoop的城市道路交通流量數(shù)據(jù)分布式存儲與挖掘分析研究[J];公路與汽運;2013年05期

4 李依桐;;云存儲文件系統(tǒng)對比[J];計算機與現(xiàn)代化;2013年10期

5 喻偉;李百戰(zhàn);楊明宇;杜秀媛;;基于人工神經(jīng)網(wǎng)絡(luò)的建筑多目標預測模型[J];中南大學學報(自然科學版);2012年12期

6 李道洋;蒙艷玫;胡映寧;徐聰麒;劉長俊;周權(quán);;基于分項實時監(jiān)測的建筑能耗數(shù)值分析[J];廣西大學學報(自然科學版);2012年05期

7 卿曉霞;肖丹;王波;;能耗實時監(jiān)測的數(shù)據(jù)挖掘方法[J];重慶大學學報;2012年07期

8 陳高峰;張歡;由世俊;葉天震;謝真輝;;天津市辦公建筑能耗調(diào)研及分析[J];暖通空調(diào);2012年07期

9 趙曉永;楊揚;孫莉莉;陳宇;;基于Hadoop的海量MP3文件存儲架構(gòu)[J];計算機應用;2012年06期

10 朱鑰;賈思奇;張俊魁;李琦;;基于Hadoop的城市交通碳排放數(shù)據(jù)挖掘研究[J];計算機應用研究;2011年11期

中國碩士學位論文全文數(shù)據(jù)庫 前10條

1 吳劍平;基于數(shù)據(jù)挖掘的醫(yī)院建筑用能評價及分析[D];哈爾濱工業(yè)大學;2015年

2 黃承真;云計算環(huán)境下機票價格預測及任務(wù)分配研究[D];中國科學技術(shù)大學;2014年

3 蘇江奪;基于關(guān)聯(lián)規(guī)則挖掘的節(jié)能系統(tǒng)用電分項關(guān)聯(lián)耦合分析的研究與實現(xiàn)[D];華南理工大學;2013年

4 吳健;基于Hadoop的上市公司輿情挖掘系統(tǒng)的研究與實現(xiàn)[D];電子科技大學;2013年

5 周思宇;不同氣候區(qū)圍護結(jié)構(gòu)節(jié)能技術(shù)對辦公建筑能耗的影響[D];天津大學;2012年

6 劉寅;Hadoop下基于貝葉斯分類的氣象數(shù)據(jù)挖掘研究[D];南京信息工程大學;2012年

7 梁瑜;基于Hadoop平臺的醫(yī)保數(shù)據(jù)挖掘[D];東北大學;2012年

8 向小軍;面向情感分類任務(wù)的云數(shù)據(jù)挖掘研究[D];南京大學;2012年

9 郝明慧;濟南地區(qū)辦公建筑能耗模擬與節(jié)能分析[D];山東建筑大學;2011年

10 白云龍;基于Hadoop的數(shù)據(jù)挖掘算法研究與實現(xiàn)[D];北京郵電大學;2011年

  本文關(guān)鍵詞：基于Hadoop的公共建筑能耗數(shù)據(jù)挖掘方法研究，由筆耕文化傳播整理發(fā)布。

，

本文編號：266976