隨著科技的發(fā)展,電能作為現(xiàn)代社會(huì)不可缺少的一部分,其質(zhì)量的好壞成為衡量國(guó)家技術(shù)發(fā)展水平的重要指標(biāo)。電能質(zhì)量監(jiān)測(cè)數(shù)據(jù)對(duì)電網(wǎng)的分析與治理起著至關(guān)重要的作用。由于電網(wǎng)規(guī)模的擴(kuò)張、電能質(zhì)量監(jiān)測(cè)系統(tǒng)采集裝置采樣頻率的提高以及監(jiān)測(cè)范圍不斷的擴(kuò)大,導(dǎo)致電能質(zhì)量監(jiān)測(cè)系統(tǒng)采集的數(shù)據(jù)量不斷增大。傳統(tǒng)的電能質(zhì)量監(jiān)測(cè)系統(tǒng)都是基于調(diào)度中心的集中式計(jì)算平臺(tái),無(wú)法存儲(chǔ)和處理海量的電能質(zhì)量數(shù)據(jù)。本文利用Hadoop平臺(tái)對(duì)傳統(tǒng)的電能質(zhì)量監(jiān)測(cè)系統(tǒng)進(jìn)行改進(jìn),解決了海量數(shù)據(jù)無(wú)法存儲(chǔ)以及計(jì)算處理時(shí)間過(guò)長(zhǎng)的問(wèn)題。首先介紹了Hadoop平臺(tái)的HDFS分布式文件系統(tǒng)、MapReduce并行計(jì)算框架以及HBase分布式數(shù)據(jù)庫(kù),并搭建了Hadoop集群平臺(tái)。針對(duì)傳統(tǒng)電能質(zhì)量監(jiān)測(cè)系統(tǒng)的弊端,提出基于Hadoop平臺(tái)電能質(zhì)量監(jiān)測(cè)系統(tǒng),并給出了該系統(tǒng)具體的架構(gòu)及優(yōu)勢(shì)。其次分析了數(shù)據(jù)存儲(chǔ)與處理相關(guān)技術(shù),對(duì)系統(tǒng)默認(rèn)的數(shù)據(jù)分布策略和數(shù)據(jù)連接算法進(jìn)行改進(jìn)。將多副本一致性哈希算法與HashMapJoin并行連接算法結(jié)合使用在該平臺(tái),增大了數(shù)據(jù)本地化程度,節(jié)約了網(wǎng)絡(luò)帶寬資源,提高了數(shù)據(jù)連接查詢的效率,增強(qiáng)了系統(tǒng)的性能。另外還對(duì)系統(tǒng)涉及到的其他技術(shù)進(jìn)行簡(jiǎn)單... 

【文章來(lái)源】：中國(guó)礦業(yè)大學(xué)江蘇省 211工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：82 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

RSA密鑰對(duì)Figure2-6RSAkeypair

修改core-site.xmlFigure2-8Modifycore-site.xml

配置文件：source /etc/profile：修改 hadoop-2.7.4/etc/hadoop 文件夾下 hadoop-env.sh，如圖 2圖 2-7 修改 hadoop-env.shFigure 2-7 Modify hadoop-env.sh：修改 hadoop-2.7.4/etc/hadoop 文件夾下 core-site.xml，如圖圖 2-8 修改 core-site.xmlFigure 2-8 Modify core-site.xml：修改 hadoop-2.7.4/etc/hadoop 文件夾下 hdfs-site.xml，如圖

【參考文獻(xiàn)】：
期刊論文
[1]減少任務(wù)完成時(shí)間和數(shù)據(jù)局部性的數(shù)據(jù)復(fù)制及副本放置算法[J]. 廖仲夏,宋雨欣,廖啟明.  電子測(cè)量與儀器學(xué)報(bào). 2018(02)
[2]基于云計(jì)算和改進(jìn)K-means算法的海量用電數(shù)據(jù)分析方法[J]. 張承暢,張華譽(yù),羅建昌,何豐.  計(jì)算機(jī)應(yīng)用. 2018(01)
[3]基于集群規(guī)模調(diào)整的節(jié)能存儲(chǔ)策略[J]. 妙曉龍,陳浩,鐘將.  計(jì)算機(jī)工程與應(yīng)用. 2017(24)
[4]基于開源生態(tài)系統(tǒng)的大數(shù)據(jù)平臺(tái)研究[J]. 雷軍,葉航軍,武澤勝,張鵬,謝龍,何炎祥.  計(jì)算機(jī)研究與發(fā)展. 2017(01)
[5]大數(shù)據(jù)分析的硬件與系統(tǒng)支持綜述[J]. 孫仕亮,陳俊宇.  小型微型計(jì)算機(jī)系統(tǒng). 2017(01)
[6]改進(jìn)的Hadoop作業(yè)調(diào)度算法[J]. 馮興杰,賀陽(yáng).  計(jì)算機(jī)工程與應(yīng)用. 2017(12)
[7]MapReduce大數(shù)據(jù)處理平臺(tái)與算法研究進(jìn)展[J]. 宋杰,孫宗哲,毛克明,鮑玉斌,于戈.  軟件學(xué)報(bào). 2017(03)
[8]軌跡大數(shù)據(jù):數(shù)據(jù)處理關(guān)鍵技術(shù)研究綜述[J]. 高強(qiáng),張鳳荔,王瑞錦,周帆.  軟件學(xué)報(bào). 2017(04)
[9]基于Hadoop的用電信息大數(shù)據(jù)計(jì)算服務(wù)及應(yīng)用[J]. 王相偉,史玉良,張建林,梁波,程翠萍.  電網(wǎng)技術(shù). 2015(11)
[10]電力用戶側(cè)大數(shù)據(jù)分析與并行負(fù)荷預(yù)測(cè)[J]. 王德文,孫志偉.  中國(guó)電機(jī)工程學(xué)報(bào). 2015(03)

碩士論文
[1]基于Hadoop的海量小文件存儲(chǔ)性能優(yōu)化研究[D]. 張碩.湖南大學(xué) 2016
[2]基于數(shù)據(jù)偏斜條件下Reduce任務(wù)放置機(jī)制的研究[D]. 馬穩(wěn).湖南大學(xué) 2016
[3]HDFS云存儲(chǔ)系統(tǒng)可用性能的優(yōu)化研究[D]. 胡夢(mèng)楠.電子科技大學(xué) 2016
[4]云計(jì)算在電力系統(tǒng)中的應(yīng)用研究[D]. 朱迪.華北電力大學(xué) 2015
[5]基于Hadoop的海量電能質(zhì)量數(shù)據(jù)處理研究[D]. 曾杰.華北電力大學(xué) 2015
[6]基于Hadoop的海量電能質(zhì)量數(shù)據(jù)云計(jì)算平臺(tái)研究[D]. 王淑祥.華北電力大學(xué) 2014
[7]Hadoop平臺(tái)存儲(chǔ)策略的研究與優(yōu)化[D]. 高薊超.北京交通大學(xué) 2012
[8]基于Hadoop的虛擬篩選海量數(shù)據(jù)存儲(chǔ)及結(jié)果處理的設(shè)計(jì)和實(shí)現(xiàn)[D]. 陳殿偉.蘭州大學(xué) 2012
[9]基于MapReduce的數(shù)據(jù)挖掘算法研究與應(yīng)用[D]. 杜玲玲.桂林電子科技大學(xué) 2012
[10]基于MapReduce的海量圖像檢索技術(shù)研究[D]. 陳廣釗.西安電子科技大學(xué) 2012



本文編號(hào)：3060286