本文關(guān)鍵詞：基于組態(tài)組件的鐵道電力監(jiān)控信息HBase云存儲(chǔ)研究

  更多相關(guān)文章： 電力大數(shù)據(jù) 鐵路供電監(jiān)控 Hadoop云計(jì)算 HBase數(shù)據(jù)庫 力控組態(tài)軟件 Sqoop技術(shù)

【摘要】：目前,隨著電網(wǎng)規(guī)模的逐漸擴(kuò)大和走向智能化,各種智能電表、傳感器、物聯(lián)網(wǎng)系統(tǒng)等智能設(shè)備將應(yīng)用于電力監(jiān)控系統(tǒng)中,電力監(jiān)測的數(shù)據(jù)量極大且以幾何形式大規(guī)模增長,達(dá)到TB甚至PB量級。僅以錄波數(shù)據(jù)為例,針對目前的主流故障錄波器的結(jié)構(gòu)和所采用的錄波技術(shù),則故障錄波瞬時(shí)數(shù)據(jù)采集量為2.008MB/s,每7日采集的數(shù)據(jù)量為1185.978G,每一年采集的數(shù)據(jù)量就為432.882TB。作為保障電力系統(tǒng)正常運(yùn)行的重要支撐,電力大數(shù)據(jù)存儲(chǔ)的安全性和處理的高效性顯的至關(guān)重要�，F(xiàn)有的供電監(jiān)控系統(tǒng)采用磁盤陣列作為硬件設(shè)備進(jìn)行數(shù)據(jù)的存儲(chǔ),采用關(guān)系型數(shù)據(jù)庫系統(tǒng)進(jìn)行數(shù)據(jù)庫管理,采用套裝軟件應(yīng)用于緊密耦合類業(yè)務(wù),致使數(shù)據(jù)庫管理系統(tǒng)的擴(kuò)展性差、存儲(chǔ)能力有限及分析速度慢,難以適應(yīng)供電監(jiān)控系統(tǒng)對狀態(tài)監(jiān)測數(shù)據(jù)可靠性和實(shí)時(shí)性的更高的要求。學(xué)術(shù)界在電力SCADA領(lǐng)域引入云計(jì)算,將云計(jì)算技術(shù)應(yīng)用于鐵路供電監(jiān)控大數(shù)據(jù)的存儲(chǔ)管理,研究供電監(jiān)控大數(shù)據(jù)的應(yīng)對方案。Hadoop云計(jì)算的分布式文件系統(tǒng)支持負(fù)載均衡策略,具有可伸縮性,從而增強(qiáng)了整個(gè)供電監(jiān)控系統(tǒng)的業(yè)務(wù)承載能力。使用架構(gòu)在Hadoop云計(jì)算平臺(tái)上的HBase數(shù)據(jù)庫存儲(chǔ)系統(tǒng)對監(jiān)控大數(shù)據(jù)進(jìn)行管理,采用并行處理、分布式運(yùn)算的方式,可以實(shí)現(xiàn)強(qiáng)大的海量數(shù)據(jù)存儲(chǔ)和計(jì)算功能,具有高容錯(cuò)和高可靠性,突破了大數(shù)據(jù)傳統(tǒng)存儲(chǔ)方式下分析計(jì)算存在的瓶頸和容災(zāi)問題,為供電監(jiān)控系統(tǒng)海量數(shù)據(jù)安全、高效的存儲(chǔ)和管理提供了一種新的解決思路。針對鐵路供電監(jiān)控系統(tǒng)關(guān)系型數(shù)據(jù)庫存儲(chǔ)的特點(diǎn),結(jié)合Hadoop集群和HBase存儲(chǔ)技術(shù)以及實(shí)際軟硬件實(shí)力,本文實(shí)現(xiàn)了一種基于HBase數(shù)據(jù)庫的鐵路供電監(jiān)控系統(tǒng)海量數(shù)據(jù)的存儲(chǔ)方式。首先,利用力控(Force Control)組態(tài)軟件開發(fā)10k V供電網(wǎng)監(jiān)控系統(tǒng),實(shí)現(xiàn)對設(shè)備運(yùn)行情況的實(shí)時(shí)監(jiān)督與控制;然后,將監(jiān)控系統(tǒng)采集的數(shù)據(jù)經(jīng)一次轉(zhuǎn)存至My SQL關(guān)系型數(shù)據(jù)庫中;最后,通過Sqoop技術(shù)將轉(zhuǎn)存后的My SQL數(shù)據(jù)庫進(jìn)行二次轉(zhuǎn)存,存儲(chǔ)至HBase的No SQL數(shù)據(jù)庫中,進(jìn)行監(jiān)控?cái)?shù)據(jù)的云存儲(chǔ)研究。實(shí)驗(yàn)表明:可以進(jìn)行鐵道供電監(jiān)控系統(tǒng)的HBase云存儲(chǔ),實(shí)現(xiàn)了數(shù)據(jù)從關(guān)系型數(shù)據(jù)庫轉(zhuǎn)存至非關(guān)系型數(shù)據(jù)庫,在數(shù)據(jù)存儲(chǔ)方面比傳統(tǒng)的關(guān)系型數(shù)據(jù)庫存儲(chǔ)方式有更多的優(yōu)勢,并且數(shù)據(jù)量越大,存儲(chǔ)效率更高且讀取速度更快,HBase的優(yōu)勢越能體現(xiàn)出來。研究結(jié)果對鐵路供電監(jiān)控系統(tǒng)大數(shù)據(jù)的處理具有重要的理論和實(shí)踐價(jià)值。
【關(guān)鍵詞】：電力大數(shù)據(jù) 鐵路供電監(jiān)控 Hadoop云計(jì)算 HBase數(shù)據(jù)庫 力控組態(tài)軟件 Sqoop技術(shù)
【學(xué)位授予單位】：華東交通大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：U224.9
【目錄】：

• 摘要3-4
• ABSTRACT4-8
• 第一章 緒論8-14
• 1.1 課題的研究背景和意義8-9
• 1.2 國內(nèi)外研究狀況9-12
• 1.2.1 云計(jì)算的研究狀況9-11
• 1.2.2 監(jiān)控組態(tài)組件發(fā)展概況11-12
• 1.3 主要研究內(nèi)容及結(jié)構(gòu)12-14
• 第二章 鐵道電力分布式監(jiān)控系統(tǒng)與技術(shù)應(yīng)用14-22
• 2.1 鐵路供電系統(tǒng)14-16
• 2.2 鐵路供電監(jiān)控應(yīng)用背景16-18
• 2.3 鐵路電力監(jiān)控系統(tǒng)組成18-20
• 2.3.1 調(diào)度端18
• 2.3.2 監(jiān)控終端18-19
• 2.3.3 通信通道19-20
• 2.4 鐵路電力監(jiān)控技術(shù)應(yīng)用20
• 2.5 本章小結(jié)20-22
• 第三章 基于組態(tài)組件的調(diào)度監(jiān)控系統(tǒng)實(shí)現(xiàn)22-45
• 3.1 組態(tài)組件22-25
• 3.1.1 組態(tài)系統(tǒng)22-24
• 3.1.2 組態(tài)軟件特點(diǎn)24-25
• 3.2 力控組態(tài)技術(shù)25-26
• 3.3 調(diào)度監(jiān)控的組態(tài)開發(fā)流程26-27
• 3.4 實(shí)時(shí)監(jiān)控工程的建立27-28
• 3.5 圖形界面組態(tài)開發(fā)28-33
• 3.6 I/O設(shè)備組態(tài)驅(qū)動(dòng)設(shè)置33-35
• 3.7 監(jiān)控?cái)?shù)據(jù)庫組態(tài)的創(chuàng)建35-38
• 3.8 圖形界面的動(dòng)態(tài)連接組態(tài)38-40
• 3.9 其他組件應(yīng)用40-44
• 3.10 本章小結(jié)44-45
• 第四章 基于Hadooop的調(diào)度監(jiān)控系統(tǒng)云平臺(tái)的構(gòu)建45-58
• 4.1 云計(jì)算45-50
• 4.1.1 云計(jì)算技術(shù)45-46
• 4.1.2 云計(jì)算的服務(wù)模式46-47
• 4.1.3 云計(jì)算應(yīng)用的特點(diǎn)47-48
• 4.1.4 云計(jì)算關(guān)鍵技術(shù)48-50
• 4.2 Hadoop云計(jì)算平臺(tái)50-53
• 4.2.1 Hadoop平臺(tái)50
• 4.2.2 分布式文件系統(tǒng)HDFS50-52
• 4.2.3 Map Reduce處理技術(shù)52-53
• 4.3 調(diào)度監(jiān)控云平臺(tái)的搭建53-55
• 4.4 調(diào)度監(jiān)控云平臺(tái)的運(yùn)行及測試55-56
• 4.5 本章小結(jié)56-58
• 第五章 調(diào)度監(jiān)控系統(tǒng)HBase云存儲(chǔ)實(shí)現(xiàn)58-78
• 5.1 基于組態(tài)組件實(shí)現(xiàn)HBase云存儲(chǔ)的總體設(shè)計(jì)58
• 5.2 調(diào)度監(jiān)控?cái)?shù)據(jù)轉(zhuǎn)儲(chǔ)數(shù)據(jù)庫的實(shí)現(xiàn)58-63
• 5.2.1 數(shù)據(jù)轉(zhuǎn)儲(chǔ)至關(guān)系型數(shù)據(jù)庫58-59
• 5.2.2 轉(zhuǎn)儲(chǔ)用的小型關(guān)系數(shù)據(jù)庫59-60
• 5.2.3 監(jiān)控?cái)?shù)據(jù)轉(zhuǎn)儲(chǔ)至My SQL數(shù)據(jù)庫60-63
• 5.3 HBase分布式No SQL數(shù)據(jù)庫63-66
• 5.3.1 HBase分布數(shù)據(jù)庫技術(shù)63-65
• 5.3.2 HBase數(shù)據(jù)庫安裝和配置部署65-66
• 5.4 調(diào)度監(jiān)控?cái)?shù)據(jù)HBase云存儲(chǔ)實(shí)現(xiàn)66-71
• 5.4.1 Sqoop安裝配置66
• 5.4.2 Sqoop轉(zhuǎn)儲(chǔ)HBase云平臺(tái)的實(shí)現(xiàn)66-71
• 5.5 調(diào)度監(jiān)控系統(tǒng)HBase云存儲(chǔ)性能測試71-77
• 5.6 本章小結(jié)77-78
• 第六章 總結(jié)78-79
• 6.1 主要工作總結(jié)78
• 6.2 進(jìn)一步工作展望78-79
• 參考文獻(xiàn)79-82
• 個(gè)人簡歷 在讀期間發(fā)表的學(xué)術(shù)論文82-83
• 致謝83

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 宗志方;提高控制系統(tǒng)的可靠性——略論組態(tài)軟件的重要作用[J];工程設(shè)計(jì)CAD與智能建筑;2001年09期

2 韓偉,向文國,沈來宏;單元機(jī)組優(yōu)化運(yùn)行及分析的可視化組態(tài)[J];能源研究與利用;2004年01期

3 劉洋,蔡慧,朱善安,朱桂林,覃俊;遠(yuǎn)程電工電子實(shí)驗(yàn)的組態(tài)解決方案[J];浙江大學(xué)學(xué)報(bào)(工學(xué)版);2005年05期

4 劉波濤;陳慧;;組態(tài)軟件在智能建筑中的應(yīng)用[J];中國新技術(shù)新產(chǎn)品;2011年04期

5 劉思訓(xùn),何家祥,孫艷霞,白玲;控制算法圖形組態(tài)軟件的設(shè)計(jì)與實(shí)現(xiàn)[J];儀器儀表學(xué)報(bào);1997年02期

6 劉賀鋒,錢清泉;基于組態(tài)軟件的當(dāng)?shù)乇O(jiān)控實(shí)現(xiàn)方案[J];電力自動(dòng)化設(shè)備;2002年05期

7 肖洪文;王冰;;柴油調(diào)和控制系統(tǒng)的構(gòu)成與組態(tài)[J];化工自動(dòng)化及儀表;2013年09期

8 白焰,梁庚,李文;WorldFIP現(xiàn)場總線控制系統(tǒng)策略組態(tài)軟件的設(shè)計(jì)開發(fā)[J];中國電機(jī)工程學(xué)報(bào);2005年02期

9 楊慶柏，，韓希昌;INFI—90的組態(tài)操作[J];華東電力;1994年05期

10 姚峻,沈叢奇;DCS系統(tǒng)設(shè)計(jì)思想及組態(tài)方法的探討[J];華東電力;2002年01期

中國重要會(huì)議論文全文數(shù)據(jù)庫 前4條

1 陳慧;肖煒;;組態(tài)軟件的應(yīng)用[A];礦山建設(shè)工程技術(shù)新進(jìn)展——2009全國礦山建設(shè)學(xué)術(shù)會(huì)議文集（下冊）[C];2009年

2 占亮亮;花勝強(qiáng);向南;吳駿;;智能水電廠畫面組態(tài)軟件研究與應(yīng)用[A];2013年電力系統(tǒng)自動(dòng)化專委會(huì)年會(huì)論文[C];2013年

3 高仁鵬;左玉仙;;組態(tài)軟件IFIX3．5在電除塵中的應(yīng)用[A];第十一屆全國電除塵學(xué)術(shù)會(huì)議論文集[C];2005年

4 羅昊;陳朝俊;;利用VB進(jìn)行圖形組態(tài)設(shè)計(jì)的方法[A];計(jì)算機(jī)技術(shù)與應(yīng)用進(jìn)展·2007——全國第18屆計(jì)算機(jī)技術(shù)與應(yīng)用（CACIS）學(xué)術(shù)會(huì)議論文集[C];2007年

中國重要報(bào)紙全文數(shù)據(jù)庫 前1條

1 廣州 耿德根;SL-MCGS組態(tài)開發(fā)實(shí)驗(yàn)系統(tǒng)[N];電子報(bào);2001年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前1條

1 梁庚;基于IEC61131-3標(biāo)準(zhǔn)的分布式智能系統(tǒng)策略組態(tài)軟件包開發(fā)研究[D];華北電力大學(xué)（北京）;2005年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 劉靖宇;基于組態(tài)軟件的嵌入式人機(jī)界面設(shè)計(jì)[D];湖南科技大學(xué);2015年

2 李立帆;基于組態(tài)組件的鐵道電力監(jiān)控信息HBase云存儲(chǔ)研究[D];華東交通大學(xué);2016年

3 黃英杰;基于現(xiàn)場總線控制系統(tǒng)的組態(tài)軟件研究[D];遼寧工學(xué)院;2007年

4 王書平;組態(tài)軟件若干關(guān)鍵技術(shù)研究[D];西安電子科技大學(xué);2012年

5 白冬梅;基于嵌入式技術(shù)的熱工過程控制器運(yùn)行組態(tài)研究[D];華北電力大學(xué)（河北）;2005年

6 譚曉鵬;工業(yè)控制中嵌入式組態(tài)的研究[D];電子科技大學(xué);2011年

7 楊毅;基于嵌入式系統(tǒng)的組態(tài)軟件研究[D];哈爾濱理工大學(xué);2012年

8 黃偉棟;基于構(gòu)件技術(shù)的異構(gòu)嵌入式組態(tài)系統(tǒng)研究[D];杭州電子科技大學(xué);2010年

9 胡敏;電站仿真機(jī)界面組態(tài)及操作站管理系統(tǒng)的開發(fā)[D];重慶大學(xué);2003年

10 賴于樹;基于嵌入式的控制策略組態(tài)及監(jiān)控組態(tài)技術(shù)研究[D];電子科技大學(xué);2006年

本文編號(hào)：615915