電能質(zhì)量數(shù)據(jù)接入與管理系統(tǒng)研究及實(shí)現(xiàn)
發(fā)布時間:2021-06-08 03:45
電能質(zhì)量管理是指對電網(wǎng)傳輸電能的質(zhì)量信息進(jìn)行監(jiān)測、分析以及相應(yīng)的電能質(zhì)量異常事件的治理,其對保障電網(wǎng)穩(wěn)定安全運(yùn)行和用電服務(wù)可靠優(yōu)質(zhì)具有重要作用。隨著國家電網(wǎng)交直流輸電建設(shè)及各類新能源發(fā)電和高鐵等大型用電客戶需求的提升,傳統(tǒng)單點(diǎn)、單線路和有限區(qū)域的電能質(zhì)量監(jiān)測治理已無法滿足需求,迫切需要形成對廣域電網(wǎng)的電能質(zhì)量監(jiān)測。特別是隨著所積累的電能質(zhì)量數(shù)據(jù)的急劇膨脹,也暴露出現(xiàn)有系統(tǒng)存在的數(shù)據(jù)存儲可拓展性不高、數(shù)據(jù)接入與處理能力差以及統(tǒng)計(jì)分析方法對于分散的數(shù)據(jù)無法得到全局監(jiān)測結(jié)果等問題。為此,迫切需要針對廣域電能質(zhì)量管理需求,利用新興的大數(shù)據(jù)技術(shù)對現(xiàn)有電能質(zhì)量管理系統(tǒng)進(jìn)行改進(jìn)和發(fā)展。通過搭建基于大數(shù)據(jù)平臺的電能質(zhì)量數(shù)據(jù)接入與管理系統(tǒng),實(shí)現(xiàn)了廣域電網(wǎng)中分層次的監(jiān)測數(shù)據(jù)的高可靠性匯聚接入以及面向電能質(zhì)量治理的電能質(zhì)量監(jiān)測大數(shù)據(jù)統(tǒng)計(jì)分析功能。本文的主要研究工作如下:1.從大數(shù)據(jù)處理技術(shù)、電能質(zhì)量監(jiān)測與分析的角度出發(fā)分析了國內(nèi)外研究現(xiàn)狀,詳細(xì)分析系統(tǒng)的應(yīng)用前景之后,對能應(yīng)用于電能質(zhì)量管理業(yè)務(wù)的大數(shù)據(jù)技術(shù)進(jìn)行適應(yīng)性選擇。2.根據(jù)當(dāng)前電網(wǎng)電能質(zhì)量數(shù)據(jù)的特點(diǎn)和類型,對電能質(zhì)量數(shù)據(jù)實(shí)際規(guī)模做出詳細(xì)評估,結(jié)合國家電...
【文章來源】:北方工業(yè)大學(xué)北京市
【文章頁數(shù)】:73 頁
【學(xué)位級別】:碩士
【部分圖文】:
指標(biāo)統(tǒng)計(jì)模塊
第四章電能質(zhì)量數(shù)據(jù)接入與管理系統(tǒng)設(shè)計(jì)24綜合展示包括全網(wǎng)概覽、指標(biāo)統(tǒng)計(jì)、臺賬信息。具體可見下圖:圖4-5綜合展示模塊4.2核心數(shù)據(jù)處理流程核心數(shù)據(jù)主要包括兩類,第一類是原始監(jiān)測數(shù)據(jù),第二類是經(jīng)過統(tǒng)計(jì)計(jì)算后的結(jié)果數(shù)據(jù)。對核心數(shù)據(jù)的處理主要包括數(shù)據(jù)接入和計(jì)算分析兩部分,本小節(jié)中提到的數(shù)據(jù)皆為對原始監(jiān)測數(shù)據(jù)的處理。4.2.1數(shù)據(jù)接入流程該電能質(zhì)量數(shù)據(jù)匯集接入系統(tǒng)的設(shè)計(jì),主要包括歷史數(shù)據(jù)接入和實(shí)時數(shù)據(jù)接入兩部分。4.2.1.1歷史數(shù)據(jù)接入流程歷史數(shù)據(jù)匯集接入過程主要包括:(1)從已有各個省網(wǎng)記錄的表中獲取所有省網(wǎng)SFTP的連接及配置信息,綜合展示全網(wǎng)概覽展示監(jiān)測點(diǎn)分布情況展示監(jiān)測點(diǎn)在線率指標(biāo)統(tǒng)計(jì)全網(wǎng)各項(xiàng)指標(biāo)柱狀圖全網(wǎng)監(jiān)測指標(biāo)實(shí)時值展示全網(wǎng)監(jiān)測指標(biāo)實(shí)時趨勢圖臺帳信息展示全網(wǎng)監(jiān)測點(diǎn)總數(shù)展示全網(wǎng)監(jiān)測終端總數(shù)以雙柱狀圖展示各省監(jiān)測點(diǎn)總數(shù)以餅圖展示各省監(jiān)測點(diǎn)總數(shù)監(jiān)測對象類型的分類情況以餅圖的形式展示監(jiān)測終端數(shù)量按廠家劃分的情況
第四章電能質(zhì)量數(shù)據(jù)接入與管理系統(tǒng)設(shè)計(jì)25包括訪問IP、端口、用戶名、密碼等信息。(2)以Client_ftp=1舉例,通過對連接配置信息的比對,得到Client_ftp=1的省網(wǎng)SFTP,把其作為當(dāng)前收取數(shù)據(jù)的對象后與該省網(wǎng)SFTP建立通信并獲取該省網(wǎng)SFTP的文件所有信息,包括文件名稱、大孝目錄等詳細(xì)信息,并通過文件的大小計(jì)算出拉取數(shù)據(jù)所需要的間隔時間。(3)將省網(wǎng)SFTP的配置信息、文件信息和拉取數(shù)據(jù)所需時間間隔等一并發(fā)送給數(shù)據(jù)收取程序。(4)成功建立socket連接后開始下載壓縮文件并解壓,將不同類型的文件存儲到不同的目標(biāo)數(shù)據(jù)庫中,通常將文本文件存儲到HBase中,波形文件存儲到HDFS中,中間結(jié)果記錄到MySQL中。詳情見下圖:圖4-6歷史數(shù)據(jù)接入流程圖4.2.1.2實(shí)時數(shù)據(jù)接入流程Kafka有高可用,高吞吐量等特點(diǎn),實(shí)時數(shù)據(jù)接入主要采用Kafka技術(shù),主要流程有:(1)總部創(chuàng)建消費(fèi)者后與當(dāng)前省網(wǎng)Kafka建立連接,獲取省網(wǎng)Kafka的地址、配置信息(主題,消費(fèi)者個數(shù))和主題topic。(2)按topic接收流數(shù)據(jù),并存儲到HBase中。詳情見下圖:
【參考文獻(xiàn)】:
期刊論文
[1]基于Spark的層次聚類算法的并行化研究[J]. 余勝輝,李玲娟. 計(jì)算機(jī)技術(shù)與發(fā)展. 2020(06)
[2]基于大數(shù)據(jù)的主網(wǎng)生產(chǎn)運(yùn)維數(shù)據(jù)分析系統(tǒng)設(shè)計(jì)[J]. 吳應(yīng)雙,陳銳,曹杰,劉明順. 電力大數(shù)據(jù). 2019(12)
[3]電力系統(tǒng)典型電能質(zhì)量問題解決方案探討[J]. 朱明星. 電氣應(yīng)用. 2019(09)
[4]電壓暫降治理效果評價(jià)指標(biāo)體系及綜合評價(jià)模型[J]. 丁凱,李偉,謝佳妮,汪穎. 科學(xué)技術(shù)與工程. 2019(25)
[5]WEB可視化技術(shù)在電網(wǎng)大數(shù)據(jù)場景下的應(yīng)用研究[J]. 潘玉春,胡劍鋒,朱玉付. 電力大數(shù)據(jù). 2019(03)
[6]電力通信網(wǎng)大數(shù)據(jù)應(yīng)用場景開發(fā)及試點(diǎn)應(yīng)用[J]. 耿俊成,張小斐,郭志民,吳博,呂順利. 電力大數(shù)據(jù). 2019(02)
[7]智能電網(wǎng)大數(shù)據(jù)處理技術(shù)現(xiàn)狀[J]. 張嘯宇. 中國科技信息. 2018(21)
[8]電能質(zhì)量監(jiān)測系統(tǒng)研究現(xiàn)狀及發(fā)展趨勢[J]. 趙磊. 中國戰(zhàn)略新興產(chǎn)業(yè). 2018(40)
[9]大數(shù)據(jù)技術(shù)在電力通信網(wǎng)的研究與應(yīng)用[J]. 林炳花. 電力大數(shù)據(jù). 2018(05)
[10]電能質(zhì)量在線監(jiān)測系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J]. 李林輝,楊軍飛,談軍,吳猛,殷成才. 中國電力. 2017(05)
博士論文
[1]基于大數(shù)據(jù)技術(shù)的電站機(jī)組節(jié)能優(yōu)化研究[D]. 劉炳含.華北電力大學(xué)(北京) 2019
碩士論文
[1]基于大數(shù)據(jù)的電能質(zhì)量分析應(yīng)用研究[D]. 婁國嬌.長春工業(yè)大學(xué) 2019
[2]基于云平臺的需求側(cè)用戶用電大數(shù)據(jù)分析[D]. 李敏.上海電機(jī)學(xué)院 2019
[3]電能質(zhì)量數(shù)據(jù)存儲與綜合評估方法研究[D]. 陶耕宇.哈爾濱工業(yè)大學(xué) 2018
[4]基于大數(shù)據(jù)的電力設(shè)備運(yùn)行數(shù)據(jù)分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 梁少培.華北電力大學(xué) 2018
[5]用電負(fù)荷大數(shù)據(jù)分析預(yù)測系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 臧淑娟.山東大學(xué) 2018
[6]基于Hadoop的電網(wǎng)數(shù)據(jù)應(yīng)用算法優(yōu)化研究[D]. 吳正航.華南理工大學(xué) 2017
[7]基于Hadoop的海量電能質(zhì)量監(jiān)測數(shù)據(jù)云平臺的研究[D]. 周艷玲.西安科技大學(xué) 2017
[8]基于DSP和C/S架構(gòu)的電能質(zhì)量監(jiān)測系統(tǒng)研究[D]. 胡雪瑩.河北農(nóng)業(yè)大學(xué) 2014
[9]電能質(zhì)量在線監(jiān)測與智能信息系統(tǒng)建設(shè)及應(yīng)用研究[D]. 弭勇.華北電力大學(xué) 2014
[10]電能質(zhì)量監(jiān)測海量數(shù)據(jù)分析研究[D]. 陳海濤.華南理工大學(xué) 2013
本文編號:3217623
【文章來源】:北方工業(yè)大學(xué)北京市
【文章頁數(shù)】:73 頁
【學(xué)位級別】:碩士
【部分圖文】:
指標(biāo)統(tǒng)計(jì)模塊
第四章電能質(zhì)量數(shù)據(jù)接入與管理系統(tǒng)設(shè)計(jì)24綜合展示包括全網(wǎng)概覽、指標(biāo)統(tǒng)計(jì)、臺賬信息。具體可見下圖:圖4-5綜合展示模塊4.2核心數(shù)據(jù)處理流程核心數(shù)據(jù)主要包括兩類,第一類是原始監(jiān)測數(shù)據(jù),第二類是經(jīng)過統(tǒng)計(jì)計(jì)算后的結(jié)果數(shù)據(jù)。對核心數(shù)據(jù)的處理主要包括數(shù)據(jù)接入和計(jì)算分析兩部分,本小節(jié)中提到的數(shù)據(jù)皆為對原始監(jiān)測數(shù)據(jù)的處理。4.2.1數(shù)據(jù)接入流程該電能質(zhì)量數(shù)據(jù)匯集接入系統(tǒng)的設(shè)計(jì),主要包括歷史數(shù)據(jù)接入和實(shí)時數(shù)據(jù)接入兩部分。4.2.1.1歷史數(shù)據(jù)接入流程歷史數(shù)據(jù)匯集接入過程主要包括:(1)從已有各個省網(wǎng)記錄的表中獲取所有省網(wǎng)SFTP的連接及配置信息,綜合展示全網(wǎng)概覽展示監(jiān)測點(diǎn)分布情況展示監(jiān)測點(diǎn)在線率指標(biāo)統(tǒng)計(jì)全網(wǎng)各項(xiàng)指標(biāo)柱狀圖全網(wǎng)監(jiān)測指標(biāo)實(shí)時值展示全網(wǎng)監(jiān)測指標(biāo)實(shí)時趨勢圖臺帳信息展示全網(wǎng)監(jiān)測點(diǎn)總數(shù)展示全網(wǎng)監(jiān)測終端總數(shù)以雙柱狀圖展示各省監(jiān)測點(diǎn)總數(shù)以餅圖展示各省監(jiān)測點(diǎn)總數(shù)監(jiān)測對象類型的分類情況以餅圖的形式展示監(jiān)測終端數(shù)量按廠家劃分的情況
第四章電能質(zhì)量數(shù)據(jù)接入與管理系統(tǒng)設(shè)計(jì)25包括訪問IP、端口、用戶名、密碼等信息。(2)以Client_ftp=1舉例,通過對連接配置信息的比對,得到Client_ftp=1的省網(wǎng)SFTP,把其作為當(dāng)前收取數(shù)據(jù)的對象后與該省網(wǎng)SFTP建立通信并獲取該省網(wǎng)SFTP的文件所有信息,包括文件名稱、大孝目錄等詳細(xì)信息,并通過文件的大小計(jì)算出拉取數(shù)據(jù)所需要的間隔時間。(3)將省網(wǎng)SFTP的配置信息、文件信息和拉取數(shù)據(jù)所需時間間隔等一并發(fā)送給數(shù)據(jù)收取程序。(4)成功建立socket連接后開始下載壓縮文件并解壓,將不同類型的文件存儲到不同的目標(biāo)數(shù)據(jù)庫中,通常將文本文件存儲到HBase中,波形文件存儲到HDFS中,中間結(jié)果記錄到MySQL中。詳情見下圖:圖4-6歷史數(shù)據(jù)接入流程圖4.2.1.2實(shí)時數(shù)據(jù)接入流程Kafka有高可用,高吞吐量等特點(diǎn),實(shí)時數(shù)據(jù)接入主要采用Kafka技術(shù),主要流程有:(1)總部創(chuàng)建消費(fèi)者后與當(dāng)前省網(wǎng)Kafka建立連接,獲取省網(wǎng)Kafka的地址、配置信息(主題,消費(fèi)者個數(shù))和主題topic。(2)按topic接收流數(shù)據(jù),并存儲到HBase中。詳情見下圖:
【參考文獻(xiàn)】:
期刊論文
[1]基于Spark的層次聚類算法的并行化研究[J]. 余勝輝,李玲娟. 計(jì)算機(jī)技術(shù)與發(fā)展. 2020(06)
[2]基于大數(shù)據(jù)的主網(wǎng)生產(chǎn)運(yùn)維數(shù)據(jù)分析系統(tǒng)設(shè)計(jì)[J]. 吳應(yīng)雙,陳銳,曹杰,劉明順. 電力大數(shù)據(jù). 2019(12)
[3]電力系統(tǒng)典型電能質(zhì)量問題解決方案探討[J]. 朱明星. 電氣應(yīng)用. 2019(09)
[4]電壓暫降治理效果評價(jià)指標(biāo)體系及綜合評價(jià)模型[J]. 丁凱,李偉,謝佳妮,汪穎. 科學(xué)技術(shù)與工程. 2019(25)
[5]WEB可視化技術(shù)在電網(wǎng)大數(shù)據(jù)場景下的應(yīng)用研究[J]. 潘玉春,胡劍鋒,朱玉付. 電力大數(shù)據(jù). 2019(03)
[6]電力通信網(wǎng)大數(shù)據(jù)應(yīng)用場景開發(fā)及試點(diǎn)應(yīng)用[J]. 耿俊成,張小斐,郭志民,吳博,呂順利. 電力大數(shù)據(jù). 2019(02)
[7]智能電網(wǎng)大數(shù)據(jù)處理技術(shù)現(xiàn)狀[J]. 張嘯宇. 中國科技信息. 2018(21)
[8]電能質(zhì)量監(jiān)測系統(tǒng)研究現(xiàn)狀及發(fā)展趨勢[J]. 趙磊. 中國戰(zhàn)略新興產(chǎn)業(yè). 2018(40)
[9]大數(shù)據(jù)技術(shù)在電力通信網(wǎng)的研究與應(yīng)用[J]. 林炳花. 電力大數(shù)據(jù). 2018(05)
[10]電能質(zhì)量在線監(jiān)測系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J]. 李林輝,楊軍飛,談軍,吳猛,殷成才. 中國電力. 2017(05)
博士論文
[1]基于大數(shù)據(jù)技術(shù)的電站機(jī)組節(jié)能優(yōu)化研究[D]. 劉炳含.華北電力大學(xué)(北京) 2019
碩士論文
[1]基于大數(shù)據(jù)的電能質(zhì)量分析應(yīng)用研究[D]. 婁國嬌.長春工業(yè)大學(xué) 2019
[2]基于云平臺的需求側(cè)用戶用電大數(shù)據(jù)分析[D]. 李敏.上海電機(jī)學(xué)院 2019
[3]電能質(zhì)量數(shù)據(jù)存儲與綜合評估方法研究[D]. 陶耕宇.哈爾濱工業(yè)大學(xué) 2018
[4]基于大數(shù)據(jù)的電力設(shè)備運(yùn)行數(shù)據(jù)分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 梁少培.華北電力大學(xué) 2018
[5]用電負(fù)荷大數(shù)據(jù)分析預(yù)測系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 臧淑娟.山東大學(xué) 2018
[6]基于Hadoop的電網(wǎng)數(shù)據(jù)應(yīng)用算法優(yōu)化研究[D]. 吳正航.華南理工大學(xué) 2017
[7]基于Hadoop的海量電能質(zhì)量監(jiān)測數(shù)據(jù)云平臺的研究[D]. 周艷玲.西安科技大學(xué) 2017
[8]基于DSP和C/S架構(gòu)的電能質(zhì)量監(jiān)測系統(tǒng)研究[D]. 胡雪瑩.河北農(nóng)業(yè)大學(xué) 2014
[9]電能質(zhì)量在線監(jiān)測與智能信息系統(tǒng)建設(shè)及應(yīng)用研究[D]. 弭勇.華北電力大學(xué) 2014
[10]電能質(zhì)量監(jiān)測海量數(shù)據(jù)分析研究[D]. 陳海濤.華南理工大學(xué) 2013
本文編號:3217623
本文鏈接:http://sikaile.net/kejilunwen/shengwushengchang/3217623.html
最近更新
教材專著