針對(duì)輸電線纜由于風(fēng)舞和外力拉扯破壞而產(chǎn)生的故障以及石油、天然氣的長(zhǎng)距離運(yùn)輸管道中存在的惡劣油氣偷盜等問(wèn)題,需要對(duì)電力線纜、輸氣管道狀態(tài)進(jìn)行安全監(jiān)測(cè)以減少經(jīng)濟(jì)損失避免產(chǎn)生不必要的社會(huì)危害。分布式光纖傳感在實(shí)時(shí)安全監(jiān)測(cè)上具有巨大優(yōu)勢(shì),然而全天候、全分布的監(jiān)測(cè)應(yīng)用必將帶來(lái)海量的監(jiān)測(cè)數(shù)據(jù),這給監(jiān)測(cè)數(shù)據(jù)的存儲(chǔ)、查詢?cè)L問(wèn)和處理帶來(lái)了前所未有的挑戰(zhàn)。本文基于電力線纜安全監(jiān)測(cè)以及管道安全監(jiān)測(cè)應(yīng)用需求,分別利用分布式系統(tǒng)基礎(chǔ)架構(gòu)Hadoop下的HDFS和HBase實(shí)現(xiàn)分布式光纖傳感大數(shù)據(jù)可靠性存儲(chǔ)和實(shí)時(shí)查詢?cè)L問(wèn),利用Spark技術(shù)對(duì)監(jiān)測(cè)大數(shù)據(jù)進(jìn)行高效統(tǒng)計(jì)分析,從而判斷電力線纜是否存在風(fēng)舞異常,應(yīng)用Spark ML機(jī)器學(xué)習(xí)組件于管道擾動(dòng)狀態(tài)的分類,通過(guò)實(shí)驗(yàn)對(duì)比了傳統(tǒng)方法和本文所提出方案的性能,驗(yàn)證了方案的高效性。本文主要完成以下幾個(gè)方面的工作:(1)分析了應(yīng)用大數(shù)據(jù)技術(shù)解決分布式光纖傳感電力線纜和管道安全監(jiān)測(cè)中存在的問(wèn)題的現(xiàn)狀以及意義。(2)綜合考慮分布式光纖傳感數(shù)據(jù)以及大數(shù)據(jù)處理技術(shù)的特點(diǎn),構(gòu)建了分布式光纖傳感大數(shù)據(jù)存儲(chǔ)、管理和處理的整體框架,采用數(shù)據(jù)采集層、數(shù)據(jù)存儲(chǔ)管理層、數(shù)據(jù)處理層三層體系架構(gòu);并結(jié)合實(shí)際應(yīng)用場(chǎng)景搭建Cloudera大數(shù)據(jù)集群。(3)在數(shù)據(jù)存儲(chǔ)管理層,基于HDFS設(shè)計(jì)了光纖傳感監(jiān)測(cè)大數(shù)據(jù)的高可靠性快速存儲(chǔ)方案,并通過(guò)寫入/讀取(I/O)實(shí)驗(yàn)驗(yàn)證了該方案具有高吞吐、快速存儲(chǔ)的優(yōu)勢(shì);基于HBase設(shè)計(jì)了光纖傳感監(jiān)測(cè)大數(shù)據(jù)的實(shí)時(shí)查詢方案,通過(guò)實(shí)驗(yàn)驗(yàn)證了查詢速度在“秒”級(jí)。(4)針對(duì)統(tǒng)計(jì)分析的數(shù)據(jù)處理,在分布式光纖傳感電力線纜安全監(jiān)測(cè)領(lǐng)域,分別利用MapReduce和Spark對(duì)光纖傳感系統(tǒng)采集到的原始數(shù)據(jù)進(jìn)行數(shù)據(jù)預(yù)處理、特征提取,從而判斷風(fēng)舞異常的有無(wú),并通過(guò)實(shí)驗(yàn)比較Spark、MapReduce和單機(jī)的數(shù)據(jù)處理性能,Spark速率可以達(dá)到MapReduce的10多倍,是單機(jī)的30倍。(5)針對(duì)復(fù)雜迭代計(jì)算的數(shù)據(jù)處理,在分布式光纖傳感管道安全監(jiān)測(cè)領(lǐng)域,設(shè)計(jì)了數(shù)據(jù)預(yù)處理和特征提取的方法,構(gòu)建了基于Spark ML的決策樹、隨機(jī)森林、支持向量積、XGBoost多種分類算法的管道擾動(dòng)模式識(shí)別方案,通過(guò)實(shí)驗(yàn)獲得預(yù)測(cè)精度,并對(duì)比Spark與單機(jī)在機(jī)器學(xué)習(xí)上的速率,實(shí)驗(yàn)數(shù)據(jù)顯示Spark速度是單機(jī)處理的50倍。
【學(xué)位單位】：電子科技大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位年份】：2019
【中圖分類】：TM75;TP311.13;TP212.9
【文章目錄】：
摘要
abstract
第一章 緒論
    1.1 課題背景及研究意義
    1.2 國(guó)內(nèi)外研究現(xiàn)狀
        1.2.1 分布式光纖傳感應(yīng)用研究現(xiàn)狀
        1.2.2 光纖傳感監(jiān)測(cè)大數(shù)據(jù)研究現(xiàn)狀
    1.3 本文研究?jī)?nèi)容和結(jié)構(gòu)安排
        1.3.1 主要研究?jī)?nèi)容
        1.3.2 章節(jié)內(nèi)容安排
第二章 大數(shù)據(jù)處理技術(shù)
    2.1 大數(shù)據(jù)的概念和特點(diǎn)
    2.2 Hadoop大數(shù)據(jù)處理技術(shù)
        2.2.1 Hadoop分布式文件系統(tǒng)HDFS
        2.2.2 Hadoop并行計(jì)算框架MapReduce
        2.2.3 分布式列式存儲(chǔ)數(shù)據(jù)庫(kù)HBase
    2.3 Spark大數(shù)據(jù)處理技術(shù)
        2.3.1 Spark軟件棧
        2.3.2 數(shù)據(jù)在RDD、DataFrame中的分布式存儲(chǔ)
        2.3.3 Spark MLlib和 ML
    2.4 本章小結(jié)
第三章 分布式光纖傳感大數(shù)據(jù)管理平臺(tái)搭建及存儲(chǔ)方法研究
    3.1 分布式光纖傳感監(jiān)測(cè)大數(shù)據(jù)來(lái)源和特點(diǎn)
        3.1.1 基于P-OTDR的線纜風(fēng)舞、外力破壞監(jiān)測(cè)
        3.1.2 基于Φ-OTDR的管道擾動(dòng)監(jiān)測(cè)
        3.1.3 分布式光纖傳感監(jiān)測(cè)大數(shù)據(jù)的特點(diǎn)
    3.2 分布式光纖傳感監(jiān)測(cè)大數(shù)據(jù)存儲(chǔ)、管理和處理整體框架設(shè)計(jì)
    3.3 分布式高可用集群設(shè)計(jì)與搭建
    3.4 光纖傳感大數(shù)據(jù)HDFS持久化存儲(chǔ)系統(tǒng)設(shè)計(jì)
        3.4.1 HDFS存儲(chǔ)設(shè)計(jì)
        3.4.2 基于HDFS存儲(chǔ)實(shí)驗(yàn)
    3.5 光纖傳感大數(shù)據(jù)HBase實(shí)時(shí)交互查詢數(shù)據(jù)庫(kù)設(shè)計(jì)
        3.5.1 HBase存儲(chǔ)設(shè)計(jì)
        3.5.2 基于HBase的存儲(chǔ)實(shí)驗(yàn)
    3.6 本章小結(jié)
第四章 電力線纜監(jiān)測(cè)中的光纖傳感大數(shù)據(jù)處理方法及應(yīng)用
    4.1 分布式光纖傳感電力線纜安全監(jiān)測(cè)大數(shù)據(jù)處理流程
    4.2 電力線纜風(fēng)舞監(jiān)測(cè)數(shù)據(jù)預(yù)處理方法
        4.2.1 一階差分處理
        4.2.2 小波包去噪處理
    4.3 電力線纜風(fēng)舞監(jiān)測(cè)數(shù)據(jù)特征選擇與提取方法
    4.4 光纖傳感電力線纜監(jiān)測(cè)數(shù)據(jù)的Spark、MapReduce處理方法設(shè)計(jì)
        4.4.1 基于Spark的數(shù)據(jù)處理設(shè)計(jì)
        4.4.2 基于MapReduce的數(shù)據(jù)處理設(shè)計(jì)
    4.5 實(shí)驗(yàn)結(jié)果及分析
        4.5.1 Spark、MapReduce以及單機(jī)數(shù)據(jù)統(tǒng)計(jì)計(jì)算處理性能對(duì)比
        4.5.2 基于相關(guān)特征的異常判斷
    4.6 本章小結(jié)
第五章 埋地輸油管道安全監(jiān)測(cè)大數(shù)據(jù)處理方法及應(yīng)用
    5.1 分布式光纖傳感管道安全監(jiān)測(cè)大數(shù)據(jù)處理流程
    5.2 管道監(jiān)測(cè)數(shù)據(jù)預(yù)處理方法
    5.3 管道監(jiān)測(cè)數(shù)據(jù)特征提取方法
    5.4 基于Spark ML的光纖傳感輸油管道監(jiān)測(cè)信號(hào)的事件分類設(shè)計(jì)
        5.4.1 Spark ML機(jī)器學(xué)習(xí)
        5.4.2 基于Spark ML的管道安全監(jiān)測(cè)分類預(yù)測(cè)設(shè)計(jì)
    5.5 實(shí)驗(yàn)結(jié)果與分析
    5.6 本章小結(jié)
第六章 總結(jié)與展望
    6.1 全文總結(jié)
    6.2 后續(xù)工作展望
致謝
參考文獻(xiàn)
攻讀碩士學(xué)位期間取得的成果

【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 張顏;婁淑琴;梁生;王鵬;;基于多特征參量的?-OTDR分布式光纖擾動(dòng)傳感系統(tǒng)模式識(shí)別研究[J];中國(guó)激光;2015年11期

2 孫名揚(yáng);高原;嚴(yán)亞勤;莊衛(wèi)金;孟勇亮;翟明玉;;智能電網(wǎng)調(diào)度控制系統(tǒng)集群化技術(shù)[J];電力系統(tǒng)自動(dòng)化;2015年01期

3 謝善益;楊強(qiáng);王彬;周剛;;開放式輸變電設(shè)備狀態(tài)監(jiān)測(cè)信息平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)[J];電力系統(tǒng)保護(hù)與控制;2014年23期

4 王德文;劉曉建;;基于MapReduce的電力設(shè)備并行故障診斷方法[J];電力自動(dòng)化設(shè)備;2014年10期

5 齊林海;艾明浩;;一種基于云計(jì)算的電壓暫降并行計(jì)算方法[J];中國(guó)電機(jī)工程學(xué)報(bào);2014年31期

6 張逸;楊洪耕;葉茂清;;基于分布式文件系統(tǒng)的海量電能質(zhì)量監(jiān)測(cè)數(shù)據(jù)管理方案[J];電力系統(tǒng)自動(dòng)化;2014年02期

7 卞龐;吳媛;賈波;肖倩;;基于改進(jìn)型sagnac干涉儀的擾動(dòng)定位系統(tǒng)[J];儀器儀表學(xué)報(bào);2012年12期

8 曲朝陽(yáng);朱莉;張士林;;基于Hadoop的廣域測(cè)量系統(tǒng)數(shù)據(jù)處理[J];電力系統(tǒng)自動(dòng)化;2013年04期

9 李育忠;鄭宏麗;賈世民;劉全利;鄧凱夫;張金權(quán);;國(guó)內(nèi)外油氣管道檢測(cè)監(jiān)測(cè)技術(shù)發(fā)展現(xiàn)狀[J];石油科技論壇;2012年02期

10 沐連順;崔立忠;安寧;;電力系統(tǒng)云計(jì)算中心的研究與實(shí)踐[J];電網(wǎng)技術(shù);2011年06期

相關(guān)博士學(xué)位論文 前1條

1 羅健斌;基于光纖傳感技術(shù)的高壓輸電線路覆冰狀態(tài)監(jiān)測(cè)研究[D];華南理工大學(xué);2013年

相關(guān)碩士學(xué)位論文 前3條

1 張嘯;分布式光纖傳感信號(hào)的稀疏性表示及壓縮方法[D];電子科技大學(xué);2018年

2 史尊偉;基于BOTDR技術(shù)的架空輸電線路監(jiān)測(cè)系統(tǒng)研制與試驗(yàn)研究[D];華南理工大學(xué);2015年

3 楊洪磊;線路覆冰光纖光柵在線監(jiān)測(cè)系統(tǒng)的研究[D];昆明理工大學(xué);2014年

本文編號(hào)：2829557