基于spark的化工裝置平穩(wěn)度實時預測模型
發(fā)布時間:2023-03-31 22:31
石化行業(yè)一直是我國支柱行業(yè),著名的化工能源企業(yè)如中國石化、中國石油、中國海油等公司擁有著龐大的固定資產和大量的從業(yè)者,把控著國民經濟的命脈。其生產的各類化工產品大量應用于交通、建筑、農業(yè)等工業(yè)領域,也出現在人民日常起居的方方面面;ば袠I(yè)無時無刻不在促進著各行各業(yè)的發(fā)展,也造福于世界人民的生活。但是,一直以來,化工行業(yè)都屬于高風險行業(yè),各類化工事故時有發(fā)生,而絕大多數化工事故都與化工裝置密切相關。化工裝置的故障或損壞會直接導致生產受阻,造成項目進度延緩和一定的經濟損失。嚴重時會發(fā)生爆炸、起火、或毒氣泄露等重大事故,造成人員傷亡;ぱb置是生產化工產品過程中應用的全部器械、機件的總稱;ぱb置的持續(xù)穩(wěn)定運行非常重要,它是保障化學反應持續(xù)穩(wěn)定進行的必要條件,也是保障人員生命財產與能源公司資產的關鍵前提。因此,確;ぱb置及其設備平穩(wěn)、安全地運作就成為了世界各大化工企業(yè)的首要任務。各公司都大大加強了防范意識,并對化工裝置的風險評估辦法進行積極研究。本文以大數據分析技術為核心,構建了一套化工裝置平穩(wěn)度實時預測的模型。該模型首次將spark大數據分析技術成功應用于化工裝置穩(wěn)定性監(jiān)測領域。在這套化...
【文章頁數】:78 頁
【學位級別】:碩士
【文章目錄】:
致謝
摘要
ABSTRACT
1. 引言
1.1 研究背景與意義
1.1.1 項目研究背景
1.1.2 項目研究意義
1.2 研究現狀分析
1.3 論文內容及結構概述
2. 相關理論基礎
2.1 Spark大數據計算框架
2.1.1 RDD概念
2.1.2 Spark編程模型
2.1.3 Spark架構
2.1.4 Driver程序在Spark架構中的運行流程
2.2 Spark Streaming流式數據處理框架
2.2.1 Spark Streaming與Storm的比較
2.3 Kafka分布式消息隊列
2.3.1 Kafka的整體架構
2.3.2 Kafka的使用場景
2.4 分布式存儲系統(tǒng)HBASE
2.4.1 HBase的概念
2.4.2 HBase存儲機制
2.4.3 HBase與RDBMS的比較
2.5 內存數據庫REDIS
2.6 分布式協調服務Zookeeper
2.6.1 Zookeeper的作用和特點
2.6.2 Zookeeper的角色及其作用
2.6.3 Zookeeper工作原理
2.7 分布式計算工具集AKKA
2.7.1 Actor與消息傳遞
2.7.2 Akka對Actor模型的發(fā)展
3. 模型訓練模塊的設計
3.1 數據清洗規(guī)則的設計
3.1.1 初步取數
3.1.2 過濾小波動數據
3.1.3 數據時間錯位處理
3.1.4 去除目標位號不存在時間的數據
3.1.5 獲取數據量豐富的自變量數據
3.1.6 保證記錄的邏輯有效性
3.1.7 行轉列規(guī)則
3.2 相關性分析的實現
3.2.1 斯皮爾曼等級相關
3.2.2 相關性定量分析
3.3 模型訓練過程
3.4 本章工作小結
4. 實時預測模塊的設計
4.1 設計思路分析
4.1.1 kafka的應用
4.1.2 Spark Streaming流式數據處理框架
4.1.3 Redis的應用
4.1.4 Akka的應用
4.1.5 預測值的得出和處理
4.2 本章工作小結
5. 算法的比較與調整
5.1 神經網絡算法的嘗試
5.2 隨機森林算法的嘗試
5.3 其他方法的嘗試
5.3.1 梯度樹提升算法的嘗試
5.3.2 改變模型時差的嘗試
5.3.3 自相關位號的確定
5.4 本章工作小結
6. 數據展示分析模塊的設計
6.1 模塊功能說明
6.2 系統(tǒng)功能
6.2.1 單位字典
6.2.2 規(guī)則列表
6.2.3 流程列表
6.2.4 模型列表
6.2.5 位號列表
6.2.6 設備列表
6.2.7 裝置列表
6.2.8 其他數據展示界面
6.3 數據操作功能
6.3.1 流程指定功能
6.3.2 位號預測功能
6.3.3 儀表失征檢測
6.3.4 短信發(fā)送設置
6.3.5 系統(tǒng)日志記錄
6.3.6 裝置平穩(wěn)度預測
6.3.7 模型準確率統(tǒng)計
6.4 系統(tǒng)整體架構
6.5 本章工作小結
參考文獻
作者簡歷及攻讀碩士學位期間取得的研究成果
學位論文數據集
本文編號:3775914
【文章頁數】:78 頁
【學位級別】:碩士
【文章目錄】:
致謝
摘要
ABSTRACT
1. 引言
1.1 研究背景與意義
1.1.1 項目研究背景
1.1.2 項目研究意義
1.2 研究現狀分析
1.3 論文內容及結構概述
2. 相關理論基礎
2.1 Spark大數據計算框架
2.1.1 RDD概念
2.1.2 Spark編程模型
2.1.3 Spark架構
2.1.4 Driver程序在Spark架構中的運行流程
2.2 Spark Streaming流式數據處理框架
2.2.1 Spark Streaming與Storm的比較
2.3 Kafka分布式消息隊列
2.3.1 Kafka的整體架構
2.3.2 Kafka的使用場景
2.4 分布式存儲系統(tǒng)HBASE
2.4.1 HBase的概念
2.4.2 HBase存儲機制
2.4.3 HBase與RDBMS的比較
2.5 內存數據庫REDIS
2.6 分布式協調服務Zookeeper
2.6.1 Zookeeper的作用和特點
2.6.2 Zookeeper的角色及其作用
2.6.3 Zookeeper工作原理
2.7 分布式計算工具集AKKA
2.7.1 Actor與消息傳遞
2.7.2 Akka對Actor模型的發(fā)展
3. 模型訓練模塊的設計
3.1 數據清洗規(guī)則的設計
3.1.1 初步取數
3.1.2 過濾小波動數據
3.1.3 數據時間錯位處理
3.1.4 去除目標位號不存在時間的數據
3.1.5 獲取數據量豐富的自變量數據
3.1.6 保證記錄的邏輯有效性
3.1.7 行轉列規(guī)則
3.2 相關性分析的實現
3.2.1 斯皮爾曼等級相關
3.2.2 相關性定量分析
3.3 模型訓練過程
3.4 本章工作小結
4. 實時預測模塊的設計
4.1 設計思路分析
4.1.1 kafka的應用
4.1.2 Spark Streaming流式數據處理框架
4.1.3 Redis的應用
4.1.4 Akka的應用
4.1.5 預測值的得出和處理
4.2 本章工作小結
5. 算法的比較與調整
5.1 神經網絡算法的嘗試
5.2 隨機森林算法的嘗試
5.3 其他方法的嘗試
5.3.1 梯度樹提升算法的嘗試
5.3.2 改變模型時差的嘗試
5.3.3 自相關位號的確定
5.4 本章工作小結
6. 數據展示分析模塊的設計
6.1 模塊功能說明
6.2 系統(tǒng)功能
6.2.1 單位字典
6.2.2 規(guī)則列表
6.2.3 流程列表
6.2.4 模型列表
6.2.5 位號列表
6.2.6 設備列表
6.2.7 裝置列表
6.2.8 其他數據展示界面
6.3 數據操作功能
6.3.1 流程指定功能
6.3.2 位號預測功能
6.3.3 儀表失征檢測
6.3.4 短信發(fā)送設置
6.3.5 系統(tǒng)日志記錄
6.3.6 裝置平穩(wěn)度預測
6.3.7 模型準確率統(tǒng)計
6.4 系統(tǒng)整體架構
6.5 本章工作小結
參考文獻
作者簡歷及攻讀碩士學位期間取得的研究成果
學位論文數據集
本文編號:3775914
本文鏈接:http://sikaile.net/kejilunwen/huaxuehuagong/3775914.html
最近更新
教材專著