本文關(guān)鍵詞：油氣物聯(lián)網(wǎng)實(shí)時(shí)數(shù)據(jù)管理的研究

  更多相關(guān)文章： 油氣生產(chǎn) 物聯(lián)網(wǎng) 實(shí)時(shí)數(shù)據(jù) 大數(shù)據(jù) 數(shù)據(jù)完整性

【摘要】：隨著物聯(lián)網(wǎng)技術(shù)在油氣生產(chǎn)中的應(yīng)用不斷深入,安裝于井場(chǎng)的儀表通過檢查、測(cè)量、分析、計(jì)算所得到的現(xiàn)場(chǎng)數(shù)據(jù)由RTU上傳至井控SCADA系統(tǒng),以便對(duì)油氣生產(chǎn)過程進(jìn)行數(shù)據(jù)展示、遠(yuǎn)程監(jiān)控與管理。這些實(shí)時(shí)數(shù)據(jù)被存放在實(shí)時(shí)數(shù)據(jù)庫(kù)中和歷史數(shù)據(jù)庫(kù)中,為了便于管理和組織這些實(shí)時(shí)數(shù)據(jù),需要將這些基于標(biāo)簽存儲(chǔ)的工業(yè)實(shí)時(shí)數(shù)據(jù)轉(zhuǎn)換為適合分析的業(yè)務(wù)數(shù)據(jù),利用這些分析型業(yè)務(wù)數(shù)據(jù)實(shí)現(xiàn)告警和預(yù)警等決策,便于查詢和二次決策。本文針對(duì)實(shí)時(shí)數(shù)據(jù)的分類處理和管理過程設(shè)計(jì)了應(yīng)用服務(wù)層和生產(chǎn)數(shù)據(jù)采集層之間的開放式結(jié)構(gòu)——實(shí)時(shí)數(shù)據(jù)處理系統(tǒng)。首先,以油氣物聯(lián)網(wǎng)項(xiàng)目中實(shí)時(shí)數(shù)據(jù)的組織、發(fā)布、生產(chǎn)單元分類處理為需求,在深入考慮實(shí)時(shí)數(shù)據(jù)在油氣物聯(lián)網(wǎng)生產(chǎn)中的數(shù)據(jù)采集、傳輸、存儲(chǔ)及存儲(chǔ)標(biāo)準(zhǔn)的基礎(chǔ)上,研究了實(shí)時(shí)數(shù)據(jù)的業(yè)務(wù)功能以及如何劃分系統(tǒng)模塊,同時(shí)分析了實(shí)時(shí)數(shù)據(jù)處理過程中的不足,包括存儲(chǔ)過程中數(shù)據(jù)量敏感、存儲(chǔ)成本高,數(shù)據(jù)采集與應(yīng)用的頻度相對(duì)固定、不易調(diào)整,數(shù)據(jù)丟失后,難以恢復(fù)等問題。其次,對(duì)目前基于多線程的實(shí)時(shí)數(shù)據(jù)處理系統(tǒng)進(jìn)行了性能測(cè)試,性能測(cè)試包括基準(zhǔn)測(cè)試,負(fù)載測(cè)試和持續(xù)性測(cè)試。重點(diǎn)分析了負(fù)載測(cè)試中實(shí)時(shí)數(shù)據(jù)的主要功能區(qū)單井檢測(cè)頁(yè)的健康度、最大響應(yīng)時(shí)間、最小響應(yīng)時(shí)間、平均響應(yīng)時(shí)間以及響應(yīng)錯(cuò)誤碼。由實(shí)驗(yàn)結(jié)果可知,由于采集及處理環(huán)節(jié)的復(fù)雜性,傳統(tǒng)的多線程處理實(shí)時(shí)數(shù)據(jù)的方式導(dǎo)致了系統(tǒng)的響應(yīng)速度會(huì)隨著用戶數(shù)的增加而變的很慢,為了加速數(shù)據(jù)處理和響應(yīng)的實(shí)時(shí)速度,本文設(shè)計(jì)了一套基于Hadoop平臺(tái)的實(shí)時(shí)數(shù)據(jù)處理及轉(zhuǎn)換系統(tǒng)。最后,對(duì)比目前常見的幾種保證數(shù)據(jù)完整性的算法,結(jié)合油氣物聯(lián)網(wǎng)系統(tǒng)中實(shí)時(shí)數(shù)據(jù)完整保護(hù)的需求,選用MD5算法進(jìn)行實(shí)時(shí)數(shù)據(jù)分組,從而加快實(shí)時(shí)數(shù)據(jù)的處理速度并保證歷史數(shù)據(jù)完整性,完成系統(tǒng)數(shù)據(jù)向上層的快速、準(zhǔn)確傳輸。
【關(guān)鍵詞】：油氣生產(chǎn) 物聯(lián)網(wǎng) 實(shí)時(shí)數(shù)據(jù) 大數(shù)據(jù) 數(shù)據(jù)完整性
【學(xué)位授予單位】：蘭州理工大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：TE4;TP391.44;TN929.5
【目錄】：

• 摘要7-8
• Abstract8-11
• 第1章 緒論11-16
• 1.1 引言11
• 1.2 國(guó)內(nèi)外研究現(xiàn)狀11-12
• 1.3 課題來源項(xiàng)目介紹12-14
• 1.4 主要研究?jī)?nèi)容及章節(jié)安排14-16
• 第2章 油氣物聯(lián)網(wǎng)實(shí)時(shí)數(shù)據(jù)需求分析16-32
• 2.1 實(shí)時(shí)數(shù)據(jù)庫(kù)的特征16-17
• 2.2 實(shí)時(shí)數(shù)據(jù)的組織及管理17-18
• 2.3 油氣生產(chǎn)實(shí)時(shí)數(shù)據(jù)采集與傳輸18-21
• 2.3.1 SCADA系統(tǒng)19
• 2.3.2 油氣生產(chǎn)實(shí)時(shí)數(shù)據(jù)流向19-21
• 2.4 實(shí)時(shí)數(shù)據(jù)存儲(chǔ)形式21-22
• 2.5 主要應(yīng)用服務(wù)功能22-23
• 2.5.1 數(shù)據(jù)統(tǒng)計(jì)服務(wù)22-23
• 2.5.2 自定義數(shù)據(jù)抽取23
• 2.6 性能測(cè)試結(jié)果及分析23-31
• 2.6.1 性能測(cè)試基礎(chǔ)知識(shí)23-24
• 2.6.2 測(cè)試流程與數(shù)據(jù)準(zhǔn)備24-26
• 2.6.3 基準(zhǔn)測(cè)試26-27
• 2.6.4 負(fù)載測(cè)試27-29
• 2.6.5 持續(xù)性測(cè)試29-31
• 2.7 本章小結(jié)31-32
• 第3章 物聯(lián)網(wǎng)實(shí)時(shí)數(shù)據(jù)分析平臺(tái)設(shè)計(jì)32-40
• 3.1 實(shí)現(xiàn)目標(biāo)32-33
• 3.2 大數(shù)據(jù)相關(guān)技術(shù)介紹33-35
• 3.2.1 MapReduce計(jì)算框架33-34
• 3.2.2 Hadoop分布式文件系統(tǒng)34-35
• 3.2.3 Redis內(nèi)存數(shù)據(jù)庫(kù)35
• 3.3 系統(tǒng)平臺(tái)設(shè)計(jì)35-39
• 3.3.1 整體架構(gòu)35-36
• 3.3.2 運(yùn)行環(huán)境及角色分配細(xì)節(jié)36-37
• 3.3.3 Log日志處理37-38
• 3.3.4 定時(shí)調(diào)度38-39
• 3.4 本章小結(jié)39-40
• 第4章 實(shí)時(shí)數(shù)據(jù)處理程序的設(shè)計(jì)40-53
• 4.1 數(shù)據(jù)采集層設(shè)計(jì)40-42
• 4.1.1 基本描述40-41
• 4.1.2 獲取標(biāo)簽類設(shè)計(jì)41
• 4.1.3 Mapper類設(shè)計(jì)41-42
• 4.1.4 Reducer類設(shè)計(jì)42
• 4.1.5 RedisClient類設(shè)計(jì)42
• 4.2 應(yīng)用服務(wù)設(shè)計(jì)42-47
• 4.2.1 日數(shù)據(jù)轉(zhuǎn)換43-44
• 4.2.2 告警轉(zhuǎn)換44-45
• 4.2.3 執(zhí)行流程45-46
• 4.2.4 轉(zhuǎn)換規(guī)則算法46-47
• 4.3 歷史數(shù)據(jù)完整性47-51
• 4.3.1 問題分析47
• 4.3.2 Hash 函數(shù)及 MD5 算法47-48
• 4.3.3 數(shù)據(jù)完整性檢測(cè)48-49
• 4.3.4 測(cè)試結(jié)果分析49-51
• 4.4 實(shí)驗(yàn)執(zhí)行結(jié)果51-52
• 4.5 本章小結(jié)52-53
• 總結(jié)與展望53-54
• 參考文獻(xiàn)54-58
• 致謝58-59
• 附錄A 攻讀學(xué)位期間所參與的項(xiàng)目59

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 ;迎接物聯(lián)網(wǎng)發(fā)展的新時(shí)代[J];中國(guó)安防;2010年06期

2 邵杰;;物聯(lián)網(wǎng)給安防行業(yè)帶來了新機(jī)遇[J];中國(guó)安防;2010年06期

3 ;中國(guó)物聯(lián)網(wǎng)產(chǎn)業(yè)發(fā)展前景及發(fā)展路徑[J];中國(guó)安防;2010年06期

4 鄭健;;將安防物聯(lián)網(wǎng)建設(shè)擺在“十二五”行業(yè)發(fā)展的重要地位[J];中國(guó)安防;2010年07期

5 牛娜;;物聯(lián)網(wǎng)及其在石油行業(yè)的應(yīng)用[J];信息與電腦(理論版);2010年09期

6 ;成都發(fā)布物聯(lián)網(wǎng)規(guī)劃 三年后有望實(shí)現(xiàn)智能交通[J];中國(guó)公共安全(綜合版);2010年07期

7 陳桂香;;標(biāo)準(zhǔn):物聯(lián)網(wǎng)發(fā)展的基石[J];中國(guó)安防;2010年12期

8 武佳賀;周浩;宮俊峰;賈麗娟;;物聯(lián)網(wǎng)在石油行業(yè)中的應(yīng)用及展望[J];中國(guó)信息界;2011年07期

9 晏崇孟;;物聯(lián)網(wǎng)新模式營(yíng)銷之我見[J];中國(guó)公共安全(綜合版);2011年08期

10 劉毅;;智慧城市:開啟物聯(lián)網(wǎng)時(shí)代之門[J];中國(guó)公共安全(綜合版);2011年05期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前10條

1 柯欣;;物聯(lián)網(wǎng)的智慧從何而來[A];兩化融合與物聯(lián)網(wǎng)發(fā)展學(xué)術(shù)研討會(huì)論文集[C];2010年

2 李晨熙;;物聯(lián)網(wǎng)的發(fā)展?fàn)顩r與趨勢(shì)[A];兩化融合與物聯(lián)網(wǎng)發(fā)展學(xué)術(shù)研討會(huì)論文集[C];2010年

3 朱順強(qiáng);;中國(guó)物聯(lián)網(wǎng)發(fā)展?fàn)顩r分析[A];中國(guó)通信學(xué)會(huì)2010年光纜電纜學(xué)術(shù)年會(huì)論文集[C];2010年

4 李文增;李拉;;對(duì)我國(guó)物聯(lián)網(wǎng)產(chǎn)業(yè)進(jìn)一步加快發(fā)展的對(duì)策研究[A];2010年度京津冀區(qū)域協(xié)作論壇論文集[C];2010年

5 曾躍;羅斌;周東曉;;關(guān)注物聯(lián)網(wǎng)發(fā)展:冷靜分析,務(wù)實(shí)前行[A];兩化融合與物聯(lián)網(wǎng)發(fā)展學(xué)術(shù)研討會(huì)論文集[C];2010年

6 張金鑫;魏峻旭;;我國(guó)物聯(lián)網(wǎng)發(fā)展現(xiàn)狀研究[A];兩化融合與物聯(lián)網(wǎng)發(fā)展學(xué)術(shù)研討會(huì)論文集[C];2010年

7 肖良顏;余翔宇;;廣東省物聯(lián)網(wǎng)建設(shè)和發(fā)展的思考[A];廣東通信2010青年論壇優(yōu)秀論文集[C];2010年

8 曹玉旺;張炎明;;淺析物聯(lián)網(wǎng)下智慧城市的發(fā)展策略[A];融合與創(chuàng)新——中國(guó)通信學(xué)會(huì)通信管理委員會(huì)第29次學(xué)術(shù)研討會(huì)論文集[C];2011年

9 陳衛(wèi)國(guó);;超級(jí)物聯(lián)網(wǎng):中國(guó)物聯(lián)網(wǎng)發(fā)展第三條道路[A];新觀點(diǎn)新學(xué)說學(xué)術(shù)沙龍文集47：物聯(lián)網(wǎng)產(chǎn)業(yè)與區(qū)域經(jīng)濟(jì)發(fā)展[C];2010年

10 王繼祥;;避免浮躁氣息,求同存異推進(jìn)物聯(lián)網(wǎng)應(yīng)用[A];新觀點(diǎn)新學(xué)說學(xué)術(shù)沙龍文集47：物聯(lián)網(wǎng)產(chǎn)業(yè)與區(qū)域經(jīng)濟(jì)發(fā)展[C];2010年

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫(kù) 前10條

1 本報(bào)記者 張煜;物聯(lián)網(wǎng)：下一個(gè)經(jīng)濟(jì)增長(zhǎng)點(diǎn)？[N];中國(guó)電子報(bào);2009年

2 本報(bào)記者 魏剛;物聯(lián)網(wǎng)：地球的神經(jīng)元[N];北京科技報(bào);2009年

3 本報(bào)通訊員 張前　本報(bào)記者 陳曉春;神奇物聯(lián)網(wǎng),大步走近我們的生活[N];新華日?qǐng)?bào);2009年

4 蔡玉高　劉巍巍;我國(guó)科研機(jī)構(gòu)加緊研發(fā)物聯(lián)網(wǎng)技術(shù)[N];人民郵電;2009年

5 記者 付秋實(shí);物聯(lián)網(wǎng),危機(jī)催生的新技術(shù)[N];金融時(shí)報(bào);2009年

6 朱小兵;物聯(lián)網(wǎng)不可一陣風(fēng)[N];計(jì)算機(jī)世界;2009年

7 本報(bào)記者 谷慧;物聯(lián)網(wǎng)掘金潮:前夜突圍[N];中國(guó)經(jīng)營(yíng)報(bào);2009年

8 本報(bào)記者 張麗婭　陳薇亦 實(shí)習(xí)生 方卿;“物聯(lián)網(wǎng)”生活令人憧憬[N];江蘇經(jīng)濟(jì)報(bào);2009年

9 工業(yè)和信息化部 通信科技委委員 侯自強(qiáng);物聯(lián)網(wǎng)僅僅才開始[N];計(jì)算機(jī)世界;2009年

10 本報(bào)記者 余建斌　整理 劉先云;物聯(lián)網(wǎng),智能改變生活[N];人民日?qǐng)?bào);2009年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 董新平;物聯(lián)網(wǎng)產(chǎn)業(yè)成長(zhǎng)研究[D];華中師范大學(xué);2012年

2 蘇美文;物聯(lián)網(wǎng)產(chǎn)業(yè)發(fā)展的理論分析與對(duì)策研究[D];吉林大學(xué);2015年

3 鄧雪峰;設(shè)施農(nóng)業(yè)物聯(lián)網(wǎng)系統(tǒng)建模與模型驗(yàn)證[D];中國(guó)農(nóng)業(yè)大學(xué);2016年

4 王峰;物聯(lián)網(wǎng)數(shù)據(jù)處理若干關(guān)鍵問題研究[D];吉林大學(xué);2016年

5 原旭;面向精細(xì)化種植的物聯(lián)網(wǎng)數(shù)據(jù)處理方法研究[D];大連理工大學(xué);2016年

6 喻濤;物聯(lián)網(wǎng)感知終端及數(shù)據(jù)管理關(guān)鍵技術(shù)研究[D];武漢大學(xué);2015年

7 鄭欣;物聯(lián)網(wǎng)商業(yè)模式發(fā)展研究[D];北京郵電大學(xué);2011年

8 周明;物聯(lián)網(wǎng)應(yīng)用若干關(guān)鍵問題的研究[D];北京郵電大學(xué);2014年

9 蒲海濤;物聯(lián)網(wǎng)環(huán)境下基于上下文感知的智能交互關(guān)鍵技術(shù)研究[D];山東科技大學(xué);2011年

10 孫運(yùn)雷;物聯(lián)網(wǎng)服務(wù)質(zhì)量動(dòng)態(tài)保障方法研究[D];北京郵電大學(xué);2014年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 關(guān)勇;物聯(lián)網(wǎng)行業(yè)發(fā)展分析[D];北京郵電大學(xué);2010年

2 劉鵬程;物聯(lián)網(wǎng)標(biāo)準(zhǔn)體系構(gòu)建研究[D];北京交通大學(xué);2011年

3 黃迪;物聯(lián)網(wǎng)的應(yīng)用和發(fā)展研究[D];北京郵電大學(xué);2011年

4 曹自立;物聯(lián)網(wǎng)產(chǎn)業(yè)發(fā)展的驅(qū)動(dòng)因素研究[D];南京郵電大學(xué);2012年

5 周桄召;我國(guó)物聯(lián)網(wǎng)產(chǎn)業(yè)布局及對(duì)策研究[D];南京郵電大學(xué);2012年

6 覃敏杰;物聯(lián)網(wǎng)產(chǎn)業(yè)發(fā)展影響研究[D];北京郵電大學(xué);2012年

7 程鈺杰;我國(guó)物聯(lián)網(wǎng)產(chǎn)業(yè)發(fā)展研究[D];安徽大學(xué);2012年

8 唐力;物聯(lián)網(wǎng)倫理問題探究[D];太原科技大學(xué);2012年

9 寧金芳;從虛擬到實(shí)在：對(duì)物聯(lián)網(wǎng)的哲學(xué)探究[D];中南大學(xué);2012年

10 周潔;物聯(lián)網(wǎng)環(huán)境下我國(guó)政府公共服務(wù)的研究[D];西南交通大學(xué);2012年

，

本文編號(hào)：740712