基于Hbase的風電機組運行數(shù)據(jù)的存儲與檢索策略研究
發(fā)布時間:2022-07-20 16:51
近年來隨著風電技術的快速發(fā)展和普及,風電機組的裝機容量迅速增長,風電機組在日常運行過程中沉積了大量生產(chǎn)、運維數(shù)據(jù),有效利用這些數(shù)據(jù)對于提高風電機組的發(fā)電效率和運維水平有著至關重要的作用。因此,如何高效管理數(shù)據(jù)成為了風電機組運維中面臨的問題。(1)本文針對傳統(tǒng)關系型數(shù)據(jù)庫海量數(shù)據(jù)查詢?nèi)蝿粘瑫r、系統(tǒng)性能低、可擴展性差等問題,基于分布式數(shù)據(jù)庫Hbase設計了風電機組運行數(shù)據(jù)的數(shù)據(jù)庫,實現(xiàn)海量風電數(shù)據(jù)的快速存儲。(2)針對因Hbase不支持非主鍵查詢所導致的風電機組運行數(shù)據(jù)查詢效率較低的情況,設計了一種基于熱度與時間指數(shù)式衰減的熱度排名策略和基于熱度排名的二級索引機制。在此基礎上提出了一種非主鍵索引的Hbase分布式集群優(yōu)化方案,該方案根據(jù)指數(shù)式衰減的熱度排名策略建立熱數(shù)據(jù)索引,據(jù)此采用該策略存儲數(shù)據(jù)熱度排名TOP-K的二級索引以提高查詢效率。實驗結(jié)果表明將數(shù)據(jù)訪問熱度與時間建立指數(shù)式遞減關系后,數(shù)據(jù)的熱度排名更加有效,能夠提高數(shù)據(jù)查詢效率和訪問命中率。(3)最后基于本文所提出的策略開發(fā)了風電機組運行數(shù)據(jù)存儲與檢索系統(tǒng),通過比較二級索引機制查詢響應時間表明該方案能夠提高Hbase數(shù)據(jù)庫的查詢效...
【文章頁數(shù)】:67 頁
【學位級別】:碩士
【文章目錄】:
摘要
abstract
第1章 緒論
1.1 課題背景及研究意義
1.2 國內(nèi)外發(fā)展現(xiàn)狀
1.3 本文主要研究內(nèi)容
1.4 論文架構
第2章 相關技術
2.1 HBase技術基礎
2.1.1 Hadoop平臺
2.1.2 HDFS體系結(jié)構
2.1.3 Hbase體系結(jié)構
2.2 Hbase讀寫數(shù)據(jù)
2.2.1 Hbase存儲模型
2.2.2 Hbase讀數(shù)據(jù)
2.2.3 Hbase寫數(shù)據(jù)
2.3 Hindex二級索引機制
2.3.1 Hindex整體架構
2.3.2 Hindex索引結(jié)構
2.4 Hbase緩存調(diào)度研究
2.5 本章小結(jié)
第3章 基于熱度排名的二級索引機制
3.1 Hindex查詢機制分析
3.2 問題分析
3.3 改進的二級索引策略
3.3.1 熱度排名策略
3.3.2 熱度排名標記
3.3.3 基于熱度排名的索引結(jié)構
3.4 實驗設計與分析
3.4.1 實驗環(huán)境
3.4.2 實驗方案
3.4.3 實驗結(jié)果及分析
3.5 本章小結(jié)
第4章 索引熱度排名的緩存替換策略
4.1 HBase緩存機制分析
4.2 問題分析
4.3 改進的索引熱度排名的緩存替換策略
4.4 實驗設計與分析
4.4.1 實驗環(huán)境
4.4.2 實驗方案
4.4.3 實驗結(jié)果及分析
4.5 本章小結(jié)
第5章 基于Hbase的風電大數(shù)據(jù)設備維護管理系統(tǒng)
5.1 系統(tǒng)設計的目的及意義
5.2 系統(tǒng)需求分析
5.3 系統(tǒng)設計
5.3.1 整體架構設計
5.3.2 功能模塊設計
5.3.3 數(shù)據(jù)庫設計
5.4 系統(tǒng)實現(xiàn)
5.5 本章小結(jié)
第6章 總結(jié)與展望
6.1 總結(jié)
6.2 展望
參考文獻
攻讀碩士學位期間發(fā)表的論文及所取得的研究成果
致謝
【參考文獻】:
期刊論文
[1]在線考試系統(tǒng)的設計與實現(xiàn)[J]. 屈敬華,王曉孟. 計算機時代. 2019(01)
[2]大數(shù)據(jù)在風電生產(chǎn)管理中的應用研究[J]. 孫昊. 山東工業(yè)技術. 2018(11)
[3]基于HBase和Hive的航班延誤平臺的存儲方法[J]. 吳仁彪,劉超,屈景怡. 計算機應用. 2018(05)
[4]基于大數(shù)據(jù)的風電生產(chǎn)運營監(jiān)控系統(tǒng)設計與實現(xiàn)[J]. 尹詩,遲巖,王其樂,王寅生,何偉. 分布式能源. 2017(05)
[5]Key-Value型NoSQL本地存儲系統(tǒng)研究[J]. 馬文龍,朱妤晴,蔣德鈞,熊勁,張立新,孟瀟,包云崗. 計算機學報. 2018(08)
[6]HiBase:一種基于分層式索引的高效HBase查詢技術與系統(tǒng)[J]. 葛微,羅圣美,周文輝,趙頔,唐云,周娟,曲文武,袁春風,黃宜華. 計算機學報. 2016(01)
[7]風電場輸出功率異常數(shù)據(jù)識別與重構方法研究[J]. 朱倩雯,葉林,趙永寧,郎燕生,宋旭日. 電力系統(tǒng)保護與控制. 2015(03)
[8]Lucene的全文檢索的研究與應用[J]. 李永春,丁華福. 計算機技術與發(fā)展. 2010(02)
本文編號:3664370
【文章頁數(shù)】:67 頁
【學位級別】:碩士
【文章目錄】:
摘要
abstract
第1章 緒論
1.1 課題背景及研究意義
1.2 國內(nèi)外發(fā)展現(xiàn)狀
1.3 本文主要研究內(nèi)容
1.4 論文架構
第2章 相關技術
2.1 HBase技術基礎
2.1.1 Hadoop平臺
2.1.2 HDFS體系結(jié)構
2.1.3 Hbase體系結(jié)構
2.2 Hbase讀寫數(shù)據(jù)
2.2.1 Hbase存儲模型
2.2.2 Hbase讀數(shù)據(jù)
2.2.3 Hbase寫數(shù)據(jù)
2.3 Hindex二級索引機制
2.3.1 Hindex整體架構
2.3.2 Hindex索引結(jié)構
2.4 Hbase緩存調(diào)度研究
2.5 本章小結(jié)
第3章 基于熱度排名的二級索引機制
3.1 Hindex查詢機制分析
3.2 問題分析
3.3 改進的二級索引策略
3.3.1 熱度排名策略
3.3.2 熱度排名標記
3.3.3 基于熱度排名的索引結(jié)構
3.4 實驗設計與分析
3.4.1 實驗環(huán)境
3.4.2 實驗方案
3.4.3 實驗結(jié)果及分析
3.5 本章小結(jié)
第4章 索引熱度排名的緩存替換策略
4.1 HBase緩存機制分析
4.2 問題分析
4.3 改進的索引熱度排名的緩存替換策略
4.4 實驗設計與分析
4.4.1 實驗環(huán)境
4.4.2 實驗方案
4.4.3 實驗結(jié)果及分析
4.5 本章小結(jié)
第5章 基于Hbase的風電大數(shù)據(jù)設備維護管理系統(tǒng)
5.1 系統(tǒng)設計的目的及意義
5.2 系統(tǒng)需求分析
5.3 系統(tǒng)設計
5.3.1 整體架構設計
5.3.2 功能模塊設計
5.3.3 數(shù)據(jù)庫設計
5.4 系統(tǒng)實現(xiàn)
5.5 本章小結(jié)
第6章 總結(jié)與展望
6.1 總結(jié)
6.2 展望
參考文獻
攻讀碩士學位期間發(fā)表的論文及所取得的研究成果
致謝
【參考文獻】:
期刊論文
[1]在線考試系統(tǒng)的設計與實現(xiàn)[J]. 屈敬華,王曉孟. 計算機時代. 2019(01)
[2]大數(shù)據(jù)在風電生產(chǎn)管理中的應用研究[J]. 孫昊. 山東工業(yè)技術. 2018(11)
[3]基于HBase和Hive的航班延誤平臺的存儲方法[J]. 吳仁彪,劉超,屈景怡. 計算機應用. 2018(05)
[4]基于大數(shù)據(jù)的風電生產(chǎn)運營監(jiān)控系統(tǒng)設計與實現(xiàn)[J]. 尹詩,遲巖,王其樂,王寅生,何偉. 分布式能源. 2017(05)
[5]Key-Value型NoSQL本地存儲系統(tǒng)研究[J]. 馬文龍,朱妤晴,蔣德鈞,熊勁,張立新,孟瀟,包云崗. 計算機學報. 2018(08)
[6]HiBase:一種基于分層式索引的高效HBase查詢技術與系統(tǒng)[J]. 葛微,羅圣美,周文輝,趙頔,唐云,周娟,曲文武,袁春風,黃宜華. 計算機學報. 2016(01)
[7]風電場輸出功率異常數(shù)據(jù)識別與重構方法研究[J]. 朱倩雯,葉林,趙永寧,郎燕生,宋旭日. 電力系統(tǒng)保護與控制. 2015(03)
[8]Lucene的全文檢索的研究與應用[J]. 李永春,丁華福. 計算機技術與發(fā)展. 2010(02)
本文編號:3664370
本文鏈接:http://sikaile.net/kejilunwen/jisuanjikexuelunwen/3664370.html
最近更新
教材專著