針對鐵道供電監(jiān)控海量數(shù)據(jù)查詢響應(yīng)越來越慢,易造成調(diào)度界面卡屏的問題,結(jié)合倒排二級索引和動(dòng)態(tài)緩存機(jī)制,提出一種鐵道供電綜合監(jiān)控海量數(shù)據(jù)的H-CRQ集群監(jiān)控處理方法。將鐵道供電監(jiān)控系統(tǒng)數(shù)據(jù)結(jié)構(gòu)改變?yōu)榈古潘饕Y(jié)構(gòu),使查詢直接作用在特定關(guān)鍵詞的檢索上,避免逐條掃描,并將索引查詢結(jié)果儲(chǔ)存于緩存中;然后設(shè)計(jì)一種H-CRQ更新替換緩存的結(jié)構(gòu),將熱點(diǎn)數(shù)據(jù)駐留緩存,避免高重復(fù)度數(shù)據(jù)逐條掃描和反復(fù)搜索,進(jìn)一步提高查詢效率。以天水—蘭州鐵路10 kV供電監(jiān)測系統(tǒng)的實(shí)測數(shù)據(jù)為算例,進(jìn)行查詢響應(yīng)測試。結(jié)果表明:基于倒排索引的鐵道供電集群監(jiān)控H-CRQ技術(shù)可有效提高海量數(shù)據(jù)查詢效率,且驗(yàn)證了新方法在緩存空間設(shè)置合理?xiàng)l件下,可解決鐵道供電監(jiān)控系統(tǒng)查詢響應(yīng)問題。 

【文章來源】：鐵道學(xué)報(bào). 2020,42(11)北大核心EICSCD

【文章頁數(shù)】：9 頁

【部分圖文】：

鐵路供電監(jiān)控系統(tǒng)數(shù)據(jù)的采集

倒排索引的儲(chǔ)存形式定義為關(guān)鍵詞及它的位置、主行鍵Id,在查詢時(shí)直接根據(jù)關(guān)鍵詞檢索,避免逐條查找數(shù)據(jù)。以鐵道供電監(jiān)測數(shù)據(jù)記錄為例,描述倒排索引設(shè)計(jì),見圖2。包括數(shù)據(jù)主行鍵Id,鐵道供電監(jiān)控終端的采集時(shí)間Timestamp,歸屬站所Station,測控終端編號(hào)Rtu,采集對象標(biāo)識(shí)Analogname以及采樣值A(chǔ)nalogvalue。如圖2所示,鐵道供電監(jiān)測數(shù)據(jù)記錄正序索引搜索關(guān)鍵詞時(shí)需按搜索要求逐條索引對比,對關(guān)鍵詞的搜索效率不高。重新構(gòu)造的倒排索引,由監(jiān)測信息表中關(guān)鍵詞及其出現(xiàn)的位置組成,如關(guān)鍵詞“站所443”,出現(xiàn)位置為“Id:1_Station”“Id:1_Rtu”“Id:2_Station”“Id:2_Rtu”,其中“Id:1_Station”代表關(guān)鍵詞出現(xiàn)位置為主行鍵Id為1,列名為Station。這種倒排索引結(jié)構(gòu)可直接根據(jù)關(guān)鍵詞索引數(shù)據(jù)位置,通過二級索引快速定位目標(biāo)數(shù)據(jù)。

在HBase數(shù)據(jù)庫分布式存儲(chǔ)的基礎(chǔ)上,利用倒排索引設(shè)計(jì)一種鐵路供電監(jiān)測數(shù)據(jù)的二級索引方法,二級索引系統(tǒng)的讀寫訪問架構(gòu)見圖3。以向鐵路調(diào)度監(jiān)測系統(tǒng)寫入如圖2所示的鐵路供電監(jiān)測數(shù)據(jù)為例,說明該架構(gòu)實(shí)現(xiàn)二級索引的具體步驟,見圖3。

【參考文獻(xiàn)】：
期刊論文
[1]工業(yè)大數(shù)據(jù)分析技術(shù)的發(fā)展及其面臨的挑戰(zhàn)[J]. 何文韜,邵誠.  信息與控制. 2018(04)
[2]基于現(xiàn)場數(shù)據(jù)統(tǒng)計(jì)的計(jì)算機(jī)聯(lián)鎖設(shè)備壽命分析[J]. 張放,梁志國,朱曉琳,齊志華.  鐵道學(xué)報(bào). 2018(06)
[3]基于NoSQL數(shù)據(jù)庫的空間大數(shù)據(jù)分布式存儲(chǔ)策略[J]. 李紹俊,楊海軍,黃耀歡,周芹.  武漢大學(xué)學(xué)報(bào)(信息科學(xué)版). 2017(02)
[4]內(nèi)存計(jì)算技術(shù)研究綜述[J]. 羅樂,劉軼,錢德沛.  軟件學(xué)報(bào). 2016(08)
[5]基于Hadoop的用電信息大數(shù)據(jù)計(jì)算服務(wù)及應(yīng)用[J]. 王相偉,史玉良,張建林,梁波,程翠萍.  電網(wǎng)技術(shù). 2015(11)
[6]一種基于樸素貝葉斯算法的OLAP緩存機(jī)制[J]. 滿毅,章炯民,徐曉錦.  計(jì)算機(jī)工程與應(yīng)用. 2017(06)
[7]基于PCM的大數(shù)據(jù)存儲(chǔ)與管理研究綜述[J]. 吳章玲,金培權(quán),岳麗華,孟小峰.  計(jì)算機(jī)研究與發(fā)展. 2015(02)
[8]智能電網(wǎng)調(diào)度控制系統(tǒng)現(xiàn)狀與技術(shù)展望[J]. 辛耀中,石俊杰,周京陽,高宗和,陶洪鑄,尚學(xué)偉,翟明玉,郭建成,楊勝春,南貴林,劉金波.  電力系統(tǒng)自動(dòng)化. 2015(01)
[9]大規(guī)模圖像特征檢索中查詢結(jié)果的自適應(yīng)過濾[J]. 艾列富,于俊清,管濤,何云峰.  計(jì)算機(jī)學(xué)報(bào). 2015(01)
[10]采用Map-Reduce模型的海量電能質(zhì)量數(shù)據(jù)交換格式文件快速解析方案[J]. 曲廣龍,楊洪耕,張逸.  電網(wǎng)技術(shù). 2014(06)

碩士論文
[1]HBase分布式緩存策略的研究與設(shè)計(jì)[D]. 俞子波.北京交通大學(xué) 2017
[2]基于SCADA的鐵路電力遠(yuǎn)動(dòng)系統(tǒng)幾個(gè)關(guān)鍵環(huán)節(jié)的設(shè)計(jì)與應(yīng)用[D]. 方小飛.吉林大學(xué) 2014



本文編號(hào)：3521855