集約化監(jiān)控有助于全面把控業(yè)務(wù)信息系統(tǒng)運行情況與提升運維效率,已成為大型企事業(yè)部門業(yè)務(wù)監(jiān)控的發(fā)展方向,但集約化監(jiān)控帶來海量監(jiān)視數(shù)據(jù)的存儲與服務(wù)挑戰(zhàn)。以氣象部門業(yè)務(wù)監(jiān)視數(shù)據(jù)為例,在分析監(jiān)視數(shù)據(jù)的特點及對比海量數(shù)據(jù)存儲服務(wù)技術(shù)的基礎(chǔ)上,設(shè)計和實現(xiàn)了海量監(jiān)視數(shù)據(jù)云存儲服務(wù)模型,主要通過時序數(shù)據(jù)存儲技術(shù)和索引存儲技術(shù)分別存儲指標(biāo)類和日志事件類監(jiān)視數(shù)據(jù),并實現(xiàn)存儲優(yōu)化。對該模型的應(yīng)用效果測試分析表明,所提海量監(jiān)視數(shù)據(jù)云存儲服務(wù)模型具有高效存儲服務(wù)性能以及可擴(kuò)展性穩(wěn)定的特點。 

【文章來源】：武漢大學(xué)學(xué)報(信息科學(xué)版). 2020,45(07)北大核心

【文章頁數(shù)】：8 頁

【部分圖文】：

存儲框架

Elasticsearch中文檔是一個基本的數(shù)據(jù)存儲單元，一個文檔類似關(guān)系數(shù)據(jù)中一行記錄，同一類文檔可以有不同的字段組合，可以支持更為靈活的數(shù)據(jù)存儲結(jié)構(gòu)。文檔的元數(shù)據(jù)主要有索引（index）、類型（type）和文檔ID，每個文檔都屬于一個索引，并通過索引來進(jìn)行索引存儲和查詢定位。為便于管理和提升性能效率，一個索引內(nèi)根據(jù)文檔類型，設(shè)置不同的邏輯分區(qū)，其中具有一組共同字段的文檔可定義同一個類型；同時一個索引會切分成不同分片，分布到不同的集群節(jié)點，實現(xiàn)分布式存儲，每一個分片是一個實例，每一個分片有主分片和零個或多個副本分片，用于對分片進(jìn)行冗余存儲，以增加高可用性和提高性能。圖2給出了Elasticsearch中索引存儲的分片及副本的組織情況。2)Elasticsearch索引存儲流程

當(dāng)向Elasticsearch集群提交文檔，處理節(jié)點會根據(jù)路由規(guī)則確定需要寫入的分片，并把文檔發(fā)給分片所在的節(jié)點，由所在節(jié)點完成入庫后返回。對于分片同步，系統(tǒng)提供了同步和異步兩種策略。異步有更好的寫入性能，而同步則更注重一致性。Elasticsearch索引一個文檔的過程如圖3所示。3)Elasticsearch查詢流程

【參考文獻(xiàn)】：
期刊論文
[1]智慧城市云存儲系統(tǒng)中的副本量控制策略研究[J]. 劉小俊,胡志華,潘少明.  武漢大學(xué)學(xué)報(信息科學(xué)版). 2016(09)
[2]一種環(huán)境因素敏感的Web Service QoS監(jiān)控方法[J]. 莊媛,張鵬程,李雯睿,馮鈞,朱躍龍.  軟件學(xué)報. 2016(08)
[3]基于內(nèi)存數(shù)據(jù)庫Redis的輕量級矢量地理數(shù)據(jù)組織[J]. 朱進(jìn),胡斌,邵華,羅青,江南,張景云.  地球信息科學(xué)學(xué)報. 2014(02)
[4]HBase數(shù)據(jù)庫遷移工具的設(shè)計與實現(xiàn)[J]. 楊寒冰,趙龍,賈金原.  計算機科學(xué)與探索. 2013(03)

碩士論文
[1]基于MongoDB的應(yīng)用平臺的研究與實現(xiàn)[D]. 呂林.北京郵電大學(xué) 2015



本文編號：3048043