【摘要】：時間序列數(shù)據(jù)，即一段時間內(nèi)以固定的時間間隔采集的數(shù)據(jù)點(diǎn)的序列，，已成為生產(chǎn)生活中重要的信息記錄形式。RRDtool是當(dāng)今被廣泛使用的一種存儲時間序列數(shù)據(jù)的數(shù)據(jù)庫工具，但是基于RRDtool構(gòu)建的時間序列數(shù)據(jù)存儲系統(tǒng)在處理大規(guī)模數(shù)據(jù)業(yè)務(wù)時I/O負(fù)荷較重，單位時間內(nèi)能夠處理的RRD文件數(shù)量不能滿足需求等問題；同時，數(shù)據(jù)量的迅速增長要求存儲系統(tǒng)的容量具有較好的擴(kuò)展性，特別是能夠在不影響系統(tǒng)在線工作的情況下調(diào)整存儲容量；另一方面，考慮到系統(tǒng)可能發(fā)生異常或部分受災(zāi)，需要一種在這些情況下能保證系統(tǒng)可用性的存儲方案。 針對上述問題，本文研究并實(shí)現(xiàn)了一種面向大規(guī)模時間序列數(shù)據(jù)的存儲系統(tǒng)。構(gòu)建該系統(tǒng)的關(guān)鍵部分是mem-RRD和MooseFS，前者是對RRDtool的改進(jìn)實(shí)現(xiàn)，I/O性能更好；后者是一種分布式文件系統(tǒng)，可以保證存儲系統(tǒng)的可用性和擴(kuò)展性。 本文首先介紹了一種命名為mem-RRD的基于用戶空間緩沖的RRDtool改進(jìn)方案的設(shè)計(jì)和實(shí)現(xiàn)過程；然后給出利用mem-RRD和MooseFS構(gòu)建和部署面向大規(guī)模時間序列數(shù)據(jù)的存儲系統(tǒng)的方案，最后針對該存儲系統(tǒng)的I/O性能、可用性和擴(kuò)展性進(jìn)行了詳細(xì)的測試，并對測試數(shù)據(jù)進(jìn)行對比和分析。測試結(jié)果證明，基于mem-RRD和MooseFS構(gòu)建的面向大規(guī)模時間序列數(shù)據(jù)的存儲系統(tǒng)在I/O性能、可用性、容量擴(kuò)展性等方面都有較大改進(jìn)或較好表現(xiàn)。
[Abstract]:Time series data, which is the sequence of data points collected at a fixed time interval in a certain period of time, has become an important record form of information in production and life. RRDtool is a widely used database tool for storing time series data. However, the time series data storage system based on RRDtool is heavily loaded with I / O, and the number of RRD files per unit time can not meet the requirements. The rapid growth of data requires better scalability of storage systems, in particular the ability to adjust storage capacity without affecting the online operation of the system, and, on the other hand, considering that the system may be anomalous or partially affected, There is a need for a storage scheme that ensures the availability of the system in these cases. In order to solve the above problems, a large-scale time series data storage system is studied and implemented in this paper. The key part of this system is mem-RRD, which is a better implementation of I / O for RRDtool, and MooseFS, which is a distributed file system that can guarantee the availability and scalability of storage system. This paper first introduces the design and implementation of an improved RRDtool scheme based on user space buffer named mem-RRD, and then gives a scheme to build and deploy a storage system for large-scale time series data using mem-RRD and MooseFS. Finally, the I / O performance, availability and scalability of the storage system are tested in detail, and the test data are compared and analyzed. The test results show that the storage system for large-scale time series data based on mem-RRD and MooseFS has great improvement or good performance in the aspects of I / O performance, availability, capacity expansion and so on.
【學(xué)位授予單位】：華中科技大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2013
【分類號】：TP333

【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 趙澄東;王艷麗;趙保成;;信息技術(shù)及信息技術(shù)產(chǎn)業(yè)化分析[J];福建電腦;2009年06期

2 楊岳湘;鄧文平;鄧勁生;李陽;;基于云存儲的網(wǎng)盤系統(tǒng)架構(gòu)及關(guān)鍵技術(shù)研究[J];電信科學(xué);2012年10期

3 沈俊 ,顧冠群 ,羅軍舟;網(wǎng)絡(luò)管理的研究和發(fā)展[J];計(jì)算機(jī)研究與發(fā)展;2002年10期

4 楊德志,黃華,張建剛,許魯;大容量、高性能、高擴(kuò)展能力的藍(lán)鯨分布式文件系統(tǒng)[J];計(jì)算機(jī)研究與發(fā)展;2005年06期

5 張裔智;趙毅;湯小斌;;MD5算法研究[J];計(jì)算機(jī)科學(xué);2008年07期

6 王珊;肖艷芹;劉大為;覃雄派;;內(nèi)存數(shù)據(jù)庫關(guān)鍵技術(shù)研究[J];計(jì)算機(jī)應(yīng)用;2007年10期

7 周豐;逆波蘭表達(dá)式及其算法實(shí)現(xiàn)[J];武漢交通職業(yè)學(xué)院學(xué)報;2004年02期

8 唐海娜,李俊;基于RRD的網(wǎng)絡(luò)流量監(jiān)測方法[J];微電子學(xué)與計(jì)算機(jī);2003年07期

9 吳綱;;RRDtool性能優(yōu)化的研究與實(shí)現(xiàn)[J];襄樊職業(yè)技術(shù)學(xué)院學(xué)報;2008年04期

10 畢建平,謝萍,劉艷萍;網(wǎng)絡(luò)文件系統(tǒng)NFS[J];自動化技術(shù)與應(yīng)用;2001年02期

相關(guān)博士學(xué)位論文 前1條

1 錢迎進(jìn);大規(guī)模Lustre集群文件系統(tǒng)關(guān)鍵技術(shù)的研究[D];國防科學(xué)技術(shù)大學(xué);2011年

本文編號：2183738