【摘要】：隨著互聯(lián)網(wǎng)技術的發(fā)展，尤其是移動互聯(lián)網(wǎng)的業(yè)務的迅速普及，用戶在日常的使用過程中產(chǎn)生了大量的數(shù)據(jù)。此外隨著全球定位系統(tǒng)（GPS）、傳感器、自動追蹤器以及監(jiān)控系統(tǒng)的普及，這些新的數(shù)據(jù)源也產(chǎn)生了大量數(shù)據(jù)，，它們給存儲、分析和歸檔帶來了新的機遇與挑戰(zhàn)。在傳感器大量使用的情況下，采用傳統(tǒng)的關系數(shù)據(jù)庫存儲數(shù)據(jù)出現(xiàn)了新的問題，如：隨著數(shù)據(jù)的急速增長，傳統(tǒng)的數(shù)據(jù)庫已無法滿足海量數(shù)據(jù)的存儲和管理需求；傳感器通常以數(shù)秒的間隔采集數(shù)據(jù)，采集的數(shù)據(jù)具有很大的冗余等。因此尋求較高數(shù)據(jù)存儲效率的傳感器數(shù)據(jù)存儲方案，成為了物聯(lián)網(wǎng)應用中的研究熱點。 論文主要工作是針對傳感數(shù)據(jù)高并發(fā)和大數(shù)據(jù)量的存儲要求，采用MongoDB自動分片技術,設計并實現(xiàn)基于MongoDB數(shù)據(jù)庫的數(shù)據(jù)存儲接口。在接口實現(xiàn)中，通過對MongoDB數(shù)據(jù)庫操作的封裝、數(shù)據(jù)存儲過程中加入數(shù)據(jù)壓縮，將數(shù)據(jù)存儲以虛擬接口的方式提供給用戶。 本文首先闡述了云數(shù)據(jù)管理技術，包括云計算技術、NoSQL系統(tǒng)和NoSQL數(shù)據(jù)庫技術。其次研究了現(xiàn)在流行的NoSQL數(shù)據(jù)存儲，在現(xiàn)有的數(shù)據(jù)存儲技術基礎上，分析了傳感器數(shù)據(jù)存儲的需求和特點，同時基于MongoDB文檔型數(shù)據(jù)庫，開發(fā)了適合傳感器數(shù)據(jù)存儲的WebService接口，以滿足傳感數(shù)據(jù)高并發(fā)、跨平臺的存儲以及快速查詢的需求。最后研究了實時數(shù)據(jù)庫中廣泛使用的旋轉門壓縮算法,結合傳感器數(shù)據(jù)海量的特點，在WebService接口中的數(shù)據(jù)壓縮模塊中采用此壓縮算法和二次過濾方法，達到了較高壓縮比和去除傳感數(shù)據(jù)冗余的效果。
[Abstract]:With the development of Internet technology, especially the rapid popularity of mobile Internet services, users in the daily use of a large number of data. In addition, with the popularity of GPS (GPS), sensors, automatic trackers and monitoring systems, these new data sources also produce large amounts of data, which bring new opportunities and challenges to storage, analysis and archiving. In the case of extensive use of sensors, there are new problems in using traditional relational database to store data, such as: with the rapid growth of data, the traditional database can no longer meet the storage and management needs of mass data; Sensors usually collect data at intervals of several seconds, and the data collected have great redundancy and so on. Therefore, it has become a research hotspot in Internet of things applications to seek the sensor data storage scheme with high data storage efficiency. The main work of this paper is to design and implement the data storage interface based on MongoDB database by adopting MongoDB automatic slicing technology to meet the requirement of high concurrency and large amount of data storage of sensor data. In the implementation of the interface, the data storage is provided to the user in the form of virtual interface by encapsulating the operation of the MongoDB database and adding the data compression to the data storage procedure. This paper first describes cloud data management technology, including cloud computing technology NoSQL system and NoSQL database technology. Secondly, the current popular NoSQL data storage is studied. Based on the existing data storage technology, the requirements and characteristics of sensor data storage are analyzed. At the same time, based on the MongoDB document database, the WebService interface suitable for sensor data storage is developed. In order to meet the sensor data high concurrency, cross-platform storage and fast query requirements. Finally, the rotary gate compression algorithm, which is widely used in real-time database, is studied. According to the characteristics of sensor data, the compression algorithm and the secondary filtering method are used in the data compression module of WebService interface. The high compression ratio and the removal of sensor data redundancy are achieved.
【學位授予單位】：南京郵電大學
【學位級別】：碩士
【學位授予年份】：2013
【分類號】：TP393.09;TP333

【引證文獻】

相關期刊論文 前7條

1 李曉;;基于MongoDB和Asio的傳感器數(shù)據(jù)存儲系統(tǒng)設計[J];電子技術與軟件工程;2016年08期

2 陳文藝;閆灑灑;宋亞紅;;基于MongoDB的物聯(lián)網(wǎng)開放平臺數(shù)據(jù)存儲設計[J];西安郵電大學學報;2016年02期

3 胡應龍;陳杰;;NoSQL空間數(shù)據(jù)管理在省級水利數(shù)據(jù)共享服務平臺中的應用[J];測繪通報;2015年12期

4 劉茜;毛善君;武建軍;李鑫超;;基于傳感網(wǎng)的煤礦瓦斯監(jiān)測數(shù)據(jù)發(fā)布系統(tǒng)關鍵技術[J];煤炭科學技術;2015年05期

5 張錫娜;張治中;鄧炳光;;移動通信基站天線參數(shù)管理系統(tǒng)數(shù)據(jù)庫設計[J];數(shù)字通信;2014年06期

6 王彥明;薛云;饒洪;劉斌;奉國和;;圖書館云計算可行性研究[J];現(xiàn)代情報;2014年07期

7 程森;付紅閣;;基于Nutch的搜索引擎與HBase的結合 在大數(shù)據(jù)時代的應用探究[J];計算機光盤軟件與應用;2014年12期

相關博士學位論文 前1條

1 翟廣宇;基于大數(shù)據(jù)的醫(yī)學氣象服務方法與技術研究[D];蘭州大學;2015年

相關碩士學位論文 前10條

1 劉巖;基于B/S的醫(yī)藥電子商務平臺的設計與實現(xiàn)[D];吉林大學;2016年

2 周興;基于MongoDB的海量大中小文件存儲系統(tǒng)的研究與應用[D];中國地質大學(北京);2016年

3 葉忻;基于分布式架構的IP活動庫的設計與實現(xiàn)[D];東南大學;2015年

4 吳德寶;關系與非關系數(shù)據(jù)庫應用對比研究[D];東華理工大學;2015年

5 劉瀟清;服務器虛擬化在電廠信息化建設中的應用研究[D];華北電力大學;2015年

6 趙俊;社交網(wǎng)絡的數(shù)據(jù)采集與分析方法研究[D];鄭州大學;2015年

7 張哲;基于MongoDB與REST的通航云數(shù)據(jù)中心的設計與實現(xiàn)[D];北京工業(yè)大學;2015年

8 馬林玲;傳感器網(wǎng)絡數(shù)據(jù)管理平臺的研究和設計[D];華東師范大學;2015年

9 趙圣楠;基于NoSQL的PDM產(chǎn)品結構網(wǎng)狀數(shù)據(jù)模型[D];沈陽航空航天大學;2015年

10 王智慧;基于NoSQL的智能電網(wǎng)數(shù)據(jù)云存儲研究及應用[D];華北電力大學;2015年

本文編號：2178905