隨著物聯(lián)網(wǎng)技術(shù)的迅速發(fā)展,物聯(lián)網(wǎng)技術(shù)的應(yīng)用范圍也越來越廣泛,越來越多的設(shè)備接入到物聯(lián)網(wǎng)中。每一類設(shè)備會(huì)提供不同類型的數(shù)據(jù)信息,隨著時(shí)間的發(fā)展,收集到的各種設(shè)備數(shù)據(jù)越來越多,單機(jī)的存儲(chǔ)容量已經(jīng)不能滿足數(shù)據(jù)的存儲(chǔ)需求;同時(shí),單機(jī)存儲(chǔ)數(shù)據(jù)量的增大也降低了數(shù)據(jù)查詢的速度;此外,現(xiàn)有數(shù)據(jù)存儲(chǔ)方式使數(shù)據(jù)扁平化,不易進(jìn)行不同維度的數(shù)據(jù)關(guān)聯(lián)。因此,如何存儲(chǔ)物聯(lián)網(wǎng)中各類傳感設(shè)備所采集到的數(shù)據(jù),如何對(duì)數(shù)據(jù)進(jìn)行有效處理從而提升對(duì)不同維度數(shù)據(jù)的快速查詢是急需解決的問題。為了解決上述問題,本文提出了一套物聯(lián)網(wǎng)數(shù)據(jù)多級(jí)存儲(chǔ)系統(tǒng)的設(shè)計(jì)方案,并設(shè)計(jì)和實(shí)現(xiàn)了一個(gè)面向物聯(lián)網(wǎng)多維度數(shù)據(jù)的多級(jí)存儲(chǔ)系統(tǒng)。在本文提出的方案中,第一級(jí)存儲(chǔ)使用常用的關(guān)系型數(shù)據(jù)庫存儲(chǔ)傳感設(shè)備解析后數(shù)據(jù),為實(shí)時(shí)監(jiān)控系統(tǒng)的實(shí)時(shí)數(shù)據(jù)查詢提供支持;第一級(jí)存儲(chǔ)系統(tǒng)中的數(shù)據(jù)會(huì)同步到第二級(jí)的分布式數(shù)據(jù)存儲(chǔ)中,在第二級(jí)存儲(chǔ)中建立全量數(shù)據(jù)的數(shù)據(jù)倉庫,能夠支持大規(guī)模數(shù)據(jù)的數(shù)據(jù)處理,同時(shí)數(shù)據(jù)在第二級(jí)存儲(chǔ)中實(shí)現(xiàn)了分布式存儲(chǔ),并具高可用性;使用MapReduce模型對(duì)第二級(jí)存儲(chǔ)中的數(shù)據(jù)按照不同的維度進(jìn)行數(shù)據(jù)處理,并對(duì)處理后的數(shù)據(jù)按照不同維度進(jìn)行存儲(chǔ)作為第三級(jí)存儲(chǔ),為數(shù)據(jù)的目標(biāo)... 

【文章來源】：北京郵電大學(xué)北京市 211工程院校 教育部直屬院校

【文章頁數(shù)】：80 頁

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖２－１?ＨＤＦＳ體系架構(gòu)??ＨＤＦＳ集群中，主節(jié)點(diǎn)ＮａｍｅＮｏｄｅ負(fù)責(zé)管理和維護(hù)元數(shù)據(jù)信息，提供統(tǒng)一的??文件命名空間；數(shù)據(jù)節(jié)點(diǎn)ＤａｔａＮｏｄｅ存儲(chǔ)數(shù)據(jù)并負(fù)責(zé)處理自身節(jié)點(diǎn)內(nèi)所存儲(chǔ)的數(shù)??

中的函數(shù)會(huì)進(jìn)一步操作鍵值一樣的＜ｋｅｙ，ｖａｌｕｅ＞＊的數(shù)值，之后會(huì)化簡產(chǎn)生０或］??個(gè)鍵值對(duì)輸出［６］，最后對(duì)所有化簡輸出的鍵值對(duì)合并，獲取結(jié)果，ＭａｐＲｅｄｕｃｅ處??理過程如圖２－２所示。??在本存儲(chǔ)系統(tǒng)中，使用ＭａｐＲｅｄｕｃｅ計(jì)算模型對(duì)采集到的原始數(shù)據(jù)進(jìn)行離線??處理。原始數(shù)據(jù)按照數(shù)據(jù)來源分類存儲(chǔ)，通過ＭａｐＲｅｄｕｃｅ對(duì)原始數(shù)據(jù)按照不同??的維度進(jìn)行處理，使系統(tǒng)能夠按照不同的維度進(jìn)行數(shù)據(jù)的存儲(chǔ)。??Ｉｎｐｕｔ?Ｐａｉｒ〈Ｋｅｙ，?Ｉｎｐｕｔ?Ｐａｉｒ?＜Ｋｅｙ，??Ｖａｌｕｅ＞?Ｖａｌｕｅ＞??Ｉ?—?＿?Ｉ?—??—＾?????????????、???＾?＾??－??Ｄａｔａ?Ｓｔｏｒｅ?１?Ｄａｔａ?Ｓｔｏｒｅ?２??Ｍａｐ?Ｍａｐ??／ｒｘ??（ｋｅｙｌ，?（ｋｅｙ２，?（ｋｅｙ３

在架構(gòu)上，ＨＢａｓｅ與其他分布式應(yīng)用一樣采用了主從架構(gòu)，主節(jié)點(diǎn)為??ＨＭａｓｔｅｒ，從節(jié)點(diǎn)為?ＨＲｅｇｉｏｎ?Ｓｅｒｖｅｒ。ＨＭａｓｔｅｒ?是管理單元，ＨＲｅｇｉｏｎ?Ｓｅｒｖｅｒ?是實(shí)??際存儲(chǔ)單元，其結(jié)構(gòu)如圖２－３所示。??ｇ??

【參考文獻(xiàn)】：
期刊論文
[1]大數(shù)據(jù)關(guān)鍵技術(shù)[J]. 王秀磊,劉鵬.  中興通訊技術(shù). 2013(04)

碩士論文
[1]基于并行計(jì)算技術(shù)的數(shù)據(jù)融合系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D]. 楊春暉.北京郵電大學(xué) 2017
[2]基于AIS數(shù)據(jù)的海上交通密度計(jì)算及海事熱點(diǎn)發(fā)現(xiàn)研究[D]. 寧建強(qiáng).北京化工大學(xué) 2016
[3]基于Hadoop的大數(shù)據(jù)平臺(tái)數(shù)據(jù)挖掘云服務(wù)研究[D]. 王莉.長江大學(xué) 2016
[4]雷達(dá)大數(shù)據(jù)存儲(chǔ)與分析處理技術(shù)研究[D]. 孟凡君.中國艦船研究院 2016
[5]基于Hadoop的大數(shù)據(jù)存儲(chǔ)關(guān)鍵技術(shù)研究[D]. 盧艷艷.華北電力大學(xué) 2016
[6]大數(shù)據(jù)分析倉庫Hive存儲(chǔ)結(jié)構(gòu)擴(kuò)展的設(shè)計(jì)和實(shí)現(xiàn)[D]. 王猛.上海交通大學(xué) 2015
[7]基于HBase的大數(shù)據(jù)存儲(chǔ)查詢技術(shù)研究[D]. 付文靜.電子科技大學(xué) 2015
[8]負(fù)載均衡的大數(shù)據(jù)分布存儲(chǔ)方法研究與實(shí)現(xiàn)[D]. 賀昱潔.上海交通大學(xué) 2015
[9]Hadoop大數(shù)據(jù)平臺(tái)與傳統(tǒng)數(shù)據(jù)倉庫的協(xié)作研究[D]. 費(fèi)仕憶.東華大學(xué) 2014
[10]基于并行計(jì)算的海量日志分析系統(tǒng)實(shí)現(xiàn)[D]. 白超.安徽大學(xué) 2013



本文編號(hào)：3071954