我國(guó)林業(yè)資源豐富、種類繁多,分布在全國(guó)各地的大小監(jiān)測(cè)站搭載的各類傳感器日積月累的監(jiān)測(cè)生成了海量的數(shù)據(jù),采用何種方式來(lái)有效地存儲(chǔ)和管理這些數(shù)據(jù)是擺在我們面前的重要問題。在對(duì)傳感器采集到的原始數(shù)據(jù)進(jìn)行分析時(shí)發(fā)現(xiàn)這些數(shù)據(jù)或多或少均存在一些數(shù)值波動(dòng)數(shù)據(jù),為此本研究對(duì)這些數(shù)值波動(dòng)數(shù)據(jù)進(jìn)行了分析與總結(jié),研究出了一套原始數(shù)據(jù)的誤差消除算法。目前各類傳感器監(jiān)測(cè)到的原始數(shù)據(jù)存在較多誤差和數(shù)值波動(dòng)數(shù)據(jù),有些數(shù)值波動(dòng)是由于極端天氣情況造成的正常數(shù)值波動(dòng),而有些數(shù)值波動(dòng)是因?yàn)樵O(shè)備故障、外界干擾等原因造成的異常數(shù)值波動(dòng)。因此,這些原始數(shù)據(jù)在存入數(shù)據(jù)庫(kù)之前必須先經(jīng)過人工處理數(shù)值波動(dòng)的步驟,但是這樣數(shù)據(jù)的準(zhǔn)確性又受到了人為因素的干擾。本研究針對(duì)該問題采用天山西部某森林生態(tài)監(jiān)測(cè)站的空氣負(fù)離子濃度數(shù)據(jù)作為實(shí)驗(yàn)數(shù)據(jù),研究了一套基于多元回歸擬合的自動(dòng)誤差消除的算法,以簡(jiǎn)化數(shù)據(jù)處理程序,減少傳感器監(jiān)測(cè)的原始數(shù)據(jù)中存在的誤差以及人為因素的影響,該算法擬合精度的浮動(dòng)范圍在14%以內(nèi)。本研究比較了關(guān)系型和非關(guān)系型數(shù)據(jù)庫(kù)的一般特性以及二者在存儲(chǔ)海量數(shù)據(jù)時(shí)的優(yōu)劣勢(shì),分析了目前8款主流NoSQL數(shù)據(jù)庫(kù)的特性和適用場(chǎng)景,然后針對(duì)云平臺(tái)中傳...

【文章頁(yè)數(shù)】：77 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖１－２?７ＴＳ架構(gòu)??Ｆｉｇ．１－２?ＳｔｒｕｃＵｉｒｅ?ｏｆ?ＴＦＳ??

圖１－２?７ＴＳ架構(gòu)??Ｆｉｇ．１－２?ＳｔｒｕｃＵｉｒｅ?ｏｆ?ＴＦＳ??如圖１－２所示，Ｔｆｓ架構(gòu)中各節(jié)點(diǎn)負(fù)責(zé)的具體內(nèi)容如下：??（１）?Ｃｌｉｅｎｔ：它是對(duì)數(shù)據(jù)進(jìn)行訪問的發(fā)起者，一般情況下它在訪問系統(tǒng)中的數(shù)據(jù)的時(shí)??候需要通過Ｔｆｓ提供的訪問接日來(lái)實(shí)現(xiàn)；??（２）?Ｎａｍｅ....

圖２－１?Ｈａｄｏｏｐ體系結(jié)構(gòu)圖??Ｆｉｇ．２－１?Ｔｈｅ?ａｒｃｈｉ化別ｕｒｅ?ｏｆ?Ｈａｄｏｏｐ??

此外，ＨＤＦＳ也不能夠有效地讀寫小文件，它通常用于對(duì)大文件的操作。對(duì)??小文件進(jìn)行讀寫操作一般會(huì)導(dǎo)致導(dǎo)致大批的尋址，需要檢索數(shù)據(jù)節(jié)點(diǎn)的每個(gè)小文件，所??有這些都是一種非常低效的數(shù)據(jù)訪問模式。ＨＤＦＳ的系統(tǒng)架構(gòu)如圖２－２所示；??１４??

圖２－２?ＨＤＦＳ系統(tǒng)架構(gòu)圖??Ｆｉｇ．２－２?Ｔｈｅ?ａｒｃｈｈｅｃｔｕｒｅ?ｏｆ?ＨＤＦＳ??

??圖２－１?Ｈａｄｏｏｐ體系結(jié)構(gòu)圖??Ｆｉｇ．２－１?Ｔｈｅ?ａｒｃｈｉ化別ｕｒｅ?ｏｆ?Ｈａｄｏｏｐ??２．３分布式存儲(chǔ)系統(tǒng)ＨＤＦＳ??ＨＤＦＳ巧ａｄｏｏｐ?Ｄｉｓ化化ｕｔｅｄ?Ｆｉｌｅ?Ｓｙｓｔｅｍ），即Ｈａｄｏｏｐ的分布式文件系統(tǒng)，它最大的優(yōu)??勢(shì)在于可Ｗ正常搭載于一般的....

圖２－３?ＨＢａｓｅ基本架構(gòu)圖??Ｆｉｇ．２－３?Ｔｈｅ?ａｒｃｈＨｅｃＵｉｉ＇ｅ?ｏｆ?ＨＢａｓｅ??

２．５?ＨＢａｓｅ??ＨＢａｓｅ為基于列的數(shù)據(jù)庫(kù)，它是分布式架構(gòu)的，它的優(yōu)勢(shì)在于存儲(chǔ)非結(jié)構(gòu)化的數(shù)據(jù)。??其基本架構(gòu)如圖２－３所示：??＿＿＿＿＿＿＿＿＿＿＿＿＿?Ｉ，????ｒ．？?、?？ｒｉＴ，ｉ，ｎｍｎ？，?ｉｒ，．．－ｉｒ，?ｉｉｎｉｎ－Ｔ＾??Ｃｌｉｅｎｔ?？Ｚｏｏｋｅｅ....

本文編號(hào)：3998287