三峽庫區(qū)地處我國長江流域,水資源豐富,在淡水儲備戰(zhàn)略方面具有十分重要的作用。但庫區(qū)水位的攀升使得水體的凈化能力逐漸降低。與此同時由于水體的污染加劇導(dǎo)致當(dāng)?shù)氐乃|(zhì)污染問題日益突出。而隨著信息技術(shù)的應(yīng)用發(fā)展,水文領(lǐng)域在水情采集與業(yè)務(wù)處理等方面產(chǎn)生的數(shù)據(jù)量急劇膨脹,突發(fā)性水質(zhì)污染的頻發(fā)使得水文領(lǐng)域應(yīng)用系統(tǒng)的時效性要求越發(fā)嚴(yán)苛,現(xiàn)代高效的水文系統(tǒng)一體化建設(shè)需求隨之變得更加迫切。常用的水質(zhì)分析方案將無法對海量數(shù)據(jù)進(jìn)行及時快速的計算與查詢,難以有效地獲取水環(huán)境狀況。Hadoop分布式技術(shù)具有易于擴(kuò)展、并行計算能力強的優(yōu)勢,能夠滿足大數(shù)據(jù)量情況下的分析與存儲。本文將在分布式技術(shù)基礎(chǔ)上,設(shè)計三峽庫區(qū)異常水質(zhì)分析與管理系統(tǒng)。本文主要工作如下:(1)結(jié)合無線傳感器網(wǎng)絡(luò)實時性能強、成本低、分布廣的優(yōu)勢,建立水質(zhì)分析與管理系統(tǒng)的感知模塊。通過Flume與Kafka構(gòu)建數(shù)據(jù)接入模塊,由Flume對水質(zhì)數(shù)據(jù)進(jìn)行接收,再交由Kafka集群進(jìn)行數(shù)據(jù)緩存與模塊解耦。(2)為了對水質(zhì)進(jìn)行有效的分析評價,構(gòu)建水質(zhì)在線分析模塊。在該模塊中,通過構(gòu)建stacking算法進(jìn)行模型融合來提升水質(zhì)分類準(zhǔn)確度,并借助Spark Str...

【文章頁數(shù)】：89 頁

【學(xué)位級別】：碩士

圖2.1HDFS寫入數(shù)據(jù)流程

圖2.2HDFS讀取數(shù)據(jù)流程

圖2.5HBase數(shù)據(jù)表結(jié)構(gòu)圖

圖2.3Flume模型結(jié)構(gòu)圖

本文編號：3885421