發(fā)布時間：2024-01-25 19:27

　　三峽庫區(qū)地處我國長江流域,水資源豐富,在淡水儲備戰(zhàn)略方面具有十分重要的作用。但庫區(qū)水位的攀升使得水體的凈化能力逐漸降低。與此同時由于水體的污染加劇導致當?shù)氐乃|(zhì)污染問題日益突出。而隨著信息技術(shù)的應用發(fā)展,水文領域在水情采集與業(yè)務處理等方面產(chǎn)生的數(shù)據(jù)量急劇膨脹,突發(fā)性水質(zhì)污染的頻發(fā)使得水文領域應用系統(tǒng)的時效性要求越發(fā)嚴苛,現(xiàn)代高效的水文系統(tǒng)一體化建設需求隨之變得更加迫切。常用的水質(zhì)分析方案將無法對海量數(shù)據(jù)進行及時快速的計算與查詢,難以有效地獲取水環(huán)境狀況。Hadoop分布式技術(shù)具有易于擴展、并行計算能力強的優(yōu)勢,能夠滿足大數(shù)據(jù)量情況下的分析與存儲。本文將在分布式技術(shù)基礎上,設計三峽庫區(qū)異常水質(zhì)分析與管理系統(tǒng)。本文主要工作如下:(1)結(jié)合無線傳感器網(wǎng)絡實時性能強、成本低、分布廣的優(yōu)勢,建立水質(zhì)分析與管理系統(tǒng)的感知模塊。通過Flume與Kafka構(gòu)建數(shù)據(jù)接入模塊,由Flume對水質(zhì)數(shù)據(jù)進行接收,再交由Kafka集群進行數(shù)據(jù)緩存與模塊解耦。(2)為了對水質(zhì)進行有效的分析評價,構(gòu)建水質(zhì)在線分析模塊。在該模塊中,通過構(gòu)建stacking算法進行模型融合來提升水質(zhì)分類準確度,并借助Spark Str...

【文章頁數(shù)】：89 頁

【學位級別】：碩士

圖2.1HDFS寫入數(shù)據(jù)流程

圖2.2HDFS讀取數(shù)據(jù)流程

圖2.5HBase數(shù)據(jù)表結(jié)構(gòu)圖

圖2.3Flume模型結(jié)構(gòu)圖

本文編號：3885421