基于Hadoop平臺徑流分析方法的研究和應(yīng)用
發(fā)布時間:2023-05-08 02:59
干旱和洪水災(zāi)害已經(jīng)嚴(yán)重制約了我國的經(jīng)濟建設(shè),國家對水情監(jiān)控分析的要求也越來越高,F(xiàn)代水文監(jiān)測系統(tǒng),不僅需要有準(zhǔn)確的短期分析能力,以防御突發(fā)的自然災(zāi)害;還要有中長期的分析能力,以便制定應(yīng)對措施。傳統(tǒng)單服務(wù)器模式的水文監(jiān)測系統(tǒng),由于速度慢、能耗高、可擴展性差,已經(jīng)不能滿足新的需求。水利云平臺由于具備資源分配和調(diào)度的特點,是水利行業(yè)水文信息化的發(fā)展方向。本文以徑流為分析對象,徑流指的是單位時間流經(jīng)封閉管道或明渠有效截面的流體量。在流域的徑流分析中,流域的初始水文特征和氣候條件是影響未來徑流變化的重要因素。因此,確定符合實際情況的初始水文條件和解釋因子是提高中長期徑流回歸分析精度的有效方法。本文研究了Hadoop云計算技術(shù)和徑流分析的方法,結(jié)合徑流分析業(yè)務(wù),設(shè)計和實現(xiàn)了的水文監(jiān)測分析平臺。主要工作如下:(1)采用B/S和C/S的模式,設(shè)計基于Web應(yīng)用服務(wù)器的水文信息監(jiān)測系統(tǒng)。B/S模式直接與用戶進(jìn)行交互,C/S模式用于接收水文采集終端和外部數(shù)據(jù)。(2)以傳統(tǒng)的水文平臺為基礎(chǔ),通過額外擴展一個Hadoop計算集群,設(shè)計和搭建了一個由Web服務(wù)器和Hadoop計算集群組成的水文信息監(jiān)測平臺。利用...
【文章頁數(shù)】:86 頁
【學(xué)位級別】:碩士
【文章目錄】:
摘要
abstract
第1章 緒論
1.1 課題來源
1.2 課題研究背景和意義
1.3 國內(nèi)外研究現(xiàn)狀
1.3.1 水利云平臺的研究現(xiàn)狀
1.3.2 Hadoop平臺應(yīng)用現(xiàn)狀
1.3.3 水文徑流回歸分析方法的研究現(xiàn)狀
1.3.4 分類回歸算法的研究現(xiàn)狀
1.4 論文研究的內(nèi)容和章節(jié)安排
第2章 基于HADOOP水文分析平臺的設(shè)計
2.1 原有的水文平臺
2.1.1 原有平臺的結(jié)構(gòu)和功能
2.1.2 原有平臺的數(shù)據(jù)處理流程
2.1.3 原平臺的性能缺陷
2.2 HADOOP平臺
2.2.1 項目簡介
2.2.2 Hadoop的基本架構(gòu)模型
2.2.3 分布式文件系統(tǒng)HDFS的介紹
2.2.4 編程模式MapReduce
2.3 水文監(jiān)測平臺架構(gòu)
2.3.1 水文信息預(yù)測平臺的需求分析
2.3.2 平臺整合后的架構(gòu)設(shè)計
2.4 水文預(yù)測平臺的搭建
2.4.1 硬件環(huán)境
2.4.2 軟件環(huán)境
2.4.3 網(wǎng)絡(luò)環(huán)境
2.4.4 Hadoop集群環(huán)境搭建
2.5 水文預(yù)測平臺的存儲和計算服務(wù)
2.5.1 數(shù)據(jù)存儲設(shè)計方案
2.5.2 集群并行計算設(shè)計方案
2.6 水文數(shù)據(jù)存儲的安全性
2.7 本章小結(jié)
第3章 徑流回歸分析算法研究
3.1 徑流和水文-氣象遙相關(guān)
3.1.1 徑流的定義
3.1.2 水文-氣候遙相關(guān)
3.2 基于隨機森林徑流分析算法研究
3.2.1 決策樹
3.2.2 隨機森林算法
3.2.3 基于隨機森林徑流分析算法
3.3 基于支持向量徑流分析算法研究
3.3.1 支持向量機回歸的原理
3.3.2 基于支持向量機徑流分析樣本的選取
3.3.3 基于支持向量回歸的徑流分析算法
3.4 基于逐步線性回歸的徑流分析算法研究
3.5 本章小結(jié)
第4章 基于HADOOP月徑流分析模塊的設(shè)計與實現(xiàn)
4.1 徑流數(shù)據(jù)處理的流程
4.1.1 總體數(shù)據(jù)處理流程
4.1.2 Hadoop中的數(shù)據(jù)處理流程
4.1.3 Web服務(wù)器和Hadoop集群數(shù)據(jù)處理流程
4.2 并行隨機森林月徑流分析算法的設(shè)計
4.2.1 數(shù)據(jù)預(yù)處理
4.2.2 基于并行隨機森林徑流模型的構(gòu)建
4.2.3 徑流解釋因子的篩選
4.2.4 數(shù)據(jù)集分析
4.3 徑流分析模塊設(shè)計
4.4 水文平臺成果展示
4.5 本章小結(jié)
第5章 實驗分析結(jié)果
5.1 實驗數(shù)據(jù)來源
5.2 單機和并行時隨機森林運算速度的對比
5.3 徑流分析算法比較
5.3.1 評價指標(biāo)的選取
5.3.2 算法對比
5.3.3 實驗結(jié)果分析
5.4 本章小結(jié)
第6章 總結(jié)和展望
6.1 本文工作總結(jié)
6.2 工作展望
致謝
參考文獻(xiàn)
攻讀學(xué)位期間獲得與學(xué)位論文相關(guān)的科研成果目錄
本文編號:3811848
【文章頁數(shù)】:86 頁
【學(xué)位級別】:碩士
【文章目錄】:
摘要
abstract
第1章 緒論
1.1 課題來源
1.2 課題研究背景和意義
1.3 國內(nèi)外研究現(xiàn)狀
1.3.1 水利云平臺的研究現(xiàn)狀
1.3.2 Hadoop平臺應(yīng)用現(xiàn)狀
1.3.3 水文徑流回歸分析方法的研究現(xiàn)狀
1.3.4 分類回歸算法的研究現(xiàn)狀
1.4 論文研究的內(nèi)容和章節(jié)安排
第2章 基于HADOOP水文分析平臺的設(shè)計
2.1 原有的水文平臺
2.1.1 原有平臺的結(jié)構(gòu)和功能
2.1.2 原有平臺的數(shù)據(jù)處理流程
2.1.3 原平臺的性能缺陷
2.2 HADOOP平臺
2.2.1 項目簡介
2.2.2 Hadoop的基本架構(gòu)模型
2.2.3 分布式文件系統(tǒng)HDFS的介紹
2.2.4 編程模式MapReduce
2.3 水文監(jiān)測平臺架構(gòu)
2.3.1 水文信息預(yù)測平臺的需求分析
2.3.2 平臺整合后的架構(gòu)設(shè)計
2.4 水文預(yù)測平臺的搭建
2.4.1 硬件環(huán)境
2.4.2 軟件環(huán)境
2.4.3 網(wǎng)絡(luò)環(huán)境
2.4.4 Hadoop集群環(huán)境搭建
2.5 水文預(yù)測平臺的存儲和計算服務(wù)
2.5.1 數(shù)據(jù)存儲設(shè)計方案
2.5.2 集群并行計算設(shè)計方案
2.6 水文數(shù)據(jù)存儲的安全性
2.7 本章小結(jié)
第3章 徑流回歸分析算法研究
3.1 徑流和水文-氣象遙相關(guān)
3.1.1 徑流的定義
3.1.2 水文-氣候遙相關(guān)
3.2 基于隨機森林徑流分析算法研究
3.2.1 決策樹
3.2.2 隨機森林算法
3.2.3 基于隨機森林徑流分析算法
3.3 基于支持向量徑流分析算法研究
3.3.1 支持向量機回歸的原理
3.3.2 基于支持向量機徑流分析樣本的選取
3.3.3 基于支持向量回歸的徑流分析算法
3.4 基于逐步線性回歸的徑流分析算法研究
3.5 本章小結(jié)
第4章 基于HADOOP月徑流分析模塊的設(shè)計與實現(xiàn)
4.1 徑流數(shù)據(jù)處理的流程
4.1.1 總體數(shù)據(jù)處理流程
4.1.2 Hadoop中的數(shù)據(jù)處理流程
4.1.3 Web服務(wù)器和Hadoop集群數(shù)據(jù)處理流程
4.2 并行隨機森林月徑流分析算法的設(shè)計
4.2.1 數(shù)據(jù)預(yù)處理
4.2.2 基于并行隨機森林徑流模型的構(gòu)建
4.2.3 徑流解釋因子的篩選
4.2.4 數(shù)據(jù)集分析
4.3 徑流分析模塊設(shè)計
4.4 水文平臺成果展示
4.5 本章小結(jié)
第5章 實驗分析結(jié)果
5.1 實驗數(shù)據(jù)來源
5.2 單機和并行時隨機森林運算速度的對比
5.3 徑流分析算法比較
5.3.1 評價指標(biāo)的選取
5.3.2 算法對比
5.3.3 實驗結(jié)果分析
5.4 本章小結(jié)
第6章 總結(jié)和展望
6.1 本文工作總結(jié)
6.2 工作展望
致謝
參考文獻(xiàn)
攻讀學(xué)位期間獲得與學(xué)位論文相關(guān)的科研成果目錄
本文編號:3811848
本文鏈接:http://sikaile.net/projectlw/dqwllw/3811848.html
最近更新
教材專著