隨著我國(guó)政府開放數(shù)據(jù)的逐步展開以及水資源共享機(jī)制和平臺(tái)的不斷完善,越來(lái)越多的水利數(shù)據(jù)公開在各地政府門戶網(wǎng)站上,數(shù)據(jù)的大量累計(jì)使得對(duì)開放數(shù)據(jù)的獲取與應(yīng)用成為了新的熱點(diǎn)。本文首先研究了開放數(shù)據(jù)的獲取方祛,然后編寫程序清洗上一步獲得的數(shù)據(jù),接著以獲取并清洗后的東大橋測(cè)站水位數(shù)據(jù)為例,建立水位預(yù)測(cè)模型,作為下一步水情預(yù)警的核心模塊之一,最后基于知識(shí)可視化綜合集成平臺(tái),將大數(shù)據(jù)服務(wù)應(yīng)用于防汛決策,設(shè)計(jì)和實(shí)現(xiàn)了防汛決策支持系統(tǒng),具體工作如下:（1）對(duì)于政府網(wǎng)站上公開的水利數(shù)據(jù),使用爬蟲技術(shù)以及數(shù)據(jù)庫(kù)技術(shù)。能夠訊速獲取具有較高時(shí)效性的近期數(shù)據(jù),以及大量歷史數(shù)據(jù),相比于人工錄入,以大大提高數(shù)據(jù)獲取的效率。（2）通過(guò)對(duì)所獲取數(shù)據(jù)進(jìn)行重復(fù)值、錯(cuò)誤值、異常值以及缺失值的清洗,可以得到里高質(zhì)量的水情數(shù)據(jù),間接提高了后面模型的預(yù)測(cè)精度,并且數(shù)據(jù)清洗程序具有較高的復(fù)用性,可以方便地應(yīng)用于不同數(shù)擬集。（3）建立ARIMA水位預(yù)測(cè)模型,由模型的預(yù)測(cè)結(jié)果來(lái)看,預(yù)測(cè)水位和相差不大,預(yù)測(cè)效果較好,說(shuō)明本模型適用于媯水河?xùn)|大橋測(cè)站水位預(yù)測(cè)。（4）基于知識(shí)可視化綜合集成平臺(tái),,將數(shù)據(jù)采集、數(shù)據(jù)清洗以及模型預(yù)測(cè)這一套大數(shù)據(jù)服務(wù)流... 

【文章頁(yè)數(shù)】：68 頁(yè)

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
ABSTRACT
1 緒論
    1.1 研究目的及意義
    1.2 國(guó)內(nèi)外研究現(xiàn)狀
        1.2.1 關(guān)于數(shù)據(jù)開放與獲取的研究
        1.2.2 數(shù)據(jù)清洗的研究
        1.2.3 大數(shù)據(jù)服務(wù)在水利行業(yè)中的應(yīng)用
    1.3 研究的主要內(nèi)容
    1.4 技術(shù)路線
2 水利數(shù)據(jù)獲取研究
    2.1 數(shù)據(jù)源分析
    2.2 基于網(wǎng)絡(luò)爬蟲的數(shù)據(jù)獲取
        2.2.1 爬蟲結(jié)構(gòu)與工作原理
        2.2.2 爬蟲分類
        2.2.3 網(wǎng)絡(luò)爬蟲軟件概述
    2.3 水利數(shù)據(jù)獲取實(shí)例
        2.3.1 數(shù)據(jù)源
        2.3.2 數(shù)據(jù)獲取
3 水利數(shù)據(jù)清洗方法研究及實(shí)現(xiàn)
    3.1 數(shù)據(jù)清洗的必要性
    3.2 數(shù)據(jù)清洗方法研究思路
    3.3 數(shù)據(jù)清洗方法的確立
        3.3.1 對(duì)重復(fù)值的清洗
        3.3.2 對(duì)錯(cuò)誤值的清洗
        3.3.3 對(duì)異常值的清洗
        3.3.4 對(duì)缺失值的清洗
        3.3.5 小結(jié)
    3.4 數(shù)據(jù)清洗實(shí)例
        3.4.1 重復(fù)值的處理
        3.4.2 錯(cuò)誤值的處理
        3.4.3 異常值的處理
        3.4.4 缺失值的處理
4 ARIMA水位預(yù)測(cè)模型建立及實(shí)例應(yīng)用
    4.1 水位預(yù)測(cè)模型選擇
    4.2 建立ARIMA模型的步驟
    4.3 建立ARIMA水位預(yù)測(cè)模型實(shí)例
        4.3.1 數(shù)據(jù)平穩(wěn)性檢驗(yàn)
        4.3.2 模型參數(shù)參數(shù)確定
        4.3.3 模型預(yù)測(cè)
5 防汛決策中的大數(shù)據(jù)服務(wù)
    5.1 水位預(yù)測(cè)系統(tǒng)設(shè)計(jì)
        5.1.1 系統(tǒng)功能結(jié)構(gòu)
        5.1.2 關(guān)鍵技術(shù)支持
        5.1.3 核心模塊設(shè)計(jì)
    5.2 系統(tǒng)核心模塊的實(shí)現(xiàn)
        5.2.1 防汛決策基本信息整合
        5.2.2 水情預(yù)警及結(jié)果
        5.2.3 歷史水情統(tǒng)計(jì)分析
6 結(jié)論與展望
    6.1 結(jié)論
    6.2 展望
致謝
參考文獻(xiàn)
附錄
    附錄A 碩士研究生期間參與的科研項(xiàng)目
    附錄B 碩士研究生期間取得的成果
    附錄C 獲獎(jiǎng)情況



本文編號(hào)：3670563