隨著國(guó)際上氣象水文交換和共享技術(shù)及互聯(lián)網(wǎng)數(shù)據(jù)定向爬取等技術(shù)的發(fā)展,根據(jù)我國(guó)對(duì)氣象水文觀探測(cè)資料需求,充分利用互聯(lián)網(wǎng)氣象水文數(shù)據(jù)資源,彌補(bǔ)相關(guān)熱點(diǎn)地區(qū)氣象水文資料不足,顯得尤為重要。本文在國(guó)內(nèi)外先進(jìn)技術(shù)的基礎(chǔ)上,開展了互聯(lián)網(wǎng)氣象水文數(shù)據(jù)定向采集系統(tǒng)方案設(shè)計(jì),并研制了原型軟件。系統(tǒng)拓寬了氣象水文資料收集渠道,解決了相關(guān)地區(qū)氣象水文資料的有無(wú)問(wèn)題,為發(fā)展互聯(lián)網(wǎng)氣象水文數(shù)據(jù)業(yè)務(wù)化采集提供了重要支撐。系統(tǒng)采用自動(dòng)化采集傳輸流程,將互聯(lián)網(wǎng)下載區(qū)的數(shù)據(jù)擺渡到內(nèi)網(wǎng)供分發(fā)共享。系統(tǒng)由互聯(lián)網(wǎng)數(shù)據(jù)定向采集綜合設(shè)置、互聯(lián)網(wǎng)數(shù)據(jù)定向采集任務(wù)調(diào)度、網(wǎng)頁(yè)解析與數(shù)據(jù)獲取、互聯(lián)網(wǎng)數(shù)據(jù)預(yù)處理和網(wǎng)絡(luò)擺渡等五個(gè)分系統(tǒng)組成。針對(duì)每個(gè)分系統(tǒng)和功能點(diǎn),詳細(xì)分析了相關(guān)技術(shù)的使用,總結(jié)歸納出基于坐標(biāo)樹的頁(yè)面結(jié)構(gòu)分析技術(shù)、基于WEB頁(yè)面特征的頁(yè)面內(nèi)容提取技術(shù)和基于IP地址池和代理地址的數(shù)據(jù)采集技術(shù)等三項(xiàng)關(guān)鍵技術(shù),為系統(tǒng)的成功研制打下了堅(jiān)實(shí)的基礎(chǔ)。原型軟件設(shè)計(jì)成功后,進(jìn)行了采集實(shí)例檢驗(yàn),檢驗(yàn)結(jié)果表明,信息網(wǎng)絡(luò)飛速發(fā)展的大背景下,利用本系統(tǒng)可以很好的根據(jù)用戶需求實(shí)現(xiàn)氣象水文數(shù)據(jù)的互聯(lián)網(wǎng)定向采集。
【學(xué)位單位】：國(guó)防科技大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位年份】：2018
【中圖分類】：P335;P414;TP274.2
【部分圖文】：

國(guó)防科技大學(xué)研究生院專業(yè)學(xué)位碩士學(xué)位論文失敗時(shí)，為了不影響正常數(shù)據(jù)的下載和數(shù)據(jù)的分發(fā)，可通過(guò)人工方式調(diào)度和執(zhí)行來(lái)完成相關(guān)任務(wù)；采集服務(wù)器與元數(shù)據(jù)服務(wù)器能夠通過(guò)狀態(tài)交互和信息通信工作，首先，采集服務(wù)器獲取元數(shù)據(jù)服務(wù)器分配的任務(wù)，然后進(jìn)行數(shù)據(jù)采集，之后將數(shù)據(jù)信息等采集結(jié)果信息再反饋給元數(shù)據(jù)服務(wù)器。

圖 2.2 互聯(lián)網(wǎng)氣象水文數(shù)據(jù)定向采集系統(tǒng)技術(shù)架構(gòu)圖外部資源層提供待采集的互聯(lián)網(wǎng)氣象水文數(shù)據(jù)來(lái)源，包括但不限于美國(guó)空間天氣預(yù)報(bào)中心、美國(guó)宇航局太陽(yáng)動(dòng)態(tài)觀測(cè)網(wǎng)站、美國(guó)國(guó)家太陽(yáng)觀測(cè)臺(tái)、美國(guó)航空航天局、日本氣象廳、國(guó)家衛(wèi)星氣象中心等氣象網(wǎng)站上的氣象水文資料。數(shù)據(jù)資料包括浮標(biāo)數(shù)據(jù)、NDBC 數(shù)據(jù)、MODIS 數(shù)據(jù)、WindSat 數(shù)據(jù)、DMSP F17 SSMIS數(shù)據(jù)、NCEP 數(shù)據(jù)、AMSR2 數(shù)據(jù)、海冰底圖數(shù)據(jù)、ssha_grid 數(shù)據(jù)、ssha_track 數(shù)據(jù)、sst_grid 數(shù)據(jù)、gtspp 數(shù)據(jù)、地磁數(shù)據(jù)、粒子數(shù)據(jù)、太陽(yáng)數(shù)據(jù)、地磁數(shù)據(jù)、太陽(yáng)質(zhì)子事件、太陽(yáng)亮點(diǎn)和地磁活動(dòng)、空間天氣展望表、太陽(yáng)指數(shù)、太陽(yáng)圖片、赤道DST 值、云頂溫度等。數(shù)據(jù)訪問(wèn)層提供采集站點(diǎn)配置信息、用戶身份和管理權(quán)限信息、采集任務(wù)信息、日志信息、元數(shù)據(jù)信息以及數(shù)據(jù)文件等。平臺(tái)支撐層提供系統(tǒng)運(yùn)行的基礎(chǔ)服務(wù)，包括針對(duì)網(wǎng)頁(yè)、FTP 站點(diǎn)和 Email 附件的數(shù)據(jù)采集和多線程下載、IP 資源池和代理管理框架、任務(wù)調(diào)度管理、配置管理插件服務(wù)、用戶管理、文件和元數(shù)據(jù)管理等。其中，針對(duì)網(wǎng)頁(yè)數(shù)據(jù)采集，主要提供兩項(xiàng)技術(shù)，一是基于坐標(biāo)樹的頁(yè)面結(jié)構(gòu)分析技術(shù)；二是基于 WEB 頁(yè)面特征的頁(yè)

國(guó)防科技大學(xué)研究生院專業(yè)學(xué)位碩士學(xué)位論文輸?shù)絻?nèi)網(wǎng)。通過(guò)擺渡機(jī)的機(jī)械臂，能夠?qū)⑼饩W(wǎng)采集服務(wù)器所采集到的數(shù)據(jù)，按照數(shù)據(jù)擺渡策略周期性地傳送到內(nèi)網(wǎng)中，內(nèi)網(wǎng)的數(shù)據(jù)處理服務(wù)器則會(huì)對(duì)擺渡回來(lái)的數(shù)據(jù)進(jìn)行存儲(chǔ)、展示以及其他處理操作，完成相關(guān)的業(yè)務(wù)需求。2.4 系統(tǒng)業(yè)務(wù)流程設(shè)計(jì)互聯(lián)網(wǎng)氣象水文數(shù)據(jù)定向采集系統(tǒng)業(yè)務(wù)流程如圖 2.3 所示。
【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 任毅;;安徽省基礎(chǔ)水文數(shù)據(jù)建庫(kù)控制方法研究應(yīng)用[J];江淮水利科技;2017年01期

2 曾楷;陳雅莉;張文;孟令奎;陳春華;;基于工作流的水文數(shù)據(jù)自動(dòng)化服務(wù)機(jī)制研究與實(shí)現(xiàn)[J];水文;2015年05期

3 劉東旭;;水文數(shù)據(jù)資源目錄體系建設(shè)研究[J];數(shù)字技術(shù)與應(yīng)用;2011年11期

4 劉曉鳳;;基于黑龍江省水文數(shù)據(jù)中心建設(shè)[J];黑龍江水利科技;2010年02期

5 章樹安;吳禮福;艾萍;;對(duì)建設(shè)水文數(shù)據(jù)倉(cāng)庫(kù)的初步研究[J];水文;2007年01期

6 顧納,周星;美國(guó)國(guó)家水文數(shù)據(jù)綜述[J];測(cè)繪科學(xué);2003年04期

7 王秀中;;水文數(shù)據(jù)分散錄入的聯(lián)機(jī)系統(tǒng)[J];水文;1988年03期

8 梁國(guó)華;;應(yīng)用氣象衛(wèi)星采集傳輸水文數(shù)據(jù)可行性論證報(bào)告及規(guī)劃綱要審查會(huì)在南京召開[J];水文;1988年04期

9 楊楚慧;林琳;張秋汝;史良勝;;多源觀測(cè)在水文數(shù)據(jù)同化中的應(yīng)用[J];中國(guó)農(nóng)村水利水電;2017年09期

10 王意惟;王雨雙;;水文數(shù)據(jù)應(yīng)用的效益分析[J];農(nóng)業(yè)與技術(shù);2008年05期

相關(guān)碩士學(xué)位論文 前8條

1 李杰;互聯(lián)網(wǎng)氣象水文數(shù)據(jù)定向采集系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];國(guó)防科技大學(xué);2018年

2 范里;柔性集成技術(shù)研究及其在水文數(shù)據(jù)挖掘中的應(yīng)用[D];河海大學(xué);2007年

3 郭田琳;基于混合模型方法的水文數(shù)據(jù)的研究及預(yù)測(cè)[D];蘭州大學(xué);2017年

4 陳丁;海洋水文數(shù)據(jù)可視化關(guān)鍵技術(shù)研究[D];解放軍信息工程大學(xué);2015年

5 解開創(chuàng);水文自動(dòng)測(cè)報(bào)系統(tǒng)數(shù)據(jù)整編前處理軟件的設(shè)計(jì)和實(shí)現(xiàn)[D];云南大學(xué);2012年

6 李桂萍;基于網(wǎng)絡(luò)的礦井水文多參數(shù)監(jiān)測(cè)系統(tǒng)研究[D];西安科技大學(xué);2006年

7 吳春祥;嵌入式水文自動(dòng)測(cè)報(bào)系統(tǒng)的研究與設(shè)計(jì)[D];武漢理工大學(xué);2008年

8 高祥濤;數(shù)據(jù)挖掘在水文相似年查找中的應(yīng)用研究[D];河海大學(xué);2004年

本文編號(hào)：2837774