【摘要】：隨著水利信息化的發(fā)展,互聯(lián)網(wǎng)上累積了數(shù)據(jù)量龐大的水利主題信息。由于互聯(lián)網(wǎng)上的信息具有數(shù)據(jù)量龐大,分布離散,結(jié)構(gòu)復(fù)雜等特點(diǎn),采用傳統(tǒng)的人工采集方式進(jìn)行信息的獲取,具有效率低下等問(wèn)題。使用網(wǎng)絡(luò)爬蟲(chóng)則可以方便快捷地獲取到數(shù)據(jù)量龐大,主題相關(guān)性高的水利信息。系統(tǒng)以主題爬蟲(chóng)為基礎(chǔ)構(gòu)建信息聚合平臺(tái),實(shí)現(xiàn)水利信息的獲取和利用。論文的主要研究?jī)?nèi)容如下:(1)水利主題爬蟲(chóng)各功能模塊設(shè)計(jì)。對(duì)主題爬蟲(chóng)的框架進(jìn)行選擇,種子站點(diǎn)的集合進(jìn)行篩選,主題描述詞庫(kù)進(jìn)行定義,爬行策略進(jìn)行選擇,鏈接提取方案進(jìn)行設(shè)計(jì),主題相關(guān)性分析算法進(jìn)行分析與改進(jìn)。(2)水利GIS信息爬取方案設(shè)計(jì)。GIS格式的信息是水利行業(yè)區(qū)別于其他行業(yè)的顯著特點(diǎn)。水利地理信息大多數(shù)是以接口的形式提供服務(wù),用戶(hù)無(wú)法直接獲取到原始的數(shù)據(jù)�？筛鶕�(jù)瓦片金字塔模型進(jìn)行地圖拼接和縮放算法的設(shè)計(jì),實(shí)現(xiàn)水利地圖信息的獲取。(3)多種格式水利信息爬取方案設(shè)計(jì)。水利主題爬蟲(chóng)根據(jù)不同格式信息的特點(diǎn)定制不同的爬取方案,將文字、數(shù)據(jù)、圖片、視頻影像和地圖等多種格式的水利信息進(jìn)行全面獲取。(4)水利信息規(guī)范化設(shè)計(jì)。為了解決水利信息形式不統(tǒng)一、表現(xiàn)不規(guī)范等問(wèn)題,水利信息規(guī)范化模塊將信息按種類(lèi)轉(zhuǎn)化成通用的格式,并對(duì)不符合規(guī)范的信息進(jìn)行相應(yīng)算法處理,使信息規(guī)范化。(5)搭建水利信息聚合平臺(tái)。以爬蟲(chóng)爬取的水利信息為基礎(chǔ),進(jìn)行水利信息聚合平臺(tái)的搭建。該平臺(tái)對(duì)水利信息進(jìn)行聚合,為用戶(hù)提供水利信息展示和檢索等多種服務(wù)。水利信息聚合系統(tǒng)采用主題爬蟲(chóng)對(duì)信息進(jìn)行爬取,并且構(gòu)建水利信息聚合平臺(tái),將水利信息在該平臺(tái)進(jìn)行聚合使用,為用戶(hù)提供多種特色化信息服務(wù)。該系統(tǒng)為用戶(hù)進(jìn)行水利信息的采集和利用帶來(lái)了極大的便利和良好的體驗(yàn)。
【學(xué)位授予單位】：華中科技大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2019
【分類(lèi)號(hào)】：TV21;P208;TP391.1
【圖文】：

水利主題的定義和主題爬蟲(chóng)技術(shù)是構(gòu)建水利主題信息聚合系統(tǒng)的核心技術(shù)。本章節(jié)將會(huì)對(duì)這些技術(shù)進(jìn)行介紹與分析。對(duì)水利主題進(jìn)行定義與分類(lèi)，然后利用主題爬蟲(chóng)技術(shù)對(duì)數(shù)據(jù)量龐大的水利信息進(jìn)行爬取，最終進(jìn)行水利信息聚合系統(tǒng)的構(gòu)建。2.1 水利主題分類(lèi)及特點(diǎn)水利主題信息種類(lèi)繁多，可以按照水利業(yè)務(wù)種類(lèi)，水利數(shù)據(jù)格式，水利數(shù)據(jù)來(lái)源，以及水利數(shù)據(jù)時(shí)間等多個(gè)維度進(jìn)行劃分。每種類(lèi)型的水利主題信息具有各自相應(yīng)的特點(diǎn)。2.1.1 水利業(yè)務(wù)種類(lèi)水利行業(yè)具有自己的業(yè)務(wù)體系。水利信息可以按照業(yè)務(wù)進(jìn)行劃分。具體可以分為水文、水資源、水工程移民、水利工程、水旱災(zāi)害防御、水土保持等種類(lèi)[36]。每種不同業(yè)務(wù)類(lèi)型的水利信息具有不同的數(shù)據(jù)內(nèi)容和特性。按照行政業(yè)務(wù)對(duì)水利信息進(jìn)行分類(lèi)如圖 2-1 所示。

10圖 2-2 互聯(lián)網(wǎng)上的水利文字（2）水利數(shù)據(jù)表格數(shù)據(jù)表格是水利行業(yè)常見(jiàn)的一種信息表現(xiàn)形式。水利數(shù)據(jù)是水利行業(yè)中重要的指標(biāo)參數(shù)。為了方便水利數(shù)據(jù)的傳播和使用，水利行業(yè)相關(guān)工作人員通常將測(cè)量和計(jì)算得到的水利數(shù)據(jù)進(jìn)行組織整理，最終規(guī)范化為水利數(shù)據(jù)表格。水利數(shù)據(jù)通常以表格的形式在互聯(lián)網(wǎng)上進(jìn)行展示與傳播。水利數(shù)據(jù)表格具有信息集中、數(shù)據(jù)規(guī)范的特點(diǎn)。水利網(wǎng)站上的數(shù)據(jù)表格如圖 2-3 所示。（3）水利圖片圖片是一種直觀的信息展示與存儲(chǔ)形式。水利行業(yè)也有通過(guò)靜態(tài)影像記錄水利信息的圖片。圖片以更直觀的方式展現(xiàn)了某種水利場(chǎng)景和現(xiàn)象。水利網(wǎng)站上的圖片如圖 2-4 所示。

互聯(lián)網(wǎng)上的水利數(shù)據(jù)表格

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 曹樹(shù)金;馬翠嫦;;信息聚合概念的構(gòu)成與聚合模式研究[J];中國(guó)圖書(shū)館學(xué)報(bào);2016年03期

2 馬飛;王煉;孫啟鵬;李麗;;信息聚合視角下物聯(lián)網(wǎng)服務(wù)模式設(shè)計(jì)及實(shí)現(xiàn)分析[J];情報(bào)科學(xué);2013年06期

3 鄧勝利;;信息聚合服務(wù)的發(fā)展與演變研究[J];情報(bào)資料工作;2012年01期

4 胡昌平;胡吉明;鄧勝利;;基于社會(huì)化群體作用的信息聚合服務(wù)[J];中國(guó)圖書(shū)館學(xué)報(bào);2010年03期

5 李娜;陳晰;吳帆;李祥珍;;面向智能電網(wǎng)的物聯(lián)網(wǎng)信息聚合技術(shù)[J];信息通信技術(shù);2010年02期

6 姜恩波;;基于信息聚合的服務(wù)與技術(shù)[J];現(xiàn)代圖書(shū)情報(bào)技術(shù);2007年04期

7 陳瑋;蘇玉娜;;RSS信息聚合技術(shù)[J];電腦知識(shí)與技術(shù)(學(xué)術(shù)交流);2007年01期

8 段琳鳳;劉雷;陳曦;和心;金菲菲;;基于信息聚合的電力企業(yè)供應(yīng)鏈大數(shù)據(jù)研究[J];物流技術(shù);2016年07期

9 曹進(jìn)軍;;基于網(wǎng)絡(luò)切片的信息聚合研究[J];情報(bào)理論與實(shí)踐;2013年09期

10 梁斌;趙志宏;;領(lǐng)域可移植的企業(yè)的信息聚合[J];四川大學(xué)學(xué)報(bào)(工程科學(xué)版);2007年S1期

相關(guān)會(huì)議論文 前3條

1 梁斌;趙志宏;;領(lǐng)域可移植的企業(yè)的信息聚合[A];第四屆中國(guó)軟件工程大會(huì)論文集[C];2007年

2 楊高峰;楊岳湘;;基于RSS的個(gè)性化科技信息聚合門(mén)戶(hù)的設(shè)計(jì)與實(shí)現(xiàn)[A];2008通信理論與技術(shù)新進(jìn)展——第十三屆全國(guó)青年通信學(xué)術(shù)會(huì)議論文集（上）[C];2008年

3 陳典全;黃朝陽(yáng);;基于位置的社會(huì)網(wǎng)絡(luò)(LBSN)研究及其產(chǎn)業(yè)化[A];第二屆中國(guó)衛(wèi)星導(dǎo)航學(xué)術(shù)年會(huì)電子文集[C];2011年

相關(guān)重要報(bào)紙文章 前10條

1 本報(bào)記者 田文杰;信息聚合 智慧共享[N];晉中日?qǐng)?bào);2015年

2 本報(bào)記者 俞悅;傳統(tǒng)報(bào)業(yè)與信息聚合網(wǎng)站的恩怨情仇[N];中國(guó)計(jì)算機(jī)報(bào);2009年

3 本報(bào)記者 徐衛(wèi)興 朱彥 通訊員 周威 楊凱;信息聚合為稅收管理“精準(zhǔn)導(dǎo)航”[N];中國(guó)稅務(wù)報(bào);2016年

4 領(lǐng)文;大旗網(wǎng)創(chuàng)Web2.0聚合新風(fēng)[N];中國(guó)計(jì)算機(jī)報(bào);2006年

5 沈海榮;軍事物流：信息聚合下的“物暢其流”[N];解放軍報(bào);2011年

6 陳江南;用先進(jìn)文化引領(lǐng)“微時(shí)代”官兵[N];解放軍報(bào);2011年

7 康梁;大旗網(wǎng)掀起Web2.0聚合浪潮[N];中華工商時(shí)報(bào);2006年

8 整理 見(jiàn)習(xí)記者 陶力;對(duì)話(huà)口碑公司CEO范馳[N];21世紀(jì)經(jīng)濟(jì)報(bào)道;2015年

9 本報(bào)記者 劉靚;ChinaBBS蝶變“daqi” 開(kāi)啟新旅程[N];證券日?qǐng)?bào);2006年

10 本報(bào)記者 吳玉征;法院“信息球”邁入大數(shù)據(jù)時(shí)代[N];計(jì)算機(jī)世界;2013年

相關(guān)碩士學(xué)位論文 前10條

1 閆寧;基于網(wǎng)絡(luò)爬蟲(chóng)的水利信息聚合系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];華中科技大學(xué);2019年

2 葉曉寧;網(wǎng)絡(luò)空間的人物信息聚合系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];北京郵電大學(xué);2019年

3 郭旭陽(yáng);信息聚合展示類(lèi)Web應(yīng)用技術(shù)框架設(shè)計(jì)實(shí)現(xiàn)與應(yīng)用[D];北京郵電大學(xué);2017年

4 李靜;基于LDA的微博災(zāi)害信息聚合[D];武漢大學(xué);2018年

5 黃家乾;地理信息聚合研究[D];福州大學(xué);2010年

6 劉禮;學(xué)科信息聚合服務(wù)平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)[D];華中師范大學(xué);2016年

7 楊高峰;基于信息聚合技術(shù)的個(gè)性化信息門(mén)戶(hù)的研究與實(shí)現(xiàn)[D];國(guó)防科學(xué)技術(shù)大學(xué);2009年

8 張雅莉;基于Android的信息聚合系統(tǒng)的研究與實(shí)現(xiàn)[D];北京郵電大學(xué);2017年

9 魯媛;基于信息聚合技術(shù)的農(nóng)業(yè)信息服務(wù)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];山東大學(xué);2013年

10 張麗娜;基于RSS的種子信息聚合與抽取模型的研究與實(shí)現(xiàn)[D];太原理工大學(xué);2010年

本文編號(hào)：2768766