【摘要】：隨著水利信息化的發(fā)展,互聯(lián)網(wǎng)上累積了數(shù)據(jù)量龐大的水利主題信息。由于互聯(lián)網(wǎng)上的信息具有數(shù)據(jù)量龐大,分布離散,結構復雜等特點,采用傳統(tǒng)的人工采集方式進行信息的獲取,具有效率低下等問題。使用網(wǎng)絡爬蟲則可以方便快捷地獲取到數(shù)據(jù)量龐大,主題相關性高的水利信息。系統(tǒng)以主題爬蟲為基礎構建信息聚合平臺,實現(xiàn)水利信息的獲取和利用。論文的主要研究內(nèi)容如下:(1)水利主題爬蟲各功能模塊設計。對主題爬蟲的框架進行選擇,種子站點的集合進行篩選,主題描述詞庫進行定義,爬行策略進行選擇,鏈接提取方案進行設計,主題相關性分析算法進行分析與改進。(2)水利GIS信息爬取方案設計。GIS格式的信息是水利行業(yè)區(qū)別于其他行業(yè)的顯著特點。水利地理信息大多數(shù)是以接口的形式提供服務,用戶無法直接獲取到原始的數(shù)據(jù)�？筛鶕�(jù)瓦片金字塔模型進行地圖拼接和縮放算法的設計,實現(xiàn)水利地圖信息的獲取。(3)多種格式水利信息爬取方案設計。水利主題爬蟲根據(jù)不同格式信息的特點定制不同的爬取方案,將文字、數(shù)據(jù)、圖片、視頻影像和地圖等多種格式的水利信息進行全面獲取。(4)水利信息規(guī)范化設計。為了解決水利信息形式不統(tǒng)一、表現(xiàn)不規(guī)范等問題,水利信息規(guī)范化模塊將信息按種類轉化成通用的格式,并對不符合規(guī)范的信息進行相應算法處理,使信息規(guī)范化。(5)搭建水利信息聚合平臺。以爬蟲爬取的水利信息為基礎,進行水利信息聚合平臺的搭建。該平臺對水利信息進行聚合,為用戶提供水利信息展示和檢索等多種服務。水利信息聚合系統(tǒng)采用主題爬蟲對信息進行爬取,并且構建水利信息聚合平臺,將水利信息在該平臺進行聚合使用,為用戶提供多種特色化信息服務。該系統(tǒng)為用戶進行水利信息的采集和利用帶來了極大的便利和良好的體驗。
【學位授予單位】：華中科技大學
【學位級別】：碩士
【學位授予年份】：2019
【分類號】：TV21;P208;TP391.1
【圖文】：

水利主題的定義和主題爬蟲技術是構建水利主題信息聚合系統(tǒng)的核心技術。本章節(jié)將會對這些技術進行介紹與分析。對水利主題進行定義與分類，然后利用主題爬蟲技術對數(shù)據(jù)量龐大的水利信息進行爬取，最終進行水利信息聚合系統(tǒng)的構建。2.1 水利主題分類及特點水利主題信息種類繁多，可以按照水利業(yè)務種類，水利數(shù)據(jù)格式，水利數(shù)據(jù)來源，以及水利數(shù)據(jù)時間等多個維度進行劃分。每種類型的水利主題信息具有各自相應的特點。2.1.1 水利業(yè)務種類水利行業(yè)具有自己的業(yè)務體系。水利信息可以按照業(yè)務進行劃分。具體可以分為水文、水資源、水工程移民、水利工程、水旱災害防御、水土保持等種類[36]。每種不同業(yè)務類型的水利信息具有不同的數(shù)據(jù)內(nèi)容和特性。按照行政業(yè)務對水利信息進行分類如圖 2-1 所示。

10圖 2-2 互聯(lián)網(wǎng)上的水利文字（2）水利數(shù)據(jù)表格數(shù)據(jù)表格是水利行業(yè)常見的一種信息表現(xiàn)形式。水利數(shù)據(jù)是水利行業(yè)中重要的指標參數(shù)。為了方便水利數(shù)據(jù)的傳播和使用，水利行業(yè)相關工作人員通常將測量和計算得到的水利數(shù)據(jù)進行組織整理，最終規(guī)范化為水利數(shù)據(jù)表格。水利數(shù)據(jù)通常以表格的形式在互聯(lián)網(wǎng)上進行展示與傳播。水利數(shù)據(jù)表格具有信息集中、數(shù)據(jù)規(guī)范的特點。水利網(wǎng)站上的數(shù)據(jù)表格如圖 2-3 所示。（3）水利圖片圖片是一種直觀的信息展示與存儲形式。水利行業(yè)也有通過靜態(tài)影像記錄水利信息的圖片。圖片以更直觀的方式展現(xiàn)了某種水利場景和現(xiàn)象。水利網(wǎng)站上的圖片如圖 2-4 所示。

互聯(lián)網(wǎng)上的水利數(shù)據(jù)表格

【相似文獻】

相關期刊論文 前10條

1 曹樹金;馬翠嫦;;信息聚合概念的構成與聚合模式研究[J];中國圖書館學報;2016年03期

2 馬飛;王煉;孫啟鵬;李麗;;信息聚合視角下物聯(lián)網(wǎng)服務模式設計及實現(xiàn)分析[J];情報科學;2013年06期

3 鄧勝利;;信息聚合服務的發(fā)展與演變研究[J];情報資料工作;2012年01期

4 胡昌平;胡吉明;鄧勝利;;基于社會化群體作用的信息聚合服務[J];中國圖書館學報;2010年03期

5 李娜;陳晰;吳帆;李祥珍;;面向智能電網(wǎng)的物聯(lián)網(wǎng)信息聚合技術[J];信息通信技術;2010年02期

6 姜恩波;;基于信息聚合的服務與技術[J];現(xiàn)代圖書情報技術;2007年04期

7 陳瑋;蘇玉娜;;RSS信息聚合技術[J];電腦知識與技術(學術交流);2007年01期

8 段琳鳳;劉雷;陳曦;和心;金菲菲;;基于信息聚合的電力企業(yè)供應鏈大數(shù)據(jù)研究[J];物流技術;2016年07期

9 曹進軍;;基于網(wǎng)絡切片的信息聚合研究[J];情報理論與實踐;2013年09期

10 梁斌;趙志宏;;領域可移植的企業(yè)的信息聚合[J];四川大學學報(工程科學版);2007年S1期

相關會議論文 前3條

1 梁斌;趙志宏;;領域可移植的企業(yè)的信息聚合[A];第四屆中國軟件工程大會論文集[C];2007年

2 楊高峰;楊岳湘;;基于RSS的個性化科技信息聚合門戶的設計與實現(xiàn)[A];2008通信理論與技術新進展——第十三屆全國青年通信學術會議論文集（上）[C];2008年

3 陳典全;黃朝陽;;基于位置的社會網(wǎng)絡(LBSN)研究及其產(chǎn)業(yè)化[A];第二屆中國衛(wèi)星導航學術年會電子文集[C];2011年

相關重要報紙文章 前10條

1 本報記者 田文杰;信息聚合 智慧共享[N];晉中日報;2015年

2 本報記者 俞悅;傳統(tǒng)報業(yè)與信息聚合網(wǎng)站的恩怨情仇[N];中國計算機報;2009年

3 本報記者 徐衛(wèi)興 朱彥 通訊員 周威 楊凱;信息聚合為稅收管理“精準導航”[N];中國稅務報;2016年

4 領文;大旗網(wǎng)創(chuàng)Web2.0聚合新風[N];中國計算機報;2006年

5 沈海榮;軍事物流：信息聚合下的“物暢其流”[N];解放軍報;2011年

6 陳江南;用先進文化引領“微時代”官兵[N];解放軍報;2011年

7 康梁;大旗網(wǎng)掀起Web2.0聚合浪潮[N];中華工商時報;2006年

8 整理 見習記者 陶力;對話口碑公司CEO范馳[N];21世紀經(jīng)濟報道;2015年

9 本報記者 劉靚;ChinaBBS蝶變“daqi” 開啟新旅程[N];證券日報;2006年

10 本報記者 吳玉征;法院“信息球”邁入大數(shù)據(jù)時代[N];計算機世界;2013年

相關碩士學位論文 前10條

1 閆寧;基于網(wǎng)絡爬蟲的水利信息聚合系統(tǒng)的設計與實現(xiàn)[D];華中科技大學;2019年

2 葉曉寧;網(wǎng)絡空間的人物信息聚合系統(tǒng)的設計與實現(xiàn)[D];北京郵電大學;2019年

3 郭旭陽;信息聚合展示類Web應用技術框架設計實現(xiàn)與應用[D];北京郵電大學;2017年

4 李靜;基于LDA的微博災害信息聚合[D];武漢大學;2018年

5 黃家乾;地理信息聚合研究[D];福州大學;2010年

6 劉禮;學科信息聚合服務平臺設計與實現(xiàn)[D];華中師范大學;2016年

7 楊高峰;基于信息聚合技術的個性化信息門戶的研究與實現(xiàn)[D];國防科學技術大學;2009年

8 張雅莉;基于Android的信息聚合系統(tǒng)的研究與實現(xiàn)[D];北京郵電大學;2017年

9 魯媛;基于信息聚合技術的農(nóng)業(yè)信息服務系統(tǒng)的設計與實現(xiàn)[D];山東大學;2013年

10 張麗娜;基于RSS的種子信息聚合與抽取模型的研究與實現(xiàn)[D];太原理工大學;2010年

本文編號：2768766