發(fā)布時間：2017-08-28 22:09

  本文關(guān)鍵詞：一種主動發(fā)現(xiàn)網(wǎng)絡(luò)地理信息服務(wù)的主題爬蟲

  更多相關(guān)文章： 主題爬蟲 網(wǎng)絡(luò)地理信息服務(wù) 最佳優(yōu)先搜索 能力文檔探測

【摘要】：地理信息服務(wù)已成為分布式環(huán)境下獲取地理數(shù)據(jù)的重要來源,從海量的網(wǎng)絡(luò)資源中找到地理信息服務(wù),是共享與互操作地理數(shù)據(jù)的基礎(chǔ)。目前,地理信息服務(wù)主動搜索主要采用通用搜索引擎的接口或者通用爬蟲的抓取方式,但這2種方式存在搜索效率低、搜索結(jié)果可用性差等不足。針對這一問題,本文設(shè)計了一種搜索地理信息服務(wù)的主題爬蟲。該算法在最佳優(yōu)先搜索的基礎(chǔ)上進行了改進,綜合考慮網(wǎng)頁內(nèi)容的主題相關(guān)度和鏈接文本的主題相關(guān)度確定鏈接優(yōu)先級,優(yōu)先爬取與地理信息服務(wù)相關(guān)的鏈接,并通過舍棄無關(guān)網(wǎng)頁中的無關(guān)鏈接,減少無效爬取,進而提高搜索效率。此外,本文采用關(guān)鍵詞匹配結(jié)合能力文檔探測的方式識別地理信息服務(wù),有效篩選出可用的地理信息服務(wù),提高了服務(wù)搜索結(jié)果的可利用率。最后,本文以O(shè)GC WMS為實例,實現(xiàn)爬蟲算法的原型系統(tǒng)并進行實驗,實驗證明該算法有效可行。
【作者單位】： 武漢大學(xué)測繪遙感信息工程國家重點實驗室;武漢大學(xué)遙感信息工程學(xué)院;湖北大學(xué)計算機與信息工程學(xué)院;
【關(guān)鍵詞】： 主題爬蟲 網(wǎng)絡(luò)地理信息服務(wù) 最佳優(yōu)先搜索 能力文檔探測
【基金】：國家自然科學(xué)基金面上項目(41371372) 武漢大學(xué)遙感信息工程學(xué)院探索性研發(fā)基金“基于時空計算特征挖掘的空間信息云計算優(yōu)化方法研究”
【分類號】：P208
【正文快照】： 1引言在開放地理空間聯(lián)盟OGC(Open GeospatialConsortium)和國際標(biāo)準(zhǔn)化組織ISO/TC211的積極推動下,網(wǎng)絡(luò)地理信息服務(wù)規(guī)范逐漸成熟和普及[1],越來越多的符合規(guī)范的地理信息服務(wù)被發(fā)布到互聯(lián)網(wǎng)上。由于地理信息服務(wù)以在線方式提供類型豐富、時效性高的地理數(shù)據(jù),它已成為公眾免費

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前3條

1 武昊;廖安平;何超英;侯東陽;;基于主題相關(guān)度的地理信息Web服務(wù)爬蟲研究[J];地理與地理信息科學(xué);2012年02期

2 王曙;吉雷靜;張雪英;趙仁亮;陳曉丹;余浩;;面向網(wǎng)頁文本的地理要素變化檢測[J];地球信息科學(xué)學(xué)報;2013年05期

3 王偉軍;王金鵬;;科學(xué)知識圖譜在技術(shù)預(yù)見中的應(yīng)用探析[J];情報科學(xué);2010年08期

【共引文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 王正;陸余良;劉金紅;施凡;;基于Lucene的互聯(lián)網(wǎng)文獻信息檢索系統(tǒng)的研究[J];安徽大學(xué)學(xué)報(自然科學(xué)版);2009年05期

2 赫楓齡,左萬利;利用超鏈接信息改進網(wǎng)頁爬行器的搜索策略[J];吉林大學(xué)學(xué)報(信息科學(xué)版);2005年01期

3 武昊;廖安平;何超英;侯東陽;;基于主題相關(guān)度的地理信息Web服務(wù)爬蟲研究[J];地理與地理信息科學(xué);2012年02期

4 毛曉蛟;;搜索引擎中網(wǎng)絡(luò)蜘蛛的研究與實現(xiàn)[J];電腦編程技巧與維護;2010年18期

5 唐波;;網(wǎng)絡(luò)爬蟲的設(shè)計與實現(xiàn)[J];電腦知識與技術(shù);2009年11期

6 李園偉;;面向高校主題搜索引擎的的爬行器設(shè)計[J];電腦知識與技術(shù);2011年16期

7 周民;邱雅;王華彬;;網(wǎng)絡(luò)輿情分析中智能爬蟲的設(shè)計[J];電腦知識與技術(shù);2011年33期

8 張春菊;張雪英;朱少楠;徐希濤;;基于網(wǎng)絡(luò)爬蟲的地名數(shù)據(jù)庫維護方法[J];地球信息科學(xué)學(xué)報;2011年04期

9 王巖;;搜索引擎中網(wǎng)絡(luò)爬蟲技術(shù)的發(fā)展[J];電信快報;2008年10期

10 許金玲;陳旭翔;趙少娟;丁必蛟;;基于信令分析的客戶網(wǎng)絡(luò)標(biāo)簽體系搭建[J];電信快報;2012年05期

中國博士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 張翔;文本挖掘技術(shù)研究及其在綜合風(fēng)險信息網(wǎng)絡(luò)中的應(yīng)用[D];西北大學(xué);2011年

2 張長利;面向特定領(lǐng)域的互聯(lián)網(wǎng)輿情分析技術(shù)研究[D];吉林大學(xué);2011年

3 王修君;高效數(shù)據(jù)流和海量文本處理算法研究[D];中國科學(xué)技術(shù)大學(xué);2011年

4 吳超;信息檢索中top-k問題的并行算法及優(yōu)化研究[D];中國科學(xué)技術(shù)大學(xué);2011年

5 李常寶;基于索引的web服務(wù)發(fā)現(xiàn)研究[D];北京郵電大學(xué);2011年

6 田俊華;基于本體知識庫的教學(xué)資源自動采集技術(shù)研究[D];南京師范大學(xué);2011年

7 吳永輝;面向?qū)I(yè)領(lǐng)域的網(wǎng)絡(luò)信息采集及主題檢測技術(shù)研究與應(yīng)用[D];哈爾濱工業(yè)大學(xué);2010年

8 許笑;分布式Web信息采集關(guān)鍵技術(shù)研究[D];哈爾濱工業(yè)大學(xué);2011年

9 寇月;Deep Web實體搜索的關(guān)鍵技術(shù)研究[D];東北大學(xué);2009年

10 賈自艷;Web信息智能獲取若干關(guān)鍵問題研究[D];中國科學(xué)院研究生院（計算技術(shù)研究所）;2004年

【二級參考文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 陳軍;趙仁亮;王東華;;基礎(chǔ)地理信息動態(tài)更新技術(shù)體系初探[J];地理信息世界;2007年05期

2 陳軍;丁明柱;蔣捷;周旭;翟勇;朱武;;從離線數(shù)據(jù)提供到在線地理信息服務(wù)[J];地理信息世界;2009年02期

3 王迪偉;;基于PDA的1∶10000比例尺地形圖野外調(diào)繪[J];測繪通報;2010年07期

4 陳軍;王東華;商瑤玲;廖安平;趙仁亮;劉建軍;朱武;李力勐;;國家1∶50000數(shù)據(jù)庫更新工程總體設(shè)計研究與技術(shù)創(chuàng)新[J];測繪學(xué)報;2010年01期

5 李麗雙;黨延忠;廖文平;黃德根;張穎;;CRF與規(guī)則相結(jié)合的中文地名識別[J];大連理工大學(xué)學(xué)報;2012年02期

6 譚駿珊;陳可欽;;聚焦爬行中網(wǎng)頁爬行算法的改進[J];電腦知識與技術(shù);2008年35期

7 錢育華;數(shù)字城鎮(zhèn)的數(shù)據(jù)更新[J];地球信息科學(xué);2002年03期

8 張雪英;閭國年;;自然語言空間關(guān)系及其在GIS中的應(yīng)用研究[J];地球信息科學(xué);2007年06期

9 張雪英;閭國年;李伯秋;陳文君;;基于規(guī)則的中文地址要素解析方法[J];地球信息科學(xué)學(xué)報;2010年01期

10 周立;鄧云青;;城市地理信息系統(tǒng)數(shù)據(jù)更新方式研究[J];地理空間信息;2008年05期

中國博士學(xué)位論文全文數(shù)據(jù)庫 前3條

1 白玉琪;空間信息搜索引擎研究[D];中國科學(xué)院研究生院（遙感應(yīng)用研究所）;2003年

2 樂小虬;非結(jié)構(gòu)化網(wǎng)絡(luò)空間信息智能搜索與服務(wù)研究[D];中國科學(xué)院研究生院（遙感應(yīng)用研究所）;2006年

3 陳竹敏;面向垂直搜索引擎的主題爬行技術(shù)研究[D];山東大學(xué);2008年

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 王剛;邊馥苓;;基于語義Web的地理信息服務(wù)自動發(fā)現(xiàn)與組合研究[J];科技資訊;2008年06期

2 陳蘭芹;;網(wǎng)絡(luò)直通車——為奧運提供網(wǎng)絡(luò)地理信息服務(wù)[J];中國測繪;2008年04期

3 唐冬梅;葉修松;;地理信息服務(wù)的思索與探討[J];測繪與空間地理信息;2008年04期

4 張立朝;潘貞;王青山;鄭海鷹;;本體驅(qū)動的地理信息服務(wù)發(fā)現(xiàn)模型研究[J];武漢大學(xué)學(xué)報(信息科學(xué)版);2009年06期

5 王珂珂;張立朝;潘貞;王青山;鄭海鷹;;業(yè)務(wù)驅(qū)動的地理信息服務(wù)粒度劃分[J];北京測繪;2010年01期

6 喬朝飛;;客戶關(guān)系管理在基礎(chǔ)地理信息服務(wù)中的應(yīng)用初探[J];測繪通報;2010年06期

7 曹曉明;;基于客戶需求導(dǎo)向的基礎(chǔ)地理信息服務(wù)[J];邢臺職業(yè)技術(shù)學(xué)院學(xué)報;2011年02期

8 劉建川;甘泉;;地理信息服務(wù)安全訪問設(shè)計與實現(xiàn)[J];測繪;2011年03期

9 歐其健;徐永書;夏定輝;;地理信息服務(wù)的思考與探究[J];地理空間信息;2011年03期

10 田麗亞;林鴻弟;郭固良;王文杰;滕立生;;湛江市地理信息服務(wù)平臺的開發(fā)建設(shè)[J];黑龍江科技信息;2012年14期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 王海龍;蘇旭明;翁慧慧;;地理信息服務(wù)的思考與探索[A];《測繪通報》測繪科學(xué)前沿技術(shù)論壇摘要集[C];2008年

2 王少一;蘇繡;蔣許鋒;;基于上下文感知的地理信息服務(wù)發(fā)現(xiàn)與匹配技術(shù)研究[A];第十三屆中國科協(xié)年會第12分會場-測繪服務(wù)災(zāi)害與應(yīng)急管理學(xué)術(shù)研討會論文集[C];2011年

3 任福;杜清運;蔡忠亮;;移動計算在地理信息服務(wù)中的應(yīng)用研究[A];認(rèn)識地理過程 關(guān)注人類家園——中國地理學(xué)會2003年學(xué)術(shù)年會文集[C];2003年

4 鄒俊平;陳曉嵐;王金誠;;地理信息服務(wù)共享平臺在大規(guī)模水準(zhǔn)網(wǎng)設(shè)計中的應(yīng)用[A];第十三屆華東六省一市測繪學(xué)會學(xué)術(shù)交流會論文集[C];2011年

5 李飛雪;李滿春;梁健;;網(wǎng)絡(luò)地理信息服務(wù)構(gòu)建研究[A];中國地理信息系統(tǒng)協(xié)會第八屆年會論文集[C];2004年

6 馬潤賡;劉少峰;;基于網(wǎng)絡(luò)的戰(zhàn)場基礎(chǔ)地理信息服務(wù)系統(tǒng)的內(nèi)容和關(guān)鍵技術(shù)[A];中國測繪學(xué)會九屆三次理事會暨2007年“信息化測繪論壇”學(xué)術(shù)年會論文集[C];2007年

7 周旭;劉若梅;;新時期基礎(chǔ)地理信息服務(wù)的特點與對策[A];中國測繪學(xué)會九屆三次理事會暨2007年“信息化測繪論壇”學(xué)術(shù)年會論文集[C];2007年

8 程鋼;杜清運;蔡忠亮;;基于本體的地理信息服務(wù)查詢組件設(shè)計[A];節(jié)能環(huán)保 和諧發(fā)展——2007中國科協(xié)年會論文集（二）[C];2007年

9 鄭茂輝;駱華仁;華民強;劉鵬;郭月容;;基于GIS的防空防災(zāi)綜合信息服務(wù)平臺設(shè)計[A];上海防災(zāi)救災(zāi)研究所20周年慶典會議研究短文集[C];2009年

10 馬衛(wèi)春;楊友長;;“天地圖·安徽”的建設(shè)與應(yīng)用[A];第十四屆華東六省一市測繪學(xué)會學(xué)術(shù)交流會論文集[C];2012年

中國重要報紙全文數(shù)據(jù)庫 前10條

1 彭博;“中國社科綜合地理信息服務(wù)平臺”通過驗收[N];中國社會科學(xué)院報;2009年

2 陳軍　蔣捷 周旭 翟勇 朱武;在線地理信息服務(wù)的技術(shù)需求與發(fā)展方向[N];中國測繪報;2009年

3 記者 王少勇;加快建設(shè)地理信息服務(wù)平臺[N];中國國土資源報;2011年

4 記者 付曉峰;具備條件數(shù)據(jù)必須納入基礎(chǔ)地理信息服務(wù)平臺[N];濟南日報;2011年

5 王芳　張旭;四川省應(yīng)急地理信息服務(wù)平臺通過驗收[N];中國測繪報;2011年

6 盧洪巖;首個英文版城市地理信息服務(wù)平臺開通[N];中國測繪報;2011年

7 中國地理信息系統(tǒng)協(xié)會會長 陳軍;在線地理信息服務(wù)的技術(shù)需求與發(fā)展方向[N];中國測繪報;2009年

8 閆正龍 吳賢宇 胡婷然;陜西江西公眾版地理信息服務(wù)平臺上網(wǎng)運行[N];中國測繪報;2010年

9 張海鵬;重慶成立應(yīng)急救援地理信息服務(wù)隊[N];中國測繪報;2010年

10 本報評論員;做大做強“天地圖”[N];中國測繪報;2011年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 吳功和;分布式地理信息服務(wù)研究與實踐[D];解放軍信息工程大學(xué);2006年

2 劉勇;基于語義的地理信息服務(wù)集成研究[D];山東科技大學(xué);2011年

3 葛文;地理信息服務(wù)發(fā)現(xiàn)方法研究[D];解放軍信息工程大學(xué);2012年

4 李科;網(wǎng)格環(huán)境下地理信息服務(wù)關(guān)鍵技術(shù)研究[D];解放軍信息工程大學(xué);2008年

5 王玉海;地理信息服務(wù)中數(shù)據(jù)傳輸?shù)牟呗匝芯縖D];解放軍信息工程大學(xué);2008年

6 寧安良;面向3G終端的移動地理信息服務(wù)研究[D];中國海洋大學(xué);2010年

7 楊建宇;基于組件的分布式地理信息服務(wù)研究[D];中國科學(xué)院研究生院（遙感應(yīng)用研究所）;2005年

8 李世祥;基于語義的地理信息服務(wù)發(fā)現(xiàn)與組合的關(guān)鍵技術(shù)研究[D];武漢大學(xué);2010年

9 張霞;地理信息服務(wù)組合與空間分析服務(wù)研究[D];武漢大學(xué);2004年

10 承達瑜;空間型熱點會商系統(tǒng)的動態(tài)服務(wù)計算研究[D];中國礦業(yè)大學(xué);2012年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 徐坤;基于空間數(shù)據(jù)框架的地理信息服務(wù)可持續(xù)研究[D];長安大學(xué);2007年

2 劉興萬;基于補償服務(wù)鏈的地理信息服務(wù)聚合技術(shù)研究[D];中國測繪科學(xué)研究院;2010年

3 董雄;地理信息服務(wù)聚合技術(shù)研究[D];電子科技大學(xué);2013年

4 紀(jì)敏;基于精細(xì)化管理的測繪地理信息服務(wù)研究[D];西北農(nóng)林科技大學(xué);2014年

5 陳國華;現(xiàn)代地理信息服務(wù)框架體系研究[D];長安大學(xué);2007年

6 周娜;電子政務(wù)地理信息服務(wù)應(yīng)用模型管理研究[D];中國測繪科學(xué)研究院;2009年

7 張斌;地理信息服務(wù)中空間數(shù)據(jù)調(diào)度策略研究與實現(xiàn)[D];解放軍信息工程大學(xué);2008年

8 焦明;基于地理信息服務(wù)的數(shù)字校園系統(tǒng)設(shè)計與實現(xiàn)[D];蘭州大學(xué);2008年

9 韓敏;基于天地圖的三維公眾服務(wù)系統(tǒng)的設(shè)計與實現(xiàn)[D];西安科技大學(xué);2013年

10 朱建偉;位置信息服務(wù)系統(tǒng)中定位服務(wù)平臺相關(guān)技術(shù)的研究[D];武漢大學(xué);2005年

，

本文編號：749734