發(fā)布時間：2017-10-04 15:01

  本文關(guān)鍵詞：行業(yè)動態(tài)信息采集系統(tǒng)關(guān)鍵問題解決方案

  更多相關(guān)文章： Heritrix和Lucene 信息爬取 網(wǎng)頁清洗 全文檢索

【摘要】：為了解決行業(yè)動態(tài)信息采集系統(tǒng)中網(wǎng)頁定向爬取、網(wǎng)頁清洗、信息檢索等關(guān)鍵問題,文章提出一套基于Heritrix、Jsoup和Lucene的解決方案,并以測繪地理動態(tài)信息系統(tǒng)為例進(jìn)行驗證,結(jié)果證明該方法能夠較好完成測繪地理信息的定向爬取,實現(xiàn)對不同風(fēng)格網(wǎng)站網(wǎng)頁的清洗,并建立索引提供信息檢索機制,給測繪行業(yè)人士提供準(zhǔn)確可靠的信息服務(wù),為相關(guān)研究提供參考。
【作者單位】： 長江大學(xué)地球科學(xué)學(xué)院;
【關(guān)鍵詞】： Heritrix和Lucene 信息爬取 網(wǎng)頁清洗 全文檢索
【基金】：國土資源部項目(2014Z1317)
【分類號】：TP391.3;P208
【正文快照】： 0引言專業(yè)動態(tài)信息的瀏覽是掌握行業(yè)最新動態(tài)的必要手段。但行業(yè)網(wǎng)站的紛繁復(fù)雜和網(wǎng)上信息的良莠不齊使得人們?yōu)g覽信息的效率大打折扣,建立一個行業(yè)動態(tài)信息采集系統(tǒng),抓取準(zhǔn)確可靠的行業(yè)信息給業(yè)內(nèi)人士提供信息服務(wù)是諸多行業(yè)的所面臨的共同需求。這個系統(tǒng)的實現(xiàn)必須解決以下3

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 和琨;;電力用電信息采集系統(tǒng)的應(yīng)用分析[J];民營科技;2011年06期

2 鄭凱津;;智能化的信息采集系統(tǒng)的研究實踐分析[J];黑龍江科技信息;2013年08期

3 陳健;;智能化的信息采集系統(tǒng)的研究實踐分析[J];黑龍江科技信息;2013年12期

4 梁朝暉;;用電信息采集系統(tǒng)簡述[J];山西科技;2013年05期

5 羅榮艷;;企業(yè)用戶電能信息采集系統(tǒng)設(shè)計及其實現(xiàn)分析[J];科技風(fēng);2012年23期

6 禹志輝;;智能電網(wǎng)下的用電信息采集系統(tǒng)[J];黑龍江科技信息;2013年21期

7 史鵬斌;;用電信息采集系統(tǒng)的演變與建設(shè)現(xiàn)狀[J];山西科技;2013年05期

8 買買提,米爾夏提,鄧緒斌;對機讀卡民文信息采集系統(tǒng)的探討[J];新疆大學(xué)學(xué)報(自然科學(xué)版);1998年03期

9 韓冬;;電力用戶用電信息采集系統(tǒng)通信技術(shù)分析[J];科技致富向?qū)?2013年18期

10 陶礦之;;論電力用戶用電信息采集系統(tǒng)費控功能的實現(xiàn)[J];廣東科技;2013年02期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 ;用電信息采集系統(tǒng)的規(guī)劃與建設(shè)[A];2011年安徽省智能電網(wǎng)技術(shù)論壇論文集[C];2011年

2 劉利成;梁后樂;任民;;提高電力用戶用電信息采集系統(tǒng)采集成功率的措施[A];第二十屆華東六省一市電機工程（電力）學(xué)會輸配電技術(shù)討論會論文集[C];2012年

3 夏澤舉;;用電信息采集系統(tǒng)實用化關(guān)鍵問題及探討[A];2011年安徽省智能電網(wǎng)技術(shù)論壇論文集[C];2011年

4 程德山;劉梁寶;李浩;;六安市區(qū)用電信息采集系統(tǒng)的通信組網(wǎng)技術(shù)研究[A];2011年安徽省智能電網(wǎng)技術(shù)論壇論文集[C];2011年

5 王洪元;;用電信息采集系統(tǒng)建設(shè)模式探討[A];山東電機工程學(xué)會2012年度學(xué)術(shù)年會論文集[C];2012年

6 劉繼彥;宋燕霞;趙建文;;關(guān)于用電信息采集系統(tǒng)數(shù)據(jù)移植工作的討論[A];山東電機工程學(xué)會2012年度學(xué)術(shù)年會論文集[C];2012年

7 劉利成;;電力用戶用電信息采集系統(tǒng)網(wǎng)絡(luò)規(guī)劃研究[A];2012電力行業(yè)信息化年會論文集[C];2012年

8 趙琦;溫宏愿;周木春;陳延如;;一種用于光輻射多頻道信息采集系統(tǒng)的設(shè)計[A];第三屆全國虛擬儀器大會論文集[C];2008年

9 張德玉;高福亭;;組織實施圖像信息采集系統(tǒng)建設(shè)工作中存在的問題和對策研究[A];北京市高教學(xué)會保衛(wèi)學(xué)研究會第十屆學(xué)術(shù)年會論文選集[C];2007年

10 黃興;顧軍;李靖;王獻(xiàn)偉;吳致真;楊潤全;戴磊;;基于Web的安全生產(chǎn)信息采集系統(tǒng)的設(shè)計[A];第十二屆全國煤礦自動化學(xué)術(shù)年會論文專輯[C];2002年

中國重要報紙全文數(shù)據(jù)庫 前10條

1 馬旭升;青海公司啟動用電信息采集系統(tǒng)建設(shè)[N];國家電網(wǎng)報;2010年

2 通訊員 丁罕　王濤;無錫地區(qū)用電信息采集系統(tǒng)建設(shè)起步[N];中國電力報;2010年

3 林平;河南公司高質(zhì)量建設(shè)用電信息采集系統(tǒng)[N];國家電網(wǎng)報;2010年

4 潘新興　劉群 朱蕭軼;浙江武原鎮(zhèn)投運用電信息采集系統(tǒng)[N];國家電網(wǎng)報;2010年

5 李雪;四平公司用電信息采集系統(tǒng)“全覆蓋”[N];東北電力報;2011年

6 記者 管亞東　通訊員 尹蕭 高坦;首個自助信息采集系統(tǒng) 昨在羅湖啟用[N];深圳商報;2011年

7 記者 沈雪梅邋實習(xí)生 陳艷;外來人口信息采集系統(tǒng)全面啟動[N];南通日報;2008年

8 記者 朱海斌;新人口與計生信息采集系統(tǒng)啟動[N];吐魯番報(漢);2009年

9 馬旭升　薛曉慧;青海公司完成全年用電信息采集系統(tǒng)建設(shè)[N];國家電網(wǎng)報;2010年

10 董萍;吐魯番電業(yè)局加快信息采集系統(tǒng)建設(shè)[N];國家電網(wǎng)報;2012年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前2條

1 葉濤;精準(zhǔn)農(nóng)業(yè)的農(nóng)田信息采集系統(tǒng)研究與開發(fā)[D];中國農(nóng)業(yè)科學(xué)院;2006年

2 方慧;基于掌上電腦的農(nóng)田信息采集系統(tǒng)的研究[D];浙江大學(xué);2003年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 郭玉波;基于WSN的農(nóng)田環(huán)境信息采集系統(tǒng)的研究與設(shè)計[D];內(nèi)蒙古大學(xué);2015年

2 岳虎;用電信息采集系統(tǒng)的建設(shè)應(yīng)用與研究[D];燕山大學(xué);2015年

3 馬銘;基于主題的互聯(lián)網(wǎng)稅源信息采集系統(tǒng)研究[D];財政部財政科學(xué)研究所;2015年

4 郭振;基于車聯(lián)網(wǎng)的車輛信息采集系統(tǒng)的設(shè)計與研究[D];長安大學(xué);2015年

5 郭琳琳;河南用電信息懫集系統(tǒng)的升級改造設(shè)計與實現(xiàn)[D];鄭州大學(xué);2015年

6 張海峰;基于物聯(lián)網(wǎng)的健康與運動信息采集系統(tǒng)的實現(xiàn)[D];華中師范大學(xué);2015年

7 徐清風(fēng);基于Android平臺的現(xiàn)場信息采集系統(tǒng)設(shè)計與實現(xiàn)[D];上海交通大學(xué);2015年

8 楊寧;浙江電力用電信息采集系統(tǒng)的技術(shù)研究與深化應(yīng)用[D];華北電力大學(xué);2015年

9 徐連杰;電力用戶用電信息采集系統(tǒng)建設(shè)研究[D];華北電力大學(xué);2015年

10 孔姍;面向農(nóng)地確權(quán)的內(nèi)外業(yè)一體化信息采集系統(tǒng)設(shè)計與實現(xiàn)[D];中國礦業(yè)大學(xué);2015年

，

本文編號：971275