發(fā)布時間：2017-08-14 09:09

  本文關(guān)鍵詞：全自動網(wǎng)頁信息采集系統(tǒng)

  更多相關(guān)文章： Heritrix HtmlParser 網(wǎng)絡(luò)爬蟲 信息提取

【摘要】：隨著網(wǎng)絡(luò)時代的快速發(fā)展,用戶對搜索引擎、網(wǎng)頁的內(nèi)容和大數(shù)據(jù)處理等有了更多的要求。從海量的互聯(lián)網(wǎng)信息中選取最符合要求的信息成為了新的熱點(diǎn)�；谝粋�開源的、Java開發(fā)的、可擴(kuò)展的Web爬蟲項目—Heritrix,進(jìn)行擴(kuò)展抓取用戶需要的網(wǎng)頁,深入研究了信息采集技術(shù)。利用Heritrix的可擴(kuò)展性,來實(shí)現(xiàn)用戶的抓取。通過分析Heritrix的工作流程,模塊劃分以及源碼設(shè)計,基于Heritrix擴(kuò)展抽取面向商品信息的網(wǎng)頁,配合Html Parser對網(wǎng)頁內(nèi)容進(jìn)行解析,有效的提取商品關(guān)鍵信息后存入數(shù)據(jù)庫以供檢索。
【作者單位】： 長春理工大學(xué)計算機(jī)科學(xué)技術(shù)學(xué)院;
【關(guān)鍵詞】： Heritrix HtmlParser 網(wǎng)絡(luò)爬蟲 信息提取
【分類號】：TP393.092;TP391.3
【正文快照】： 搜索引擎存在一定的局限性,會導(dǎo)致搜索的結(jié)果不能很好滿足用戶的需求。例如,在一個搜索引擎中,搜索一個信息,互聯(lián)網(wǎng)中會搜到成百上千的相關(guān)鏈接,甚至幾萬個相關(guān)鏈接,其中存在著一些無效和重復(fù)的鏈接,即便是有效的鏈接,數(shù)量也是龐大的。面對這些龐大的數(shù)據(jù),如果通過逐一查看,將

【參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前7條

1 吳偉;陳建峽;;基于Heritrix的web信息抽取優(yōu)化與實(shí)現(xiàn)[J];湖北工業(yè)大學(xué)學(xué)報;2012年02期

2 張汛淶;搜索引擎的設(shè)計剖析[J];計算機(jī)工程與科學(xué);2002年04期

3 潘春華 ,常敏 ,武港山;面向Web的信息收集工具的設(shè)計與開發(fā)[J];計算機(jī)應(yīng)用研究;2002年06期

4 張敏;孫敏;;基于Heritrix限定爬蟲的設(shè)計與實(shí)現(xiàn)[J];計算機(jī)應(yīng)用與軟件;2013年04期

5 劉漢興;劉財興;;主題爬蟲的搜索策略研究[J];計算機(jī)工程與設(shè)計;2008年12期

6 陳俊彬;曹樹金;;基于Heritrix的Web信息抽取[J];圖書情報工作;2009年09期

7 火善棟;;基于網(wǎng)頁結(jié)構(gòu)特征的網(wǎng)頁主要文本信息抽取策略[J];現(xiàn)代計算機(jī)(專業(yè)版);2008年04期

【共引文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 孫素芬;羅長壽;張峻峰;于峰;張樹亮;;農(nóng)業(yè)信息資源整合系統(tǒng)研究與應(yīng)用[J];安徽農(nóng)業(yè)科學(xué);2007年22期

2 師小慶;袁志;王學(xué)成;;基于Web的學(xué)生信息檢索系統(tǒng)設(shè)計[J];才智;2011年34期

3 張福泉;;人工智能在主題搜索策略中的應(yīng)用[J];重慶科技學(xué)院學(xué)報(自然科學(xué)版);2009年04期

4 張麗敏;;垂直搜索引擎的主題爬蟲策略[J];電腦知識與技術(shù);2010年15期

5 唐勇;;網(wǎng)絡(luò)論壇爬蟲的設(shè)計[J];電腦知識與技術(shù);2012年03期

6 卿秀華;;基于Lucene和Heritrix的全文檢索引擎的研究與應(yīng)用[J];電腦知識與技術(shù);2012年13期

7 郭一平;向暉;王亮;;基于Lucene的Ftp搜索引擎的設(shè)計[J];高校圖書情報論壇;2005年04期

8 吳菊英;賈炅昊;馮秀芳;;基于農(nóng)業(yè)領(lǐng)域的網(wǎng)絡(luò)爬蟲[J];電腦開發(fā)與應(yīng)用;2012年08期

9 陶榮;;中文分詞技術(shù)及JE中文分詞器在Nutch中的運(yùn)用與實(shí)現(xiàn)[J];廣西教育;2013年07期

10 鄒偉;劉永學(xué);李滿春;張荷霞;陳映雪;;南海歷史地理爭端空間分布與關(guān)聯(lián)性研究[J];地球信息科學(xué)學(xué)報;2014年02期

中國重要會議論文全文數(shù)據(jù)庫 前4條

1 鄒永斌;陳興蜀;王文賢;;一個高性能Web資源收集系統(tǒng)的設(shè)計與實(shí)現(xiàn)[A];2008'中國信息技術(shù)與應(yīng)用學(xué)術(shù)論壇論文集（二）[C];2008年

2 樸星海;趙鐵軍;鄭德權(quán);張迪;;面向Blog的網(wǎng)絡(luò)爬行器設(shè)計與實(shí)現(xiàn)[A];中文信息處理前沿進(jìn)展——中國中文信息學(xué)會二十五周年學(xué)術(shù)會議論文集[C];2006年

3 徐曉東;郭燕慧;;AppStore應(yīng)用信息自動化采集系統(tǒng)設(shè)計與實(shí)現(xiàn)[A];2013年中國信息通信研究新進(jìn)展論文集[C];2014年

4 徐曉東;郭燕慧;;App Store應(yīng)用信息自動化采集系統(tǒng)設(shè)計與實(shí)現(xiàn)[A];2013年中國信息通信研究新進(jìn)展論文集[C];2014年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前3條

1 杜亞軍;搜索引擎智能行為的研究及實(shí)現(xiàn)[D];西南交通大學(xué);2005年

2 王桂紅;農(nóng)產(chǎn)品市場價格web信息分析方法研究[D];沈陽農(nóng)業(yè)大學(xué);2013年

3 周俊靜;基于激光雷達(dá)的智能車輛目標(biāo)識別與跟蹤關(guān)鍵技術(shù)研究[D];北京工業(yè)大學(xué);2014年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 戴雪梅;面向購物的聚類搜索引擎的研究與實(shí)現(xiàn)[D];北京交通大學(xué);2011年

2 華大年;手機(jī)產(chǎn)品信息垂直搜索引擎系統(tǒng)設(shè)計與開發(fā)[D];武漢理工大學(xué);2011年

3 石京;基于語義本體的垂直搜索引擎模型研究[D];大連海事大學(xué);2011年

4 王小森;基于Solr的搜索引擎的設(shè)計與實(shí)現(xiàn)[D];北京郵電大學(xué);2011年

5 趙思佳;基于規(guī)則引擎的個性化網(wǎng)頁爬蟲研究[D];中南大學(xué);2010年

6 張立;文本搜索引擎的探究與設(shè)計[D];華南理工大學(xué);2011年

7 龔真平;基于web文獻(xiàn)的數(shù)據(jù)挖掘研究應(yīng)用[D];西南交通大學(xué);2011年

8 程明波;全景式搜索引擎關(guān)鍵技術(shù)研究與實(shí)現(xiàn)[D];哈爾濱工業(yè)大學(xué);2010年

9 汪明強(qiáng);基于JAVA+LUCENE+HERITRIX的WEB垂直搜索引擎技術(shù)研究與實(shí)現(xiàn)[D];河北工業(yè)大學(xué);2011年

10 隋玉航;基于WebHarvest的中文財經(jīng)新聞搜索引擎的設(shè)計與實(shí)現(xiàn)[D];華中科技大學(xué);2011年

【二級參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 鄧志鴻,唐世渭,張銘,楊冬青,陳捷;Ontology研究綜述[J];北京大學(xué)學(xué)報(自然科學(xué)版);2002年05期

2 鄭毅,吳斌,史忠植;基于概念空間的文本檢索系統(tǒng)[J];計算機(jī)工程與應(yīng)用;2002年12期

3 李學(xué)勇,歐陽柳波,李國徽,鐘敏娟;網(wǎng)絡(luò)蜘蛛搜索策略比較研究[J];計算機(jī)工程與應(yīng)用;2004年04期

4 趙豐年;劉林;商建云;;基于概念的文本過濾模型[J];計算機(jī)工程與應(yīng)用;2006年04期

5 林海霞;原福永;陳金森;劉俊峰;;一種改進(jìn)的主題網(wǎng)絡(luò)蜘蛛搜索算法[J];計算機(jī)工程與應(yīng)用;2007年10期

6 冀高峰;湯庸;道煒;吳桂賓;黃帆;王鵬;;基于XML的自動學(xué)習(xí)Web信息抽取[J];計算機(jī)科學(xué);2008年03期

7 朱明,王軍,王俊普;基于多層模式的多記錄網(wǎng)頁信息抽取方法[J];計算機(jī)工程;2001年09期

8 汪濤,樊孝忠;主題爬蟲的設(shè)計與實(shí)現(xiàn)[J];計算機(jī)應(yīng)用;2004年S1期

9 周立柱,林玲;聚焦爬蟲技術(shù)研究綜述[J];計算機(jī)應(yīng)用;2005年09期

10 金硯碩;遲呈英;戰(zhàn)學(xué)剛;;一種基于隱馬爾可夫聚類的信息提取方法[J];情報雜志;2008年03期

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 松濤;“吸”盡網(wǎng)絡(luò)中有用的網(wǎng)頁信息[J];電腦知識與技術(shù);2004年13期

2 朱精南,趙明生;網(wǎng)頁版面信息分析[J];計算機(jī)工程;2004年12期

3 梁邦勇,李涓子,王克宏;基于語義Web的網(wǎng)頁推薦模型[J];清華大學(xué)學(xué)報(自然科學(xué)版);2004年09期

4 王海燕;張正凱;任建浩;;從審美角度淺談網(wǎng)頁藝術(shù)設(shè)計[J];中國電化教育;2004年09期

5 賈海龍,任玉珍;網(wǎng)頁藝術(shù)設(shè)計[J];新鄉(xiāng)師范高等�？茖W(xué)校學(xué)報;2005年05期

6 劉肖冰;淺談網(wǎng)頁藝術(shù)設(shè)計[J];安陽師范學(xué)院學(xué)報;2005年05期

7 孫迎春;;網(wǎng)頁設(shè)計研究[J];南平師專學(xué)報;2005年03期

8 文濤;網(wǎng)頁的視覺傳達(dá)設(shè)計與分析[J];沈陽教育學(xué)院學(xué)報;2005年01期

9 宋春暉;網(wǎng)頁設(shè)計中的美學(xué)應(yīng)用分析[J];海南師范學(xué)院學(xué)報(自然科學(xué)版);2005年01期

10 張秀虎;;淺談網(wǎng)頁的訪問權(quán)限[J];教育信息化;2005年17期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 吳建軍;;談網(wǎng)頁設(shè)計的藝術(shù)性表現(xiàn)[A];經(jīng)天緯地——全國測繪科技信息網(wǎng)中南分網(wǎng)第十九次學(xué)術(shù)交流會優(yōu)秀論文選編[C];2005年

2 韓近強(qiáng);趙靜;楊冬青;唐世渭;姚小波;;基于領(lǐng)域知識的網(wǎng)頁篩選系統(tǒng)[A];第十九屆全國數(shù)據(jù)庫學(xué)術(shù)會議論文集（技術(shù)報告篇）[C];2002年

3 昝紅英;蘇玉梅;孫斌;俞士汶;;基于淺層分析的網(wǎng)頁相關(guān)度研究[A];語言計算與基于內(nèi)容的文本處理——全國第七屆計算語言學(xué)聯(lián)合學(xué)術(shù)會議論文集[C];2003年

4 孫靜;劉正捷;奚小玲;王慧;;幫助盲人理解網(wǎng)頁信息的一種網(wǎng)頁結(jié)構(gòu)劃分方法[A];第一屆建立和諧人機(jī)環(huán)境聯(lián)合學(xué)術(shù)會議（HHME2005）論文集[C];2005年

5 曹淮;晁丁丁;;3D元素在網(wǎng)頁信息傳達(dá)中的應(yīng)用研究[A];2006年中國機(jī)械工程學(xué)會年會暨中國工程院機(jī)械與運(yùn)載工程學(xué)部首屆年會論文集[C];2006年

6 唐超;劉辰;楊正球;;使用多層迭代分析和分類網(wǎng)頁文檔的方法[A];2007北京地區(qū)高校研究生學(xué)術(shù)交流會通信與信息技術(shù)會議論文集（上冊）[C];2008年

7 馬驍;王曉龍;王軒;卜永忠;;基于網(wǎng)頁信息結(jié)構(gòu)的網(wǎng)頁體裁聚類分析[A];第四屆全國信息檢索與內(nèi)容安全學(xué)術(shù)會議論文集（上）[C];2008年

8 羅陽;季鐸;張桂平;王瑩瑩;;面向單一網(wǎng)頁的雙語資源挖掘方法[A];第六屆全國信息檢索學(xué)術(shù)會議論文集[C];2010年

9 于滿泉;譚松波;許洪波;;網(wǎng)頁內(nèi)部結(jié)構(gòu)挖掘技術(shù)研究[A];NCIRCS2004第一屆全國信息檢索與內(nèi)容安全學(xué)術(shù)會議論文集[C];2004年

10 王宇;黃煒;肖艷芹;任建立;李天柱;;ORBASE用于基于內(nèi)容的Web查詢[A];第十七屆全國數(shù)據(jù)庫學(xué)術(shù)會議論文集（技術(shù)報告篇）[C];2000年

中國重要報紙全文數(shù)據(jù)庫 前10條

1 本報記者 曾居仁　通訊員 郝金榮;貴州“萬村千鄉(xiāng)”網(wǎng)頁工程開辟為農(nóng)服務(wù)新渠道[N];中國氣象報;2012年

2 壯壯;批量保存網(wǎng)頁信息[N];電腦報;2004年

3 羅震宇　嚴(yán)小斌;一種新型WEB開發(fā)技術(shù)的探討[N];中國冶金報;2011年

4 錢鵬;網(wǎng)盡Web頁中的好東東[N];電腦報;2004年

5 星之海洋;邁出網(wǎng)頁制作的第一步[N];電腦報;2004年

6 河南 張金貴;FrontPage2000組件詳解（四）[N];電腦報;2001年

7 楓爾;網(wǎng)站瀏覽提速的五大秘方[N];中國證券報;2004年

8 飄零劍客;網(wǎng)絡(luò)監(jiān)控利器——AnyView[N];中國電腦教育報;2004年

9 八戒;眨眼之間 答案立現(xiàn)[N];電腦報;2013年

10 ;網(wǎng)絡(luò)應(yīng)用 天龍八“步” 申請上網(wǎng)賬號[N];電腦報;2002年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 陳潔;基于概念融合的網(wǎng)頁篩選技術(shù)研究[D];北京郵電大學(xué);2013年

2 龔昌盛;基于語義標(biāo)注的網(wǎng)頁廣告加載模型研究[D];武漢大學(xué);2010年

3 孫建濤;Web挖掘中的降維和分類方法研究[D];清華大學(xué);2005年

4 黃華軍;網(wǎng)頁信息隱藏與隱秘信息檢測研究[D];湖南大學(xué);2007年

5 徐晴陽;基于關(guān)系子群發(fā)現(xiàn)算法的聚焦爬行技術(shù)[D];吉林大學(xué);2008年

6 曹魯慧;Web個人信息集成問題研究[D];山東大學(xué);2012年

7 劉馨月;Web挖掘中的鏈接分析與話題檢測研究[D];大連理工大學(xué);2012年

8 羅娜;基于本體的主題爬行技術(shù)研究[D];吉林大學(xué);2009年

9 張勇實(shí);基于鏈接相似性分析的WEB結(jié)構(gòu)挖掘方法研究[D];哈爾濱工程大學(xué);2012年

10 宗校軍;中文網(wǎng)頁定題采集及分類研究[D];華中科技大學(xué);2006年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 高文梁;改進(jìn)的基于歷史信息分析的網(wǎng)頁排序算法[D];大連理工大學(xué);2009年

2 劉輝;網(wǎng)頁信息過濾系統(tǒng)的研究與設(shè)計[D];蘇州大學(xué);2009年

3 趙胤;海量網(wǎng)頁搜集系統(tǒng)的設(shè)計[D];東北大學(xué)　;2009年

4 羅永蓮;突發(fā)事件語料噪聲排除與網(wǎng)頁去重方法研究[D];山西大學(xué);2005年

5 黃永光;基于網(wǎng)頁挖掘的搜索引擎若干技術(shù)的研究[D];哈爾濱工業(yè)大學(xué);2006年

6 張超群;基于網(wǎng)頁分塊技術(shù)的主題爬行[D];吉林大學(xué);2007年

7 張雅潔;網(wǎng)頁視覺基礎(chǔ)設(shè)計與應(yīng)用研究[D];東北師范大學(xué);2007年

8 黃文蓓;基于網(wǎng)頁分割和摘要的小屏幕設(shè)備網(wǎng)頁自適應(yīng)技術(shù)研究與實(shí)現(xiàn)[D];華東師范大學(xué);2008年

9 劉華暉;需求概念圖導(dǎo)引下的網(wǎng)頁檢索結(jié)果分析[D];上海交通大學(xué);2011年

10 程歡;網(wǎng)頁中動態(tài)色彩及其情感可視化研究[D];哈爾濱工業(yè)大學(xué);2011年

，

本文編號：671859