本文選題：主題爬蟲　切入點：遺傳算法　出處：《計算機(jī)應(yīng)用》2007年S2期 　論文類型：期刊論文

【摘要】：針對目前主題搜索策略的不足,通過改進(jìn)遺傳算子提出了一種新的主題爬蟲策略,即通過變異操作引入新的URL擴(kuò)大搜索范圍;通過交叉操作產(chǎn)生大量的URL;通過選擇操作選出適應(yīng)度高的個體作為下一代的種子。實驗結(jié)果表明,基于遺傳算法的主體搜索策略GA與BFS和OPS相比,爬蟲策略取網(wǎng)頁中的主體相關(guān)網(wǎng)頁數(shù)量多,在合理選擇種子集合時,能抓取大量的主體相關(guān)度高的網(wǎng)頁。
[Abstract]:Aiming at the deficiency of the current topic search strategy, this paper proposes a new topic crawler strategy by improving the genetic operator, that is, introducing a new URL to expand the search range through mutation operation. A large number of URLs are generated by crossover operations, and individuals with high fitness are selected as seeds of the next generation. The experimental results show that GA, the agent search strategy based on genetic algorithm, is compared with BFS and OPS. The crawler strategy has a large number of web pages related to the subject, which can grab a large number of web pages with high correlation when the seed set is selected reasonably.
【作者單位】： 中國農(nóng)業(yè)大學(xué)信息與電氣工程學(xué)院 中國農(nóng)業(yè)大學(xué)信息與電氣工程學(xué)院 北京市農(nóng)林科學(xué)院農(nóng)業(yè)科技信息研究所
【基金】：北京市自然科學(xué)基金(4062013)
【分類號】：TP18

【參考文獻(xiàn)】

相關(guān)期刊論文 前2條

1 曾春,邢春曉,周立柱;基于內(nèi)容過濾的個性化搜索算法[J];軟件學(xué)報;2003年05期

2 吳安清;張穎江;涂軍;;主題搜索ROBOT綜合爬行策略的研究[J];武漢理工大學(xué)學(xué)報;2006年02期

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 姚克娟,李晉宏;應(yīng)用Agent技術(shù)實現(xiàn)個性化信息服務(wù)[J];北方工業(yè)大學(xué)學(xué)報;2004年03期

2 高磊;徐東平;;啟發(fā)式算法在搜索引擎的應(yīng)用[J];電腦知識與技術(shù)(學(xué)術(shù)交流);2007年02期

3 李彥剛;魏海平;侯興華;;基于HTMLParser的Web信息抽取系統(tǒng)的設(shè)計與實現(xiàn)[J];遼寧石油化工大學(xué)學(xué)報;2006年02期

4 陳基漓;基于數(shù)據(jù)立方體的用戶興趣模型[J];桂林工學(xué)院學(xué)報;2005年01期

5 高鳳榮;邢春曉;杜小勇;王珊;;基于矩陣聚類的協(xié)作過濾算法[J];華中科技大學(xué)學(xué)報(自然科學(xué)版);2005年S1期

6 宗校軍;沈軼;廖曉昕;;定題Web信息采集中的元數(shù)據(jù)處理[J];華中科技大學(xué)學(xué)報(自然科學(xué)版);2006年10期

7 原福永,楊桂芝,程玉良;基于Agent的個性化信息服務(wù)系統(tǒng)的開發(fā)與設(shè)計[J];計算機(jī)工程與應(yīng)用;2004年33期

8 邱科寧,郭清順,張小波;基于Agent的個性化分類郵件系統(tǒng)研究[J];計算機(jī)工程與應(yīng)用;2005年07期

9 張輝,吳輝;用戶協(xié)作式智能搜索模型的研究[J];計算機(jī)工程與應(yīng)用;2005年11期

10 唐燦;朱征宇;;基于模糊興趣模型的個性化推薦算法[J];計算機(jī)工程與應(yīng)用;2006年09期

相關(guān)會議論文 前1條

1 周曉濱;;基于WEB的遠(yuǎn)程教育中搜索的研究與實現(xiàn)[A];全國第16屆計算機(jī)科學(xué)與技術(shù)應(yīng)用（CACIS）學(xué)術(shù)會議論文集[C];2004年

相關(guān)博士學(xué)位論文 前8條

1 張曉剛;面向軟件過程改進(jìn)的知識管理技術(shù)研究[D];中國科學(xué)院研究生院（軟件研究所）;2004年

2 張樹人;從社會性軟件、Web2.0到復(fù)雜適應(yīng)信息系統(tǒng)研究[D];中國人民大學(xué);2006年

3 張丙奇;個性化需求的描述、獲取與推斷—案例研究[D];中國科學(xué)院研究生院（計算技術(shù)研究所）;2005年

4 趙鵬;復(fù)雜網(wǎng)絡(luò)與互聯(lián)網(wǎng)個性化信息服務(wù)的研究[D];中國科學(xué)技術(shù)大學(xué);2006年

5 周斌;面向公眾服務(wù)的電子政務(wù)研究[D];同濟(jì)大學(xué);2007年

6 張磊;基于本體的主動式知識系統(tǒng)及其若干關(guān)鍵技術(shù)研究[D];南京航空航天大學(xué);2006年

7 董寶力;Web制造資源的語義發(fā)現(xiàn)關(guān)鍵技術(shù)研究[D];浙江大學(xué);2007年

8 臧鋮;個性化搜索中隱私保護(hù)的關(guān)鍵問題研究[D];浙江大學(xué);2008年

相關(guān)碩士學(xué)位論文 前10條

1 張砦;現(xiàn)代電子技術(shù)網(wǎng)絡(luò)集成教學(xué)系統(tǒng)研究與實現(xiàn)[D];南京航空航天大學(xué);2004年

2 郝彥彬;基于agent的信息融合與信息過濾機(jī)制的研究與實現(xiàn)[D];西北工業(yè)大學(xué);2003年

3 檀林;模糊知識處理在中文文本自動分類中的應(yīng)用研究[D];山西大學(xué);2004年

4 李東艷;互聯(lián)網(wǎng)信息內(nèi)容安全過濾方法研究[D];山西大學(xué);2004年

5 劉建國;教學(xué)資源個性化服務(wù)模型及實現(xiàn)技術(shù)研究[D];西南師范大學(xué);2004年

6 陳晉川;基于CoP建模的信息過濾技術(shù)研究[D];中國科學(xué)院研究生院（軟件研究所）;2004年

7 許彥彬;基于Java技術(shù)的生物資源專業(yè)搜索引擎的研究與開發(fā)[D];昆明理工大學(xué);2004年

8 賴靜;非法互聯(lián)網(wǎng)網(wǎng)站及服務(wù)實時監(jiān)管取證系統(tǒng)[D];四川大學(xué);2004年

9 王斐;基于增量反饋和自適應(yīng)機(jī)制的主題爬蟲系統(tǒng)的設(shè)計與實現(xiàn)[D];南京理工大學(xué);2005年

10 歐歌;專題式Web信息獲取技術(shù)研究[D];北京化工大學(xué);2005年

【二級參考文獻(xiàn)】

相關(guān)期刊論文 前1條

1 曾春,邢春曉,周立柱;基于內(nèi)容過濾的個性化搜索算法[J];軟件學(xué)報;2003年05期

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 吳軼華;集成學(xué)習(xí)[J];計算機(jī)研究與發(fā)展;1991年09期

2 洪家榮;;機(jī)器學(xué)習(xí)——回顧與展望[J];計算機(jī)科學(xué);1991年02期

3 雷鳴,楊叔子,吳雅;遺傳搜索優(yōu)化算法[J];華中科技大學(xué)學(xué)報(自然科學(xué)版);1992年S1期

4 尚奕;唐志敏;;一種用于求解TSP問題的遺傳交換操作[J];計算機(jī)研究與發(fā)展;1992年09期

5 羊國光;用于衍射光學(xué)元件優(yōu)化設(shè)計的遺傳算法及其與模擬退火算法的比較[J];光學(xué)學(xué)報;1993年07期

6 方建安,邵世煌;采用遺傳算法學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)控制器[J];控制與決策;1993年03期

7 劉曉;競賽算法:隨機(jī)尋優(yōu)的一種新途徑[J];微電子學(xué)與計算機(jī);1993年12期

8 顏廷虎;鐘秉林;黃仁;;一種基于基因遺傳算法的診斷問題求解方法[J];東南大學(xué)學(xué)報(自然科學(xué)版);1993年05期

9 劉曉;;遺傳算法[J];航空計算技術(shù);1993年04期

10 劉曉;;模擬進(jìn)化[J];航空計算技術(shù);1993年04期

相關(guān)會議論文 前10條

1 石耀霖;MarceloAssumpcao;;巴西構(gòu)造應(yīng)力場的遺傳算法——有限單元法反演[A];1999年中國地球物理學(xué)會年刊——中國地球物理學(xué)會第十五屆年會論文集[C];1999年

2 汪洋;;應(yīng)用小波多尺度分解與遺傳算法聯(lián)合進(jìn)行勢場反演[A];1999年中國地球物理學(xué)會年刊——中國地球物理學(xué)會第十五屆年會論文集[C];1999年

3 葛芳;李志恒;關(guān)偉;;遺傳算法在班車行程問題中的應(yīng)用[A];全國青年管理科學(xué)與系統(tǒng)科學(xué)論文集第5卷[C];1999年

4 祝明光;李南;;用遺傳算法優(yōu)化雙目標(biāo)Job-shop作業(yè)計劃問題[A];全國青年管理科學(xué)與系統(tǒng)科學(xué)論文集第5卷[C];1999年

5 朱爍;趙道致;;裝配線平衡設(shè)計中節(jié)拍優(yōu)化的遺傳算法[A];全國青年管理科學(xué)與系統(tǒng)科學(xué)論文集第5卷[C];1999年

6 徐博藝;劉剛;李敏強(qiáng);;遺傳算法在非線性優(yōu)化問題中的應(yīng)用[A];復(fù)雜巨系統(tǒng)理論·方法·應(yīng)用——中國系統(tǒng)工程學(xué)會第八屆學(xué)術(shù)年會論文集[C];1994年

7 王眾托;孫艷豐;;遺傳算法用于0-1規(guī)劃的新途徑[A];復(fù)雜巨系統(tǒng)理論·方法·應(yīng)用——中國系統(tǒng)工程學(xué)會第八屆學(xué)術(shù)年會論文集[C];1994年

8 劉昶;涂凍生;;用遺傳算法解生產(chǎn)線存儲器配置問題[A];復(fù)雜巨系統(tǒng)理論·方法·應(yīng)用——中國系統(tǒng)工程學(xué)會第八屆學(xué)術(shù)年會論文集[C];1994年

9 李大偉;戴建設(shè);李敉安;;遺傳算法及其在神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法中的應(yīng)用[A];復(fù)雜巨系統(tǒng)理論·方法·應(yīng)用——中國系統(tǒng)工程學(xué)會第八屆學(xué)術(shù)年會論文集[C];1994年

10 王彤;劉相華;王國棟;鄒天來;李洪斌;;改進(jìn)的快速付立葉變換及其應(yīng)用[A];1999中國鋼鐵年會論文集（下）[C];1999年

相關(guān)重要報紙文章 前10條

1 高瀾慶;礦山企盼智能化[N];中國礦業(yè)報;2000年

2 記者 彭德建 通訊員 趙如江;全球智能控制與自動化大會召開[N];科學(xué)時報;2000年

3 郭明波;來自蝙蝠的啟發(fā)[N];北京科技報;2001年

4 特約記者 包國俊;我軍“神鷹一號”空戰(zhàn)智能仿真系統(tǒng)通過技術(shù)鑒定[N];光明日報;2001年

5 易必特;數(shù)據(jù)倉庫與電信行業(yè)決策支持（上）[N];人民郵電;2001年

6 程愛娟;旅行推銷員問題（TSP）的人工智能解法及其應(yīng)用[N];新疆科技報(漢);2001年

7 林京;《神經(jīng)網(wǎng)絡(luò)和遺傳算法在水科學(xué)領(lǐng)域的應(yīng)用》將面市[N];中國水利報;2002年

8 本報記者 溫新紅;霍蘭：尋找隱在秩序[N];科學(xué)時報;2002年

9 秋云;科學(xué)社進(jìn)入財經(jīng)出版領(lǐng)域[N];中國圖書商報;2002年

10 包家慶;IDS五大發(fā)展趨勢[N];網(wǎng)絡(luò)世界;2002年

相關(guān)博士學(xué)位論文 前10條

1 侯格賢;遺傳算法及其在跟蹤系統(tǒng)中的應(yīng)用研究[D];西安電子科技大學(xué);1998年

2 馬國田;遺傳算法及其在電磁工程中的應(yīng)用[D];西安電子科技大學(xué);1998年

3 李海民;遺傳算法性能及其在聚類分析中應(yīng)用的研究[D];西安電子科技大學(xué);1999年

4 趙天緒;集成電路缺陷分布模型和容錯技術(shù)研究[D];西安電子科技大學(xué);1999年

5 李紅艷;圖像低信噪比小目標(biāo)檢測與跟蹤算法研究[D];西安電子科技大學(xué);2000年

6 姚紀(jì)歡;粗糙海面的電磁散射研究[D];西安電子科技大學(xué);2000年

7 劉瑩;計算機(jī)網(wǎng)絡(luò)中的多播路由算法[D];西安電子科技大學(xué);2000年

8 黃輝先;城市交通信號優(yōu)化控制方法的研究[D];西北工業(yè)大學(xué);2000年

9 曲建嶺;人工嗅覺系統(tǒng)中的信息處理技術(shù)[D];西北工業(yè)大學(xué);2000年

10 施群;分布化與智能技術(shù)在制造系統(tǒng)中的應(yīng)用研究[D];西北工業(yè)大學(xué);2000年

相關(guān)碩士學(xué)位論文 前10條

1 曾珞亞;模糊神經(jīng)網(wǎng)絡(luò)的應(yīng)用與研究[D];廣西師范大學(xué);2000年

2 高紅梅;一類復(fù)雜圖象目標(biāo)識別研究及智能化方法的應(yīng)用[D];西安理工大學(xué);2000年

3 徐前鋒;多模型優(yōu)化模糊控制算法的應(yīng)用研究[D];西安理工大學(xué);2000年

4 潘偉;計算機(jī)視覺在農(nóng)產(chǎn)品自動檢測與分級中的研究——番茄的自動檢測與分級[D];東北農(nóng)業(yè)大學(xué);2000年

5 陳浩;小衛(wèi)星軟件測試的系統(tǒng)設(shè)計[D];中國科學(xué)院上海冶金研究所;2000年

6 韓乾國;模糊控制技術(shù)在綠色食品保鮮方面的應(yīng)用研究[D];電子科技大學(xué);2000年

7 高建英;基于遺傳算法設(shè)計模糊RBF神經(jīng)網(wǎng)絡(luò)控制器[D];大連理工大學(xué);2000年

8 孫宏濤;智能控制及其工程應(yīng)用[D];北京工業(yè)大學(xué);2000年

9 徐璐;改進(jìn)遺傳算法（IGA）及其在圖像處理中的應(yīng)用[D];北京工業(yè)大學(xué);2000年

10 周凱汀;基于遺傳算法的最優(yōu)化控制研究[D];華僑大學(xué);2000年

，

本文編號：1638631