本文關(guān)鍵詞：多Agent主題爬蟲協(xié)作策略的研究與分析

  更多相關(guān)文章： 信息獲取 主題爬蟲 概念背景圖 協(xié)作與競爭

【摘要】：在多個Web主題爬蟲并行爬行中,如何避免重復(fù)訪問網(wǎng)頁并高效地獲取與主題相關(guān)網(wǎng)頁,成為搜索引擎主題爬行的熱點研究內(nèi)容之一。為完成系統(tǒng)爬行任務(wù)充分發(fā)揮每個爬蟲自身能力,文章立足于每個爬蟲相對獨立爬行、共同協(xié)作、彼此競爭的思想,將爬蟲的歷史爬行網(wǎng)頁作為背景知識,分析這些網(wǎng)頁文本內(nèi)容,提取網(wǎng)頁中"概念"和概念間的語義關(guān)系,探討不同爬蟲背景知識之間的語義相似性,提出基于分層概念背景圖的爬蟲之間理解方法、協(xié)作和競爭策略。該策略包括4個方面的內(nèi)容:主題爬蟲背景知識的分層概念背景圖的表示模型、基于分層概念背景圖的爬蟲語義理解方法、在語義理解模型下同組多個網(wǎng)絡(luò)爬蟲之間協(xié)作與競爭機制及實現(xiàn)、在語義理解模型下異組多個爬蟲之間協(xié)作與競爭機制及實現(xiàn)。
【作者單位】： 西華大學數(shù)學與計算機學院;
【關(guān)鍵詞】： 信息獲取 主題爬蟲 概念背景圖 協(xié)作與競爭
【基金】：國家自然科學基金(60872089,61271413)
【分類號】：TP391.3
【正文快照】： 0背景網(wǎng)絡(luò)爬蟲的發(fā)展經(jīng)歷了3個階段:獨立爬蟲→集中爬蟲→分布式爬蟲。無論是通用搜索引擎爬蟲還是主題搜索引擎爬蟲,分布式體系結(jié)構(gòu)的并行爬蟲都是提高網(wǎng)頁獲取速度的重要因素�；贗n-ternet的分布式爬蟲的優(yōu)點在于其多點接入總帶寬較高、對Internet負載較小、容易實現(xiàn)就近

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 袁津生;郭艷芬;;林業(yè)主題爬蟲的算法研究與設(shè)計[J];計算機工程與設(shè)計;2011年06期

2 黃軒;;辛亥革命史主題爬蟲的設(shè)計與實現(xiàn)[J];電腦知識與技術(shù);2011年13期

3 黃大衛(wèi);黃琰;張良勇;劉黎煊;;縣級兩要素資料應(yīng)用程序開發(fā)[J];貴州氣象;2011年04期

4 焦李成;楊淑媛;劉芳;侯彪;;壓縮感知回顧與展望[J];電子學報;2011年07期

5 陳堯妃;;ADOX在SQL Server數(shù)據(jù)庫技能測評中的應(yīng)用[J];計算機系統(tǒng)應(yīng)用;2011年06期

6 農(nóng)國明;于鉞;楊國錚;孫衛(wèi)東;;衛(wèi)星海洋觀測信息在海域監(jiān)視偵察中的應(yīng)用[J];艦船科學技術(shù);2011年S1期

7 岳善勇;張玉波;;物聯(lián)網(wǎng):實現(xiàn)美好愿景先要迎接挑戰(zhàn)——訪中國物品編碼中心主任 張成海[J];中國自動識別技術(shù);2010年01期

8 傅一恭;;國際業(yè)務(wù)發(fā)展中的信息化建設(shè)[J];信息化建設(shè);2011年07期

9 顏晶晶;;帶約束本體語義擴展的信息過濾算法[J];計算機應(yīng)用;2011年07期

10 方彬;胡俠;王燦;;基于用戶行為的盲人圖書推薦方法[J];計算機工程;2011年15期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 劉卉;張漫;;無線傳感器網(wǎng)絡(luò)技術(shù)在農(nóng)業(yè)中應(yīng)用[A];2007年中國農(nóng)業(yè)工程學會學術(shù)年會論文摘要集[C];2007年

2 王紀華;趙春江;劉良云;鄭文剛;王秀;黃文江;;基于數(shù)字技術(shù)的農(nóng)田信息快速獲取與表達[A];中國數(shù)字農(nóng)業(yè)與農(nóng)村信息化學術(shù)研究研討會論文集[C];2005年

3 郭達志;;天地一體化數(shù)字影像地理空間信息的獲取與更新[A];煤炭資源高效綠色開采與數(shù)字礦山學術(shù)討論會論文集[C];2005年

4 蘇貴洋;王永成;馬穎華;;信息自動獲取的結(jié)構(gòu)模型[A];第一屆學生計算語言學研討會論文集[C];2002年

5 羅蓓蓓;邢鎮(zhèn)容;;計算機集成制造管理系統(tǒng)中信息的獲取與分析設(shè)計框架[A];先進制造技術(shù)論壇暨第五屆制造業(yè)自動化與信息化技術(shù)交流會論文集[C];2006年

6 魯明羽;熊光輝;陸玉昌;徐大力;;面向中醫(yī)藥領(lǐng)域的Web信息獲取與挖掘[A];中國中醫(yī)藥信息研究會第二屆理事大會暨學術(shù)交流會議論文匯編[C];2003年

7 韓權(quán)印;張玉清;;風險評估中的信息獲取[A];中國信息協(xié)會信息安全專業(yè)委員會年會文集[C];2004年

8 王浩暢;趙鐵軍;于浩;;基于文本的生物信息獲取[A];全國第八屆計算語言學聯(lián)合學術(shù)會議（JSCL-2005）論文集[C];2005年

9 劉旭光;朱詩兵;張占月;;信息支援作戰(zhàn)中衛(wèi)星通信系統(tǒng)仿真方法研究[A];中國電子學會第十五屆信息論學術(shù)年會暨第一屆全國網(wǎng)絡(luò)編碼學術(shù)年會論文集（下冊）[C];2008年

10 鄒澤明;劉偉;田春偉;周林榮;顧宇俊;李海波;牛昌明;;基于OPC技術(shù)的企業(yè)信息集成研究[A];中國計量協(xié)會冶金分會2009年年會論文集[C];2009年

中國重要報紙全文數(shù)據(jù)庫 前10條

1 馬煒;格式差異不能限制信息獲取[N];中國計算機報;2004年

2 李兆平;北京：小面積基礎(chǔ)地理信息獲取有新法[N];中國測繪報;2008年

3 信息工程大學測繪學院 陳波;數(shù)字水利 3S來支撐[N];中國計算機報;2005年

4 馮仲科邋熊妮娜 董斌 蔡華利;GIS在農(nóng)林領(lǐng)域的應(yīng)用前景[N];中國測繪報;2008年

5 ;移動商鋪時代已經(jīng)到來[N];人民郵電;2006年

6 中國電信廣州研究院 韓海潮;商務(wù)領(lǐng)航商機在中小企業(yè)[N];通信信息報;2007年

7 駱衛(wèi)華 劉群 張俊林;搜索引擎:性能提高遇到瓶頸[N];計算機世界;2006年

8 本報記者 那罡;網(wǎng)絡(luò)空間新戰(zhàn)場[N];中國計算機報;2010年

9 毛瑋陽;數(shù)字環(huán)境下如何走好版權(quán)保護的“平衡木”[N];科技日報;2007年

10 中國農(nóng)業(yè)科學院農(nóng)業(yè)信息研究所所長 研究員 許世衛(wèi);科學研究正在進入信息化時代[N];光明日報;2009年

中國博士學位論文全文數(shù)據(jù)庫 前8條

1 胡良梅;基于信息融合的圖像理解方法研究[D];合肥工業(yè)大學;2006年

2 馬靜華;基于運動信息獲取及智能處理的運動員訓練指導系統(tǒng)研究[D];中國科學技術(shù)大學;2006年

3 岳小莉;基于多粒度的產(chǎn)品信息獲取技術(shù)研究[D];浙江大學;2002年

4 方平;基于特征函數(shù)法的在線簽名鑒別研究[D];中國科學技術(shù)大學;2006年

5 宋全軍;人機接觸交互中人體肘關(guān)節(jié)運動意圖與力矩估計[D];中國科學技術(shù)大學;2007年

6 雷建和;基于多源信息融合的人體運動分析與建模研究[D];中國科學技術(shù)大學;2006年

7 趙剛強;基于視覺的大范圍頭部姿態(tài)跟蹤關(guān)鍵技術(shù)研究[D];浙江大學;2009年

8 李傳席;基于本體的自適應(yīng)Web信息抽取方法研究[D];中國科學技術(shù)大學;2012年

中國碩士學位論文全文數(shù)據(jù)庫 前10條

1 崔建曄;VTS的信息獲取與播發(fā)技術(shù)的研究[D];大連海事大學;2009年

2 王斐;基于增量反饋和自適應(yīng)機制的主題爬蟲系統(tǒng)的設(shè)計與實現(xiàn)[D];南京理工大學;2005年

3 劉朋;基于Lucene的垂直搜索引擎關(guān)鍵技術(shù)的研究應(yīng)用[D];武漢理工大學;2009年

4 陳策;基于WEB技術(shù)的競爭情報系統(tǒng)的開發(fā)與研究[D];華北電力大學（河北）;2004年

5 蔣南;我國公共圖書館公平獲取信息的保障機制研究[D];南京農(nóng)業(yè)大學;2007年

6 郭艷艷;數(shù)字圖書館信息資源可獲取性研究[D];鄭州大學;2009年

7 謝德輝;面向刑偵網(wǎng)頁的信息抽取與主題爬蟲應(yīng)用研究[D];大連理工大學;2007年

8 孫逸雪;基于時態(tài)信息的主題搜索引擎的研究與實現(xiàn)[D];中國科學技術(shù)大學;2009年

9 韓冰;基于BP網(wǎng)絡(luò)的高校主題爬蟲的設(shè)計與實現(xiàn)[D];東北師范大學;2009年

10 袁浩;主題爬蟲搜索Web頁面策略的研究[D];中南大學;2009年

，

本文編號：571326