【摘要】：隨著互聯(lián)網(wǎng)信息的快速增長,搜索引擎面臨著巨大的壓力。通用搜索引擎返回的信息量較大,但對于用戶特定的查詢來說,信息質(zhì)量卻不高,為了解決該問題,主題爬蟲誕生了。對于傳統(tǒng)的主題爬蟲而言,爬蟲間沒有相互交流,而是彼此獨立爬行的。研究發(fā)現(xiàn),只提高主題爬行蟲獨立爬行的能力,很難提高系統(tǒng)執(zhí)行效率,因此,人們開始研究多爬蟲系統(tǒng)。在多爬蟲系統(tǒng),如果爬蟲間沒有即時交流,就會造成重復(fù)爬行現(xiàn)象,所以研究爬行蟲間協(xié)作是非常必要的。論文的主要研究內(nèi)容包括以下幾點:1.爬行蟲協(xié)作能力的改進(jìn)和競爭能力的提出。對于爬行蟲的協(xié)作能力的衡量:一是爬行蟲是否具有繼續(xù)爬行的能力;二是爬行蟲是否具有相對較強的協(xié)作能力。對于爬行蟲的爬行能力,本文用爬行蟲的剩余爬行時間和剩余存儲空間這兩個因數(shù)來衡量;對于爬行蟲的相對協(xié)作能力,本文結(jié)合爬行蟲的歷史協(xié)作情況和現(xiàn)在相對協(xié)作能力來衡量。對于Agent的競爭能力,本文用爬行蟲的歷史競爭次數(shù)、歷史競爭成功次數(shù)、每次競爭中對手的個數(shù)、每次競爭中打敗對手的個數(shù)和當(dāng)前對手的競爭能力的大小來衡量。2.本文提出了誘惑爬行蟲參與協(xié)作的誘惑因子函數(shù)和興趣函數(shù)。為了讓Agent主動的參與競爭,本文基于系統(tǒng)整體和參與競爭的Agent互利共贏的思想提出了誘惑因子函數(shù)和興趣函數(shù)。對于誘惑因子函數(shù),本文用邀請者所能拿出的最大價值的資源和競爭能力來衡量。對于興趣函數(shù),本文用資源與主題的相似度、資源與協(xié)作者所執(zhí)行的任務(wù)的相近程度來衡量。3.本文提出了多Agent的競爭(Multi-Agent Competition,MAC)模型,MAC模型基于市場匹配中構(gòu)造一組清倉價格的思想,讓參與競爭的C-Agent與需要完成協(xié)作的資源形成完美匹配。4.本文提出了多對一關(guān)系(Many-to-One,MTO)模型和多對多關(guān)系(Many-toMany,MTM)模型。在爬行蟲的競爭與協(xié)作活動中,多個邀請者Agent(Invite Agent,IA)與一個被邀請者Agent(Invited Agent,IDA)夠成了MTO模型;多個IA與多個IDA夠成的MTM模型。最后,文章為了驗證本文所提出的多Agent競爭與協(xié)作的理論知識,系統(tǒng)基于JADE平臺實現(xiàn)了本文提出的爬行蟲。并采用對比試驗的方式,比較查準(zhǔn)率和查全率來衡量本文的爬行蟲的研究的必要性。最終實驗證明,該研究能夠提高爬蟲的智能性。
【學(xué)位授予單位】：西華大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2015
【分類號】：O225;TP391.3

【參考文獻(xiàn)】

相關(guān)期刊論文 前6條

1 杜亞軍;;多Agent主題爬蟲協(xié)作策略的研究與分析[J];西華大學(xué)學(xué)報(自然科學(xué)版);2013年01期

2 張少蘋;戴鋒;王成志;張覃;;多Agent系統(tǒng)研究綜述[J];復(fù)雜系統(tǒng)與復(fù)雜性科學(xué);2011年04期

3 劉金紅;陸余良;;主題網(wǎng)絡(luò)爬蟲研究綜述[J];計算機應(yīng)用研究;2007年10期

4 向朝霞;李立新;;一種基于市場驅(qū)動的Multi-agent自動談判策略[J];計算機應(yīng)用;2007年10期

5 劉東飛;鄧俊濤;鄧浩;;智能搜索引擎中的多Agent協(xié)作策略研究[J];軟件導(dǎo)刊;2007年01期

6 劉文財,劉豹,王啟文,張維;基于Agent的金融市場模型研究進(jìn)展綜述[J];系統(tǒng)工程學(xué)報;2003年02期

相關(guān)碩士學(xué)位論文 前2條

1 王瑩煜;基于多Agent系統(tǒng)的主題爬蟲理解與協(xié)作研究[D];西華大學(xué);2010年

2 向丹;專業(yè)搜索引擎中的多Agent協(xié)調(diào)研究[D];西華大學(xué);2008年

本文編號：2732251