針對傳統(tǒng)主題爬蟲方法容易陷入局部最優(yōu)和主題描述不足的問題,提出一種融合本體和改進(jìn)禁忌搜索策略（On-ITS）的主題爬蟲方法。首先利用本體語義相似度計(jì)算主題語義向量,基于超級文本標(biāo)記語言（HTML）網(wǎng)頁文本特征位置加權(quán)構(gòu)建網(wǎng)頁文本特征向量,然后采用向量空間模型計(jì)算網(wǎng)頁的主題相關(guān)度。在此基礎(chǔ)上,計(jì)算錨文本主題相關(guān)度以及鏈接指向網(wǎng)頁的PR值,綜合分析鏈接優(yōu)先度。另外,為了避免爬蟲陷入局部最優(yōu),設(shè)計(jì)了基于ITS的主題爬蟲,優(yōu)化爬行隊(duì)列。以暴雨災(zāi)害和臺風(fēng)災(zāi)害為主題,在相同的實(shí)驗(yàn)環(huán)境下,基于On-ITS的主題爬蟲方法比對比算法的爬準(zhǔn)率最多高58%,最少高8%,其他評價(jià)指標(biāo)也很好�；贠n-ITS的主題爬蟲方法能有效提高獲取領(lǐng)域信息的準(zhǔn)確性,抓取更多與主題相關(guān)的網(wǎng)頁。 

【文章頁數(shù)】：7 頁

【文章目錄】：
0 引言
1 主題相關(guān)度計(jì)算
    1.1 構(gòu)建主題詞權(quán)重向量和網(wǎng)頁文本特征詞權(quán)重向量
        1.1.1 主題語義權(quán)重向量獲取
        1.1.2 網(wǎng)頁文本特征詞權(quán)重向量獲取
    1.2 文本主題相關(guān)度計(jì)算
    1.3 網(wǎng)頁P(yáng)R值及鏈接綜合優(yōu)先度計(jì)算
2 基于On-ITS策略的主題爬蟲方法
    2.1 禁忌搜索算法
    2.2 鏈接的鄰域集和擴(kuò)展鄰域集
    2.3 禁忌對象
    2.4 藐視準(zhǔn)則與改進(jìn)的接受原則
    2.5 主題爬蟲設(shè)計(jì)
3 實(shí)驗(yàn)結(jié)果與分析
    3.1 算法評價(jià)指標(biāo)
    3.2 結(jié)果分析
4 結(jié)語


【參考文獻(xiàn)】：
期刊論文
[1]基于綜合優(yōu)先度和主機(jī)信息的暴雨災(zāi)害主題退火爬蟲算法[J]. 劉景發(fā),李帆,蔣盛益.  計(jì)算機(jī)科學(xué). 2019(02)
[2]基于LDA擴(kuò)展主題詞庫的主題爬蟲研究[J]. 費(fèi)晨杰,劉柏嵩.  計(jì)算機(jī)應(yīng)用與軟件. 2018(04)
[3]詞向量聚類加權(quán)Shark-Search的主題爬蟲策略研究[J]. 程元堃,廖聞劍,程光.  計(jì)算機(jī)與數(shù)字工程. 2018(01)
[4]基于HITS算法的雙語句對挖掘優(yōu)化方法[J]. 劉昊,洪宇,姚亮,劉樂,姚建民,周國棟.  中文信息學(xué)報(bào). 2017(02)
[5]自適應(yīng)遺傳算法在主題爬蟲搜索策略中的應(yīng)用研究[J]. 荊文鵬,王育堅(jiān),董偉偉.  計(jì)算機(jī)科學(xué). 2016(08)
[6]基于用戶興趣與主題相關(guān)的PageRank算法改進(jìn)研究[J]. 王沖,紀(jì)仙慧.  計(jì)算機(jī)科學(xué). 2016(03)
[7]一種基于本體語義的災(zāi)害主題爬蟲策略[J]. 馬雷雷,李宏偉,連世偉,梁汝鵬,陳虎.  計(jì)算機(jī)工程. 2016(11)
[8]基于SVM的主題爬蟲技術(shù)研究[J]. 李璐,張國印,李正文.  計(jì)算機(jī)科學(xué). 2015(02)
[9]基于禁忌搜索的啟發(fā)式算法求解帶平衡約束的圓形裝填問題[J]. 李剛,劉景發(fā).  中國科學(xué):信息科學(xué). 2011(09)



本文編號：3663992