本文關(guān)鍵詞：基于層次優(yōu)化的動(dòng)態(tài)概念背景圖的主題爬行策略研究

  更多相關(guān)文章： 主題爬蟲(chóng) 形式概念分析 概念格 搜索引擎

【摘要】：隨著互聯(lián)網(wǎng)的發(fā)展，人們已經(jīng)習(xí)慣了從網(wǎng)絡(luò)上獲取信息。主題搜索引擎越來(lái)越受到學(xué)術(shù)界和企業(yè)界的廣泛關(guān)注。主題搜索引擎主要搜集那些與特定主題相關(guān)的網(wǎng)頁(yè)。主題爬蟲(chóng)是主題搜索引擎的資源采集器，在遍歷網(wǎng)絡(luò)資源的同時(shí)會(huì)對(duì)所采集的網(wǎng)頁(yè)與特定主題作相關(guān)度判斷，按照相關(guān)度值的大小為一個(gè)待爬URL指定一個(gè)相應(yīng)的優(yōu)先級(jí)分值。從而可以保證下載相關(guān)網(wǎng)頁(yè)而舍棄那些偏離主題的網(wǎng)頁(yè)，使搜集回來(lái)的結(jié)果更能滿足用戶的需求。 本文提出了一種基于最優(yōu)化層次的概念背景圖的主題爬行策略，該策略首先需要用戶向知名搜索引擎提交查詢?cè)~，然后從返回的網(wǎng)頁(yè)鏈接挑中選幾個(gè)用戶最滿意的初始網(wǎng)頁(yè)，作為本研究的初始種子集。其次，下載種子集對(duì)應(yīng)的網(wǎng)頁(yè)并且提取網(wǎng)頁(yè)上的特征詞構(gòu)建概念背景圖。然后，在Yahoo!目錄上選擇不同層次的主題進(jìn)行概念背景圖的分層研究。最后，提出了概念背景圖的動(dòng)態(tài)更新方法。 論文的主要研究?jī)?nèi)容包括以下幾點(diǎn)： 1.提出了一種對(duì)傳統(tǒng)概念背景圖進(jìn)行層次優(yōu)化的方法。通過(guò)將一個(gè)完整的概念背景圖進(jìn)行分割成不同的子概念背景圖，分別研究每個(gè)子概念背景圖對(duì)網(wǎng)絡(luò)爬蟲(chóng)的指導(dǎo)性能。 2.提出了最優(yōu)概念背景圖的概念。傳統(tǒng)概念背景圖往往包含了相應(yīng)的概念格中的全部概念。這樣就把概念格中的所有概念全部分到傳統(tǒng)概念背景圖的相應(yīng)層次，那些和核心概念有低相關(guān)性的概念就影響了指導(dǎo)性能。 3.在最優(yōu)化概念背景圖的基礎(chǔ)上提出了對(duì)概念背景圖進(jìn)行動(dòng)態(tài)更新方法。概念背景圖一般都是根據(jù)初始選中的種子集頁(yè)面和頁(yè)面相應(yīng)的特征詞進(jìn)行構(gòu)建的。但是，在指導(dǎo)主題爬行的過(guò)程中，往往會(huì)發(fā)現(xiàn)更多的與主題貼近的網(wǎng)頁(yè)。為了使概念背景圖保持活性，本文需要不斷對(duì)先前的與主題相似度較低的概念進(jìn)行替換。在替換過(guò)程中，動(dòng)態(tài)概念背景圖（DCCG）采用了一種淘汰機(jī)制，內(nèi)層概念逐漸取代外層概念。 論文利用經(jīng)典的召回率、精確度、F-Measure三種度量指標(biāo)將最優(yōu)概念背景圖與傳統(tǒng)的概念背景圖進(jìn)行了比較。同時(shí)，也將動(dòng)態(tài)概念背景圖與可以更新的概念背景圖進(jìn)行了對(duì)比。結(jié)果顯示，本文的策略有一定的優(yōu)勢(shì)和可行性。
【學(xué)位授予單位】：西華大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2014
【分類(lèi)號(hào)】：TP391.3

【參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前3條

1 陳方;譚愛(ài)平;成亞玲;文益民;;主題爬蟲(chóng)技術(shù)研究綜述[J];湖南工業(yè)職業(yè)技術(shù)學(xué)院學(xué)報(bào);2008年05期

2 張衛(wèi)豐;徐寶文;周曉宇;許蕾;李東;;Web搜索引擎綜述[J];計(jì)算機(jī)科學(xué);2001年09期

3 汪濤,樊孝忠;鏈接分析對(duì)主題爬蟲(chóng)的改進(jìn)[J];計(jì)算機(jī)應(yīng)用;2004年S2期

，

本文編號(hào)：1239513