本文關(guān)鍵詞：聯(lián)邦檢索系統(tǒng)的關(guān)鍵技術(shù)研究與實(shí)現(xiàn)

  更多相關(guān)文章： 聯(lián)邦檢索系統(tǒng) 資源庫(kù)描述 資源庫(kù)選擇 垂直領(lǐng)域選擇 結(jié)果融合

【摘要】：聯(lián)邦檢索是信息檢索的重要研究領(lǐng)域之一。雖然許多通用的搜索引擎能幫助用戶找到所需的信息,但是一些無(wú)法被爬取的深度網(wǎng)的廣泛存在,限制了用戶對(duì)信息的有效獲取。而聯(lián)邦檢索技術(shù),可以有效的解決這個(gè)問(wèn)題。聯(lián)邦檢索是同時(shí)查詢多個(gè)單元搜索引擎(又叫資源庫(kù))的技術(shù)。本文分別就聯(lián)邦檢索系統(tǒng)的資源庫(kù)描述、資源庫(kù)選擇、垂直領(lǐng)域選擇和結(jié)果融合等關(guān)鍵技術(shù)進(jìn)行研究。論文主要工作包括:(1)在資源庫(kù)描述方面,為驗(yàn)證基于查詢的抽樣方法在中文數(shù)據(jù)集上的有效性,本文通過(guò)爬取搜狐網(wǎng)的網(wǎng)頁(yè)數(shù)據(jù)并建立了中文數(shù)據(jù)集,將基于查詢的抽樣方法應(yīng)用到該數(shù)據(jù)集上,實(shí)驗(yàn)證明了該方法在中文數(shù)據(jù)集上的有效性。(2)在資源庫(kù)選擇方面,為了將已有的資源庫(kù)選擇方法應(yīng)用在具有多個(gè)真實(shí)網(wǎng)絡(luò)搜索引擎的聯(lián)邦檢索系統(tǒng)上,本文分別針對(duì)原始資源庫(kù)網(wǎng)頁(yè)數(shù)估計(jì)不準(zhǔn)確和待選擇資源庫(kù)數(shù)目不足的問(wèn)題,使用四種不同的策略進(jìn)行研究。實(shí)驗(yàn)結(jié)果表明本文提出的策略能有效應(yīng)用于具有多個(gè)真實(shí)網(wǎng)絡(luò)搜索引擎的聯(lián)邦檢索環(huán)境。(3)在垂直領(lǐng)域選擇方面,本文在資源庫(kù)選擇的基礎(chǔ)上,提出了一種基于規(guī)則的垂直領(lǐng)域選擇算法。該算法等價(jià)于將每個(gè)垂直領(lǐng)域看成一個(gè)統(tǒng)一的資源庫(kù),并使用基于規(guī)則的資源庫(kù)選擇方法進(jìn)行垂直領(lǐng)域選擇。實(shí)驗(yàn)結(jié)果表明該算法與已有的垂直領(lǐng)域選擇方法相比,在準(zhǔn)確率和召回率方面都有較大的提升。(4)在查詢結(jié)果的融合方面,本文基于資源庫(kù)具有的垂直領(lǐng)域特性,提出了一種基本的結(jié)果融合算法框架,該框架主要解決網(wǎng)頁(yè)、資源庫(kù)和垂直領(lǐng)域得分的歸一化問(wèn)題�；诖怂惴ǹ蚣�,本文提出了兩種結(jié)果融合算法。實(shí)驗(yàn)結(jié)果表明本文提出的兩種算法與已有的方法相比,在搜索結(jié)果的準(zhǔn)確率方面提升了23%以上,在垂直領(lǐng)域多樣性方面也有不錯(cuò)的表現(xiàn)。在以上研究的基礎(chǔ)上,本文根據(jù)分布式搜索引擎平臺(tái)SE6的特點(diǎn),設(shè)計(jì)了資源選擇和結(jié)果融合模塊。系統(tǒng)運(yùn)行結(jié)果再次表明本文提出的資源選擇和結(jié)果融合方法能有效提升系統(tǒng)的查詢準(zhǔn)確率。
【學(xué)位授予單位】：華南理工大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2015
【分類號(hào)】：TP391.3

【引證文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前1條

1 董守斌;謝一帆;袁華;陳建豪;;基于主題模型的資源選擇算法[J];華南理工大學(xué)學(xué)報(bào)(自然科學(xué)版);2017年03期

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前2條

1 謝一帆;基于垂直領(lǐng)域的分布式搜索多樣性的研究與實(shí)現(xiàn)[D];華南理工大學(xué);2016年

2 洪瑞琦;分布式信息檢索系統(tǒng)的優(yōu)化設(shè)計(jì)和實(shí)現(xiàn)[D];華南理工大學(xué);2016年

，

本文編號(hào)：1298325