【摘要】：搜索引擎已經(jīng)成為人們查找資料最常用的手段之一,而搜索引擎中最關(guān)鍵的技術(shù)是網(wǎng)頁排序算法。目前,使用最廣泛最成功的排序算法是基于鏈接結(jié)構(gòu)的PageRank排序算法。PageRank算法在搜索引擎的成功運(yùn)用,說明其是高效可行的,但是完全基于鏈接分析會(huì)導(dǎo)致主題漂移問題和忽視用戶個(gè)性化問題,因此本文提出基于主題相關(guān)度與用戶歷史的PagRank改進(jìn)算法,針對主題漂移和忽視用戶個(gè)性化問題對PageRank算法提出了以下兩方面的改進(jìn),并將改進(jìn)算法命名為THPR算法:(1)利用TextRank對獲取的網(wǎng)頁內(nèi)容進(jìn)行分詞,并計(jì)算提取每個(gè)網(wǎng)頁的關(guān)鍵字。結(jié)合Word2Vec和VSM空間向量模型技術(shù),計(jì)算查詢詞與網(wǎng)頁關(guān)鍵詞的相似度來判斷網(wǎng)頁與用戶查詢詞之間的相關(guān)性,并依據(jù)此分配權(quán)重,以此改善算法存在的主題漂移的現(xiàn)象。(2)引入搜索歷史因子,記錄用戶曾經(jīng)的搜索詞,并在本次的搜索中計(jì)算歷史搜索詞與網(wǎng)頁關(guān)鍵詞的相似度,使算法在權(quán)值分配過程中能夠關(guān)注用戶個(gè)性化,提高用戶查詢的滿意度。由于THPR算法不再平均分配權(quán)值,而是從主題相關(guān)性和用戶興趣兩方面來度量權(quán)值分配的大小,一定程度上彌補(bǔ)了原算法的缺陷。為了驗(yàn)證改進(jìn)算法THPR的性能以及效率,本文搭建了一個(gè)實(shí)驗(yàn)系統(tǒng),通過開源爬蟲Heritrix獲取實(shí)驗(yàn)數(shù)據(jù),在分析了Heritrix爬蟲的整體結(jié)構(gòu)后,改進(jìn)Heritrix爬蟲的爬取邏輯,爬取網(wǎng)頁上的特定內(nèi)容。將爬蟲爬取的網(wǎng)頁數(shù)據(jù)進(jìn)行去噪、過濾,存入原始網(wǎng)頁數(shù)據(jù)庫中。對數(shù)據(jù)庫中的網(wǎng)站進(jìn)行分析,計(jì)算每個(gè)網(wǎng)頁的等級,建立索引,在用戶輸入界面輸入搜索的關(guān)鍵字即可返回得到相對應(yīng)的網(wǎng)頁。實(shí)驗(yàn)結(jié)果表明,與PagRank算法相比,THPR算法的用戶滿意度有所提升,綜合評估率也提高了約6%。不僅如此,THPR算法相較于基于錨文本的改進(jìn)算法、基于時(shí)間權(quán)重的改進(jìn)算法以及基于用戶行為的改進(jìn)算法,均具有優(yōu)勢。
【圖文】：

圖 5.3 Heritrix 主界面Figure 5.3 The main interface for Heritrix由于本文實(shí)驗(yàn)使用的Heritrix版本為 Heritrix3.1.0，與 Heritrix1.14.4 版本最大的不同在于任務(wù)配置文件從 order.xml 文件轉(zhuǎn)到了 crawler-beans.cxml 文件。因此在任務(wù)建立完成后，進(jìn)入管理界面，對 crawler-beans.cxml 配置文件進(jìn)行編輯。

圖 5.3 Heritrix 主界面Figure 5.3 The main interface for Heritrix由于本文實(shí)驗(yàn)使用的Heritrix版本為 Heritrix3.1.0，與 Heritrix1.14.4 版本最大的不同在于任務(wù)配置文件從 order.xml 文件轉(zhuǎn)到了 crawler-beans.cxml 文件。因此在任務(wù)建立完成后，進(jìn)入管理界面，對 crawler-beans.cxml 配置文件進(jìn)行編輯。
【學(xué)位授予單位】：浙江農(nóng)林大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2019
【分類號】：TP391.3

【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 李躍鵬;金翠;及俊川;;基于word2vec的關(guān)鍵詞提取算法[J];科研信息化技術(shù)與應(yīng)用;2015年04期

2 徐山;杜衛(wèi)鋒;;不均衡訓(xùn)練集下短信過濾系統(tǒng)kNN方法的研究[J];計(jì)算機(jī)應(yīng)用與軟件;2013年11期

3 馬海波;楊楠;于新興;;用戶差別化和主題敏感的PageRank算法[J];大連交通大學(xué)學(xué)報(bào);2013年04期

4 孫佳龍;郭金運(yùn);郭淑艷;;基于多種度量的電離層TEC混沌預(yù)測分析[J];地球物理學(xué)進(jìn)展;2013年03期

5 馮海濤;;基于網(wǎng)頁時(shí)間權(quán)值的PageRank算法改進(jìn)[J];西安郵電大學(xué)學(xué)報(bào);2013年02期

6 劉敏娜;;基于向量空間模型的信息檢索技術(shù)研究[J];現(xiàn)代電子技術(shù);2012年11期

7 叢帥;張積賓;徐志明;王宇穎;;Feature selection algorithm for text classification based on improved mutual information[J];Journal of Harbin Institute of Technology;2011年03期

8 王德廣;周志剛;梁旭;;PageRank算法的分析及其改進(jìn)[J];計(jì)算機(jī)工程;2010年22期

9 潘磊;雷鈺麗;王崇駿;謝俊元;;基于權(quán)重的Jaccard相似度度量的實(shí)體識別方法[J];北京交通大學(xué)學(xué)報(bào);2009年06期

10 高琳;夏清國;王黎明;;基于本體的智能信息檢索系統(tǒng)的構(gòu)建方法[J];計(jì)算機(jī)工程與設(shè)計(jì);2008年24期

，

本文編號：2649982