本文關(guān)鍵詞：基于增強(qiáng)型類PageRank算法的搜索引擎的研究與設(shè)計(jì)，由筆耕文化傳播整理發(fā)布。

《武漢理工大學(xué)》 2014年

基于增強(qiáng)型類PageRank算法的搜索引擎的研究與設(shè)計(jì)

許彬  

【摘要】：隨著大數(shù)據(jù)時(shí)代的到來，不僅僅是整個(gè)互聯(lián)網(wǎng)的信息量暴增，許多大中型互聯(lián)網(wǎng)企業(yè)也擁有越來越多的數(shù)據(jù)。如何從成千上萬的數(shù)據(jù)海洋中準(zhǔn)確地使用戶找到需要的信息是現(xiàn)在企業(yè)面臨的一大難題。商用的搜索引擎不具有針對(duì)性，這使得企業(yè)需要開發(fā)自身的搜索引擎以便滿足用戶需求。從無到有開發(fā)和維護(hù)一個(gè)完整的搜索引擎是非常昂貴的。除了專門從事搜索引擎運(yùn)營(yíng)的公司（如Google、Baidu）之外，其他的互聯(lián)網(wǎng)企業(yè)想要開發(fā)具備專業(yè)性能的搜索引擎是十分困難的。開源程式庫Lucene很好地解決了開發(fā)企業(yè)內(nèi)部搜索引擎的問題。然而開源的程式庫是為了適應(yīng)大多數(shù)站內(nèi)搜索系統(tǒng)，缺乏個(gè)性化，并不能滿足企業(yè)搜索系統(tǒng)的針對(duì)性。同時(shí)由于Lucene排序算法比較簡(jiǎn)單、忽視用戶反饋、偏重舊網(wǎng)頁等缺點(diǎn)，不能準(zhǔn)確地滿足用戶的需求。 為了幫助企業(yè)應(yīng)對(duì)互聯(lián)網(wǎng)環(huán)境的新挑戰(zhàn)，開發(fā)一個(gè)能用于搜索較大數(shù)據(jù)庫的搜索系統(tǒng)，同時(shí)保證用戶能夠得到友好的界面搜索體驗(yàn)和更加精確的查詢結(jié)果，本文工作如下： （1）為了解決用戶反饋問題，本文利用Lucene搭建搜索引擎的基本框架，類比PageRank算法采用鏈接作為網(wǎng)頁重要性的評(píng)價(jià)指標(biāo)，建立用戶查詢和網(wǎng)頁點(diǎn)擊率之間的聯(lián)系，提出類PageRank算法（Similar Page Rank，SPR）。再針對(duì)專用系統(tǒng)對(duì)實(shí)時(shí)性和用戶興趣度反饋的要求，在算法中添加時(shí)間函數(shù)和用戶興趣度函數(shù)，得到增強(qiáng)型類PageRank算法（Enhanced Similar Page Rank，ESPR）。 （2）在新算法的基礎(chǔ)上對(duì)整個(gè)系統(tǒng)進(jìn)行完整的原理分析，詳細(xì)闡述了ESPR算法嵌入到系統(tǒng)中的過程。首先重新定義了分詞之后索引結(jié)構(gòu)圖，直觀的說明了對(duì)整個(gè)索引結(jié)構(gòu)做出的調(diào)整。然后結(jié)合Lucene原有的語法分析方式完整地推導(dǎo)出搜索索引過程中ESPR算法的打分公式。 （3）根據(jù)對(duì)各個(gè)模塊的原理分析，通過編程實(shí)現(xiàn)了基于增強(qiáng)型類PageRank算法的搜索引擎。Lucene具有良好的封裝性和繼承性，可以在自定義打分模塊中實(shí)現(xiàn)對(duì)程序的修改。由算法導(dǎo)致的索引結(jié)構(gòu)變化也可以在相應(yīng)的模塊中重新定義。 （4）將本文的搜索引擎和其它兩類搜索引擎進(jìn)行查準(zhǔn)率性能比較。通過5人技術(shù)小組綜合評(píng)定三個(gè)搜索引擎單個(gè)查詢和多組查詢效果。實(shí)驗(yàn)結(jié)果表明不管是單個(gè)查詢返回的結(jié)果還是多組查詢返回的結(jié)果，本文的搜索引擎均擁有更高的查準(zhǔn)率。 基于ESPR算法的搜索引擎成本低、準(zhǔn)確率高、針對(duì)性強(qiáng)，因此可用于大中型互聯(lián)網(wǎng)企業(yè)提供適合企業(yè)自身信息特點(diǎn)的精確搜索服務(wù)。除此之外，擁有海量數(shù)據(jù)的傳統(tǒng)企業(yè)進(jìn)軍互聯(lián)網(wǎng)時(shí)也非常適合采用本文的搜索引擎為網(wǎng)站提供搜索服務(wù)。

【關(guān)鍵詞】：
【學(xué)位授予單位】：武漢理工大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2014
【分類號(hào)】：TP391.3
【目錄】：

下載全文 更多同類文獻(xiàn)

CAJ全文下載

(如何獲取全文？ 歡迎：購買知網(wǎng)充值卡、在線充值、在線咨詢)

CAJViewer閱讀器支持CAJ、PDF文件格式

【參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫 前10條

1 余旸;夏國(guó)平;;基于鏈接結(jié)構(gòu)分析的主題搜索[J];北京工業(yè)大學(xué)學(xué)報(bào);2011年04期

2 程時(shí)端;郭亮;王文東;;社會(huì)搜索研究綜述[J];北京郵電大學(xué)學(xué)報(bào);2013年01期

3 桑秀芝;劉新旺;;基于極大熵OWA算子的元搜索引擎搜索結(jié)果集成(英文)[J];Journal of Southeast University(English Edition);2013年02期

4 張敏,高劍峰,馬少平;基于鏈接描述文本及其上下文的Web信息檢索[J];計(jì)算機(jī)研究與發(fā)展;2004年01期

5 楊沛,鄭啟倫,彭宏;Inherit/Feedback:一種新的Web主題挖掘方法[J];計(jì)算機(jī)研究與發(fā)展;2004年05期

6 王博;尚世鋒;武永衛(wèi);鄭緯民;;多核體系下的并行任務(wù)構(gòu)建[J];計(jì)算機(jī)研究與發(fā)展;2012年04期

7 張乃洲;李石君;余偉;張卓;;使用聯(lián)合鏈接相似度評(píng)估爬取Web資源[J];計(jì)算機(jī)學(xué)報(bào);2010年12期

8 楊格蘭;涂立;;基于主題相關(guān)性和鏈接權(quán)重的PageRank算法[J];華中科技大學(xué)學(xué)報(bào)(自然科學(xué)版);2012年S1期

9 張亮,施伯樂,周向東,劉莉,張琪;發(fā)掘相關(guān)反饋日志中關(guān)聯(lián)信息的圖像檢索方法[J];軟件學(xué)報(bào);2004年01期

10 宋彥;蔡?hào)|風(fēng);張桂平;趙海;;一種基于字詞聯(lián)合解碼的中文分詞方法[J];軟件學(xué)報(bào);2009年09期

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫 前1條

1 劉馨月;Web挖掘中的鏈接分析與話題檢測(cè)研究[D];大連理工大學(xué);2012年

【共引文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫 前10條

1 于江德;王希杰;;詞位標(biāo)注漢語分詞技術(shù)詳解[J];安陽師范學(xué)院學(xué)報(bào);2010年05期

2 夏亞梅;蘇森;;面向本體實(shí)例生成的有限漢語語法學(xué)習(xí)系統(tǒng)[J];北京郵電大學(xué)學(xué)報(bào);2010年05期

3 周翔;;基于Websphinx網(wǎng)絡(luò)爬蟲的研究與改進(jìn)[J];電腦知識(shí)與技術(shù);2008年28期

4 高玉良;張濟(jì)強(qiáng);白瑤;;基于Lucene的多索引搜索的研究與應(yīng)用[J];電腦知識(shí)與技術(shù);2012年07期

5 李江;殷之明;;鏈接分析研究綜述[J];大學(xué)圖書館學(xué)報(bào);2008年02期

6 馮永;賀迅;唐黎;陳顯勇;陳貞;;面向文本知識(shí)管理的自適應(yīng)中文分詞算法[J];重慶大學(xué)學(xué)報(bào);2010年10期

7 吳妮;;接觸Lucene[J];計(jì)算機(jī)光盤軟件與應(yīng)用;2012年07期

8 付濤;戴玉剛;周登;;鏈接分析在主題信息檢索系統(tǒng)中的應(yīng)用[J];電腦與電信;2009年01期

9 馮昀;;爬蟲技術(shù)在網(wǎng)站信息撥測(cè)系統(tǒng)中的應(yīng)用[J];廣西通信技術(shù);2012年04期

10 羅灝;徐小良;呂躍華;;科技項(xiàng)目申請(qǐng)書關(guān)鍵詞提取方法[J];電子科技;2013年07期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫 前5條

1 于江德;王希杰;樊孝忠;;漢語詞法分析中上文和下文孰重孰輕[A];中國(guó)計(jì)算語言學(xué)研究前沿進(jìn)展（2009-2011）[C];2011年

2 劉兵;胡學(xué)鋼;;基于多鏈接分析的主題爬蟲設(shè)計(jì)實(shí)現(xiàn)[A];全國(guó)第20屆計(jì)算機(jī)技術(shù)與應(yīng)用學(xué)術(shù)會(huì)議（CACIS·2009）暨全國(guó)第1屆安全關(guān)鍵技術(shù)與應(yīng)用學(xué)術(shù)會(huì)議論文集（上冊(cè)）[C];2009年

3 邵學(xué)廣;徐筱杰;;化學(xué)信息學(xué)(計(jì)算機(jī)化學(xué))的研究進(jìn)展[A];化學(xué)學(xué)科發(fā)展研究報(bào)告（2008－2009）[C];2008年

4 劉權(quán);郭武;;基于核主成分分析的話題跟蹤系統(tǒng)[A];第十二屆全國(guó)人機(jī)語音通訊學(xué)術(shù)會(huì)議（NCMMSC'2013）論文集[C];2013年

5 吳克河;何霞;李廷順;;基于Lucene構(gòu)建電力企業(yè)搜索引擎分析器[A];2008電力行業(yè)信息化年會(huì)會(huì)議論文集[C];2008年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 侯鋒;中文報(bào)業(yè)出版的文字質(zhì)量智能輔助控制技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2010年

2 雷亮;互聯(lián)網(wǎng)環(huán)境下圖像檢索若干問題研究[D];重慶大學(xué);2011年

3 楊燕;基于計(jì)算智能的聚類組合算法研究[D];西南交通大學(xué);2006年

4 劉偉;圖像檢索中若干問題的研究[D];浙江大學(xué);2007年

5 王樹梅;信息檢索相關(guān)技術(shù)研究[D];南京理工大學(xué);2007年

6 方輝;機(jī)械制造信息資源的非規(guī)范知識(shí)處理技術(shù)研究[D];四川大學(xué);2007年

7 何儒漢;Web圖像的多模融合檢索研究[D];華中科技大學(xué);2007年

8 王眾;基于KDD理論的景象匹配技術(shù)研究[D];哈爾濱工程大學(xué);2008年

9 陳剛;基于內(nèi)容的相關(guān)反饋式音樂檢索方法研究[D];華中科技大學(xué);2010年

10 齊恒;基于內(nèi)容圖像檢索的關(guān)鍵技術(shù)研究[D];大連理工大學(xué);2012年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 吳世勇;基于聚類分析的搜索引擎自動(dòng)性能評(píng)價(jià)研究[D];江西師范大學(xué);2010年

2 劉嘉;Web結(jié)構(gòu)挖掘研究[D];西安電子科技大學(xué);2009年

3 鄧丹君;基于Lucene的垂直搜索引擎關(guān)鍵技術(shù)研究[D];武漢理工大學(xué);2011年

4 韓保川;基于用戶興趣本體的初始URLs選擇方法的研究[D];西華大學(xué);2011年

5 周新;情境感知的物聯(lián)網(wǎng)信息檢索技術(shù)研究[D];大連海事大學(xué);2011年

6 馬燕;基于快速相似度的Web結(jié)構(gòu)挖掘的研究[D];南京信息工程大學(xué);2011年

7 徐西孟;基于OODA決策循環(huán)的主題發(fā)現(xiàn)技術(shù)的研究與設(shè)計(jì)[D];濟(jì)南大學(xué);2011年

8 陳士胃;圖像檢索中基于日志學(xué)習(xí)的相關(guān)反饋技術(shù)研究[D];南京航空航天大學(xué);2010年

9 仇亞東;面向農(nóng)業(yè)領(lǐng)域的垂直搜索技術(shù)的研究[D];南京農(nóng)業(yè)大學(xué);2010年

10 羅會(huì)紅;基于SSH和Lucene垂直搜索引擎研究[D];長(zhǎng)沙理工大學(xué);2011年

【二級(jí)參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫 前10條

1 馬海波;陳時(shí)勇;;基于網(wǎng)頁等級(jí)的PageRank算法改進(jìn)[J];大連交通大學(xué)學(xué)報(bào);2010年02期

2 胡海波;王科;徐玲;汪小帆;;基于復(fù)雜網(wǎng)絡(luò)理論的在線社會(huì)網(wǎng)絡(luò)分析[J];復(fù)雜系統(tǒng)與復(fù)雜性科學(xué);2008年02期

3 余高輝;楊建梅;曾敏剛;;QQ群好友關(guān)系的復(fù)雜網(wǎng)絡(luò)研究[J];華南理工大學(xué)學(xué)報(bào)(社會(huì)科學(xué)版);2011年04期

4 賈自艷 ,何清 ,張�？� ,李嘉佑 ,史忠植;一種基于動(dòng)態(tài)進(jìn)化模型的事件探測(cè)和追蹤算法[J];計(jì)算機(jī)研究與發(fā)展;2004年07期

5 于滿泉;駱衛(wèi)華;許洪波;白碩;;話題識(shí)別與跟蹤中的層次化話題識(shí)別技術(shù)研究[J];計(jì)算機(jī)研究與發(fā)展;2006年03期

6 趙華;趙鐵軍;于浩;鄭德權(quán);;基于查詢向量的英語話題跟蹤研究[J];計(jì)算機(jī)研究與發(fā)展;2007年08期

7 王輝;左萬利;王暉昱;寧愛軍;孫志偉;滿春雷;;基于質(zhì)心向量的增量式主題爬行[J];計(jì)算機(jī)研究與發(fā)展;2009年02期

8 彭濤;孟宇;左萬利;王英;胡亮;;主題爬行中的隧道穿越技術(shù)[J];計(jì)算機(jī)研究與發(fā)展;2010年04期

9 錢功偉;倪林;曹榮;;基于網(wǎng)頁鏈接和內(nèi)容分析的改進(jìn)PageRank算法[J];計(jì)算機(jī)工程與應(yīng)用;2007年21期

10 賈美英;楊炳儒;鄭德權(quán);楊靖;;采用CRF技術(shù)的軍事情報(bào)術(shù)語自動(dòng)抽取研究[J];計(jì)算機(jī)工程與應(yīng)用;2009年32期

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫 前10條

1 何曉陽,吳強(qiáng),吳治蓉;HITS算法與PageRank算法比較分析[J];情報(bào)雜志;2004年02期

2 陳謙;;PageRank算法在孤立點(diǎn)檢測(cè)中的應(yīng)用[J];微型機(jī)與應(yīng)用;2010年24期

3 張毅;張冬梅;;搜索引擎PageRank算法的比較與改進(jìn)[J];科技創(chuàng)新導(dǎo)報(bào);2008年21期

4 余潤(rùn)海;;PageRank算法在網(wǎng)頁搜索中的實(shí)現(xiàn)[J];考試周刊;2009年24期

5 張光年;李茂青;;基于PageRank算法的一種搜索引擎優(yōu)化方法及實(shí)現(xiàn)[J];科技信息;2007年04期

6 宋聚平,王永成,尹中航,滕偉;對(duì)網(wǎng)頁P(yáng)ageRank算法的改進(jìn)[J];上海交通大學(xué)學(xué)報(bào);2003年03期

7 李永亮;黃曙光;鮑蕾;;一種基于PageRank算法和知網(wǎng)的詞義消歧方法[J];計(jì)算機(jī)應(yīng)用與軟件;2011年05期

8 孟瑞玲;;個(gè)性化PageRank算法在圖書館智能搜索引擎中的實(shí)現(xiàn)[J];現(xiàn)代情報(bào);2010年07期

9 王兵;許少華;張興旺;;基于改進(jìn)PageRank算法的管道專業(yè)搜索引擎系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J];大慶石油學(xué)院學(xué)報(bào);2007年01期

10 李強(qiáng);王申康;;一種基于PageRank算法原理的會(huì)員人氣度排序算法[J];計(jì)算機(jī)系統(tǒng)應(yīng)用;2008年01期

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫 前5條

1 許彬;基于增強(qiáng)型類PageRank算法的搜索引擎的研究與設(shè)計(jì)[D];武漢理工大學(xué);2014年

2 袁方;基于改進(jìn)PageRank算法的個(gè)性化搜索的研究[D];北京郵電大學(xué);2012年

3 于美婷;基于改進(jìn)PageRank算法的給水管網(wǎng)改造技術(shù)研究[D];哈爾濱工業(yè)大學(xué);2014年

4 王曉梅;惡意URL檢測(cè)項(xiàng)目中基于PageRank算法的網(wǎng)絡(luò)爬蟲的設(shè)計(jì)和實(shí)現(xiàn)[D];北京郵電大學(xué);2010年

5 陳謙;一種基于PageRank算法的孤立點(diǎn)檢測(cè)方法及應(yīng)用[D];暨南大學(xué);2011年

相關(guān)機(jī)構(gòu)

>北京郵電大學(xué)

>暨南大學(xué)

>哈爾濱工業(yè)大學(xué)

>武漢理工大學(xué)

相關(guān)作者

>王曉梅 >于美婷

>袁方 >許彬

>陳謙

《中國(guó)學(xué)術(shù)期刊（光盤版）》電子雜志社有限公司
同方知網(wǎng)數(shù)字出版技術(shù)股份有限公司
地址：北京清華大學(xué) 84-48信箱 大眾知識(shí)服務(wù)
京ICP證040441號(hào)
互聯(lián)網(wǎng)出版許可證 新出網(wǎng)證（京）字008號(hào)
出版物經(jīng)營(yíng)許可證 新出發(fā)京批字第直0595號(hào)

訂購熱線：400-819-9993 010-62982499
服務(wù)熱線：010-62985026 010-62791813
在線咨詢：
傳真：010-62780361
京公網(wǎng)安備11010802020475號(hào)

  本文關(guān)鍵詞：基于增強(qiáng)型類PageRank算法的搜索引擎的研究與設(shè)計(jì)，由筆耕文化傳播整理發(fā)布。

，

本文編號(hào)：129047