本文關(guān)鍵詞：基于MPI的分布式搜索引擎設(shè)計與實現(xiàn)，由筆耕文化傳播整理發(fā)布。

《大連理工大學(xué)》 2013年

基于MPI的分布式搜索引擎設(shè)計與實現(xiàn)

崔秀峰  

【摘要】：當今世界已經(jīng)處在了信息時代,隨著信息技術(shù)尤其是互聯(lián)網(wǎng)技術(shù)的發(fā)展,全世界范圍內(nèi)的互聯(lián)網(wǎng)信息總量一直處于爆炸式的增長。巨大的信息量,已經(jīng)讓人們無法從海量信息里找到自己當前最需要的內(nèi)容。正是在這樣的背景下,搜索引擎開始在人們的網(wǎng)絡(luò)使用中占據(jù)了越來越重要的地位。 教育網(wǎng)內(nèi)的資源對于高校內(nèi)部的用戶來說非常有價值,但是卻是目前主流商用搜索引擎較為忽略的地方。本文的目標就是設(shè)計一個專門使用在教育網(wǎng)內(nèi)的搜索引擎,先期服務(wù)目標是一個高校范圍內(nèi)的網(wǎng)頁搜索,進而對系統(tǒng)進行擴展,以期提供對整個教育網(wǎng)的網(wǎng)頁搜索服務(wù)。 在對搜索引擎技術(shù)進行深入學(xué)習(xí)研究的基礎(chǔ)上,本文給出了一種基于MPI消息傳遞機制的分布式搜索引擎的設(shè)計,并實現(xiàn)了其中的幾大關(guān)鍵模塊。整個搜索引擎系統(tǒng)全部采用分布式架構(gòu),具備良好的可擴展性。本文在最終成型的系統(tǒng)中,設(shè)計實現(xiàn)了基于MPI的分布式PageRank算法,并完成了對大量數(shù)據(jù)的計算；設(shè)計實現(xiàn)了基于MPI的分布式倒排索引算法,并在數(shù)據(jù)處理上使用了MapReduce計算模型。

【關(guān)鍵詞】：
【學(xué)位授予單位】：大連理工大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2013
【分類號】：TP391.3
【目錄】：

下載全文 更多同類文獻

CAJ全文下載

(如何獲取全文？ 歡迎：購買知網(wǎng)充值卡、在線充值、在線咨詢)

CAJViewer閱讀器支持CAJ、PDF文件格式

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 易清亮;劉克劍;蔡祖戀;;基于P2P技術(shù)的大型分布式FTP搜索引擎研究[J];廣西師范大學(xué)學(xué)報(自然科學(xué)版);2010年01期

2 趙仲孟,張選平;分布式檢索中索引數(shù)據(jù)分布模型與求解方法[J];計算機工程與設(shè)計;2005年08期

3 王世卿;王二紅;李洵;;分布式圖像檢索引擎研究[J];微計算機信息;2007年27期

4 崔鳳雷;;郭一平:鎖定搜索引擎研發(fā)方向,締造域內(nèi)資源整合系統(tǒng)[J];高校圖書館工作;2006年02期

5 李華平;周國祥;;基于MIDAS技術(shù)的園區(qū)網(wǎng)搜索系統(tǒng)設(shè)計[J];巢湖學(xué)院學(xué)報;2008年03期

6 夏旭;生物醫(yī)學(xué)搜索引擎分類現(xiàn)狀、原則及其實踐[J];醫(yī)學(xué)情報工作;2002年01期

7 余少云;;搜索引擎的發(fā)展趨勢[J];福建電腦;2006年06期

8 張蓮梅,陳紅梅,許繼紅,楊璃,李凌;基于分布式電力資源庫的搜索引擎框架設(shè)計[J];電力信息化;2005年03期

9 曾宜禮;;搜索引擎技術(shù)綜述[J];科技情報開發(fā)與經(jīng)濟;2007年06期

10 封碩;趙捧未;施水才;;基于RSS的分布式博客搜索引擎的研究[J];情報雜志;2007年08期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 彭軻;廖聞劍;;淺析搜索引擎[A];中國通信學(xué)會第五屆學(xué)術(shù)年會論文集[C];2008年

2 李丹;;如何利用搜索引擎查找中醫(yī)藥信息[A];中國中醫(yī)藥信息研究會第二屆理事大會暨學(xué)術(shù)交流會議論文匯編[C];2003年

3 鄧長壽;郭景峰;楊焱林;鄧安遠;;下一代Web搜索引擎初探[A];第十八屆全國數(shù)據(jù)庫學(xué)術(shù)會議論文集（研究報告篇）[C];2001年

4 維尼拉·木沙江;吐爾洪·吾司曼;;維、哈、柯文搜索引擎中網(wǎng)頁爬行器的設(shè)計與實現(xiàn)[A];少數(shù)民族青年自然語言處理技術(shù)研究與進展——第三屆全國少數(shù)民族青年自然語言信息處理、第二屆全國多語言知識庫建設(shè)聯(lián)合學(xué)術(shù)研討會論文集[C];2010年

5 陶冶;劉建勛;唐明董;;基于Map/Reduce的分布式Web服務(wù)搜索引擎設(shè)計與實現(xiàn)[A];CCF NCSC 2011——第二屆中國計算機學(xué)會服務(wù)計算學(xué)術(shù)會議論文集[C];2011年

6 湯薇;曾艷;;構(gòu)建校園網(wǎng)搜索引擎必要性分析[A];廣西計算機學(xué)會2008年年會論文集[C];2008年

7 姚樹宇;趙少東;;一種使用分布式技術(shù)的搜索引擎[A];2005年全國開放式分布與并行計算學(xué)術(shù)會議論文集[C];2005年

8 倪俊峰;;基于黃頁搜索引擎的關(guān)鍵字排名廣告系統(tǒng)的設(shè)計與實現(xiàn)[A];2005年中國索引學(xué)會年會暨學(xué)術(shù)研討會論文集[C];2005年

9 張怡;查貴庭;;SEO在信息服務(wù)中的應(yīng)用研究[A];2010年中國索引學(xué)會年會暨學(xué)術(shù)研討會論文集[C];2010年

10 陳援非;何哲;朱珍民;;基于普適計算的個性化搜索技術(shù)[A];第二屆和諧人機環(huán)境聯(lián)合學(xué)術(shù)會議(HHME2006)——第2屆中國普適計算學(xué)術(shù)會議(PCC'06)論文集[C];2006年

中國重要報紙全文數(shù)據(jù)庫 前10條

1 李一鑫;[N];財經(jīng)時報;2007年

2 周文林;[N];經(jīng)濟參考報;2007年

3 惠正一;[N];第一財經(jīng)日報;2005年

4 賽迪顧問股份有限公司互聯(lián)網(wǎng)與電子商務(wù)咨詢中心 常燕杰;[N];中國計算機報;2005年

5 陳珊;[N];人民郵電;2005年

6 趙法忠;[N];中國經(jīng)營報;2005年

7 金朝力;[N];北京商報;2006年

8 本報記者　 趙曉輝 孟昭麗;[N];中國證券報;2006年

9 孫琎;[N];第一財經(jīng)日報;2006年

10 姜蕊;[N];中國高新技術(shù)產(chǎn)業(yè)導(dǎo)報;2006年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 劉佐達;分布協(xié)作式搜索引擎模型及算法研究[D];清華大學(xué);2011年

2 陳旭毅;基于索引云的企業(yè)搜索引擎實現(xiàn)研究[D];武漢大學(xué);2011年

3 岑榮偉;基于用戶行為分析的搜索引擎評價研究[D];清華大學(xué);2010年

4 李群;主題搜索引擎聚類算法的研究[D];北京林業(yè)大學(xué);2011年

5 蘇君華;面向搜索引擎的技術(shù)接受模型研究[D];南京大學(xué);2011年

6 郭眈;中文互聯(lián)網(wǎng)視頻搜索引擎系統(tǒng)策略研究[D];北京交通大學(xué);2012年

7 王镠璞;基于用戶體驗的互聯(lián)網(wǎng)搜索引擎醫(yī)學(xué)信息檢索可用性評估研究[D];吉林大學(xué);2010年

8 李莎莎;面向搜索引擎的自然語言處理關(guān)鍵技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2011年

9 白玉琪;空間信息搜索引擎研究[D];中國科學(xué)院研究生院（遙感應(yīng)用研究所）;2003年

10 費巍;搜索引擎檢索功能的性能評價研究[D];武漢大學(xué);2010年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 薛云;Internet上元搜索引擎的研究與設(shè)計[D];太原理工大學(xué);2003年

2 王春花;基于Nutch的農(nóng)業(yè)搜索引擎檢索結(jié)果排序策略的研究[D];西北農(nóng)林科技大學(xué);2010年

3 李雷;基于Nutch的農(nóng)業(yè)信息搜索引擎實現(xiàn)和優(yōu)化[D];吉林大學(xué);2011年

4 董晨;基于模糊聚類的個性化搜索引擎的研究[D];福州大學(xué);2005年

5 封俊;基于Hadoop的分布式搜索引擎研究與實現(xiàn)[D];太原理工大學(xué);2010年

6 李浩;分布式教育網(wǎng)信息檢索系統(tǒng)的研究和實現(xiàn)[D];華南理工大學(xué);2010年

7 尉建興;基于Lucene搜索引擎的研究與應(yīng)用[D];太原理工大學(xué);2011年

8 李建平;智能化WEB信息搜索引擎的研究與實現(xiàn)[D];大慶石油學(xué)院;2003年

9 田生偉;基于涉農(nóng)詞典的搜索引擎的研究與實踐[D];新疆大學(xué);2004年

10 歐建斌;基于Web挖掘與信息分類的個性化搜索引擎研究[D];暨南大學(xué);2010年

  本文關(guān)鍵詞：基于MPI的分布式搜索引擎設(shè)計與實現(xiàn)，，由筆耕文化傳播整理發(fā)布。