本文關(guān)鍵詞：基于MPI的分布式搜索引擎設(shè)計(jì)與實(shí)現(xiàn)，由筆耕文化傳播整理發(fā)布。

《大連理工大學(xué)》 2013年

基于MPI的分布式搜索引擎設(shè)計(jì)與實(shí)現(xiàn)

崔秀峰  

【摘要】：當(dāng)今世界已經(jīng)處在了信息時(shí)代,隨著信息技術(shù)尤其是互聯(lián)網(wǎng)技術(shù)的發(fā)展,全世界范圍內(nèi)的互聯(lián)網(wǎng)信息總量一直處于爆炸式的增長(zhǎng)。巨大的信息量,已經(jīng)讓人們無(wú)法從海量信息里找到自己當(dāng)前最需要的內(nèi)容。正是在這樣的背景下,搜索引擎開(kāi)始在人們的網(wǎng)絡(luò)使用中占據(jù)了越來(lái)越重要的地位。 教育網(wǎng)內(nèi)的資源對(duì)于高校內(nèi)部的用戶來(lái)說(shuō)非常有價(jià)值,但是卻是目前主流商用搜索引擎較為忽略的地方。本文的目標(biāo)就是設(shè)計(jì)一個(gè)專(zhuān)門(mén)使用在教育網(wǎng)內(nèi)的搜索引擎,先期服務(wù)目標(biāo)是一個(gè)高校范圍內(nèi)的網(wǎng)頁(yè)搜索,進(jìn)而對(duì)系統(tǒng)進(jìn)行擴(kuò)展,以期提供對(duì)整個(gè)教育網(wǎng)的網(wǎng)頁(yè)搜索服務(wù)。 在對(duì)搜索引擎技術(shù)進(jìn)行深入學(xué)習(xí)研究的基礎(chǔ)上,本文給出了一種基于MPI消息傳遞機(jī)制的分布式搜索引擎的設(shè)計(jì),并實(shí)現(xiàn)了其中的幾大關(guān)鍵模塊。整個(gè)搜索引擎系統(tǒng)全部采用分布式架構(gòu),具備良好的可擴(kuò)展性。本文在最終成型的系統(tǒng)中,設(shè)計(jì)實(shí)現(xiàn)了基于MPI的分布式PageRank算法,并完成了對(duì)大量數(shù)據(jù)的計(jì)算；設(shè)計(jì)實(shí)現(xiàn)了基于MPI的分布式倒排索引算法,并在數(shù)據(jù)處理上使用了MapReduce計(jì)算模型。

【關(guān)鍵詞】：
【學(xué)位授予單位】：大連理工大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2013
【分類(lèi)號(hào)】：TP391.3
【目錄】：

下載全文 更多同類(lèi)文獻(xiàn)

CAJ全文下載

(如何獲取全文？ 歡迎：購(gòu)買(mǎi)知網(wǎng)充值卡、在線充值、在線咨詢)

CAJViewer閱讀器支持CAJ、PDF文件格式

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 易清亮;劉克劍;蔡祖戀;;基于P2P技術(shù)的大型分布式FTP搜索引擎研究[J];廣西師范大學(xué)學(xué)報(bào)(自然科學(xué)版);2010年01期

2 趙仲孟,張選平;分布式檢索中索引數(shù)據(jù)分布模型與求解方法[J];計(jì)算機(jī)工程與設(shè)計(jì);2005年08期

3 王世卿;王二紅;李洵;;分布式圖像檢索引擎研究[J];微計(jì)算機(jī)信息;2007年27期

4 崔鳳雷;;郭一平:鎖定搜索引擎研發(fā)方向,締造域內(nèi)資源整合系統(tǒng)[J];高校圖書(shū)館工作;2006年02期

5 李華平;周?chē)?guó)祥;;基于MIDAS技術(shù)的園區(qū)網(wǎng)搜索系統(tǒng)設(shè)計(jì)[J];巢湖學(xué)院學(xué)報(bào);2008年03期

6 夏旭;生物醫(yī)學(xué)搜索引擎分類(lèi)現(xiàn)狀、原則及其實(shí)踐[J];醫(yī)學(xué)情報(bào)工作;2002年01期

7 余少云;;搜索引擎的發(fā)展趨勢(shì)[J];福建電腦;2006年06期

8 張蓮梅,陳紅梅,許繼紅,楊璃,李凌;基于分布式電力資源庫(kù)的搜索引擎框架設(shè)計(jì)[J];電力信息化;2005年03期

9 曾宜禮;;搜索引擎技術(shù)綜述[J];科技情報(bào)開(kāi)發(fā)與經(jīng)濟(jì);2007年06期

10 封碩;趙捧未;施水才;;基于RSS的分布式博客搜索引擎的研究[J];情報(bào)雜志;2007年08期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前10條

1 彭軻;廖聞劍;;淺析搜索引擎[A];中國(guó)通信學(xué)會(huì)第五屆學(xué)術(shù)年會(huì)論文集[C];2008年

2 李丹;;如何利用搜索引擎查找中醫(yī)藥信息[A];中國(guó)中醫(yī)藥信息研究會(huì)第二屆理事大會(huì)暨學(xué)術(shù)交流會(huì)議論文匯編[C];2003年

3 鄧長(zhǎng)壽;郭景峰;楊焱林;鄧安遠(yuǎn);;下一代Web搜索引擎初探[A];第十八屆全國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2001年

4 維尼拉·木沙江;吐?tīng)柡椤の崴韭?;維、哈、柯文搜索引擎中網(wǎng)頁(yè)爬行器的設(shè)計(jì)與實(shí)現(xiàn)[A];少數(shù)民族青年自然語(yǔ)言處理技術(shù)研究與進(jìn)展——第三屆全國(guó)少數(shù)民族青年自然語(yǔ)言信息處理、第二屆全國(guó)多語(yǔ)言知識(shí)庫(kù)建設(shè)聯(lián)合學(xué)術(shù)研討會(huì)論文集[C];2010年

5 陶冶;劉建勛;唐明董;;基于Map/Reduce的分布式Web服務(wù)搜索引擎設(shè)計(jì)與實(shí)現(xiàn)[A];CCF NCSC 2011——第二屆中國(guó)計(jì)算機(jī)學(xué)會(huì)服務(wù)計(jì)算學(xué)術(shù)會(huì)議論文集[C];2011年

6 湯薇;曾艷;;構(gòu)建校園網(wǎng)搜索引擎必要性分析[A];廣西計(jì)算機(jī)學(xué)會(huì)2008年年會(huì)論文集[C];2008年

7 姚樹(shù)宇;趙少東;;一種使用分布式技術(shù)的搜索引擎[A];2005年全國(guó)開(kāi)放式分布與并行計(jì)算學(xué)術(shù)會(huì)議論文集[C];2005年

8 倪俊峰;;基于黃頁(yè)搜索引擎的關(guān)鍵字排名廣告系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[A];2005年中國(guó)索引學(xué)會(huì)年會(huì)暨學(xué)術(shù)研討會(huì)論文集[C];2005年

9 張怡;查貴庭;;SEO在信息服務(wù)中的應(yīng)用研究[A];2010年中國(guó)索引學(xué)會(huì)年會(huì)暨學(xué)術(shù)研討會(huì)論文集[C];2010年

10 陳援非;何哲;朱珍民;;基于普適計(jì)算的個(gè)性化搜索技術(shù)[A];第二屆和諧人機(jī)環(huán)境聯(lián)合學(xué)術(shù)會(huì)議(HHME2006)——第2屆中國(guó)普適計(jì)算學(xué)術(shù)會(huì)議(PCC'06)論文集[C];2006年

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫(kù) 前10條

1 李一鑫;[N];財(cái)經(jīng)時(shí)報(bào);2007年

2 周文林;[N];經(jīng)濟(jì)參考報(bào);2007年

3 惠正一;[N];第一財(cái)經(jīng)日?qǐng)?bào);2005年

4 賽迪顧問(wèn)股份有限公司互聯(lián)網(wǎng)與電子商務(wù)咨詢中心 常燕杰;[N];中國(guó)計(jì)算機(jī)報(bào);2005年

5 陳珊;[N];人民郵電;2005年

6 趙法忠;[N];中國(guó)經(jīng)營(yíng)報(bào);2005年

7 金朝力;[N];北京商報(bào);2006年

8 本報(bào)記者　 趙曉輝 孟昭麗;[N];中國(guó)證券報(bào);2006年

9 孫琎;[N];第一財(cái)經(jīng)日?qǐng)?bào);2006年

10 姜蕊;[N];中國(guó)高新技術(shù)產(chǎn)業(yè)導(dǎo)報(bào);2006年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 劉佐達(dá);分布協(xié)作式搜索引擎模型及算法研究[D];清華大學(xué);2011年

2 陳旭毅;基于索引云的企業(yè)搜索引擎實(shí)現(xiàn)研究[D];武漢大學(xué);2011年

3 岑榮偉;基于用戶行為分析的搜索引擎評(píng)價(jià)研究[D];清華大學(xué);2010年

4 李群;主題搜索引擎聚類(lèi)算法的研究[D];北京林業(yè)大學(xué);2011年

5 蘇君華;面向搜索引擎的技術(shù)接受模型研究[D];南京大學(xué);2011年

6 郭眈;中文互聯(lián)網(wǎng)視頻搜索引擎系統(tǒng)策略研究[D];北京交通大學(xué);2012年

7 王镠璞;基于用戶體驗(yàn)的互聯(lián)網(wǎng)搜索引擎醫(yī)學(xué)信息檢索可用性評(píng)估研究[D];吉林大學(xué);2010年

8 李莎莎;面向搜索引擎的自然語(yǔ)言處理關(guān)鍵技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2011年

9 白玉琪;空間信息搜索引擎研究[D];中國(guó)科學(xué)院研究生院（遙感應(yīng)用研究所）;2003年

10 費(fèi)巍;搜索引擎檢索功能的性能評(píng)價(jià)研究[D];武漢大學(xué);2010年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 薛云;Internet上元搜索引擎的研究與設(shè)計(jì)[D];太原理工大學(xué);2003年

2 王春花;基于Nutch的農(nóng)業(yè)搜索引擎檢索結(jié)果排序策略的研究[D];西北農(nóng)林科技大學(xué);2010年

3 李雷;基于Nutch的農(nóng)業(yè)信息搜索引擎實(shí)現(xiàn)和優(yōu)化[D];吉林大學(xué);2011年

4 董晨;基于模糊聚類(lèi)的個(gè)性化搜索引擎的研究[D];福州大學(xué);2005年

5 封俊;基于Hadoop的分布式搜索引擎研究與實(shí)現(xiàn)[D];太原理工大學(xué);2010年

6 李浩;分布式教育網(wǎng)信息檢索系統(tǒng)的研究和實(shí)現(xiàn)[D];華南理工大學(xué);2010年

7 尉建興;基于Lucene搜索引擎的研究與應(yīng)用[D];太原理工大學(xué);2011年

8 李建平;智能化WEB信息搜索引擎的研究與實(shí)現(xiàn)[D];大慶石油學(xué)院;2003年

9 田生偉;基于涉農(nóng)詞典的搜索引擎的研究與實(shí)踐[D];新疆大學(xué);2004年

10 歐建斌;基于Web挖掘與信息分類(lèi)的個(gè)性化搜索引擎研究[D];暨南大學(xué);2010年

  本文關(guān)鍵詞：基于MPI的分布式搜索引擎設(shè)計(jì)與實(shí)現(xiàn)，，由筆耕文化傳播整理發(fā)布。