本文關(guān)鍵詞：PageRank算法的并行實(shí)現(xiàn)

  更多相關(guān)文章： 搜索引擎 PageRank 并行實(shí)現(xiàn) Hadoop MapReduce

【摘要】：針對(duì)當(dāng)前大數(shù)據(jù)時(shí)代的背景,信息數(shù)據(jù)的海量化現(xiàn)象與日俱增,為了實(shí)現(xiàn)數(shù)據(jù)搜索的低成本、高效率,對(duì)Google搜索引擎的PageRank算法進(jìn)行了綜合性的研究分析,分別介紹了MapReduce框架和Hadoop實(shí)現(xiàn)平臺(tái),在此基礎(chǔ)上,在Hadoop平臺(tái)詳細(xì)分析了基于MapReduce的PageRank算法的并行實(shí)現(xiàn)過程,以實(shí)現(xiàn)海量數(shù)據(jù)的并行處理,極大地提高了搜索引擎的性能.
【作者單位】： 太原師范學(xué)院計(jì)算機(jī)科學(xué)與技術(shù)系;
【關(guān)鍵詞】： 搜索引擎 PageRank 并行實(shí)現(xiàn) Hadoop MapReduce
【基金】：山西省大學(xué)生創(chuàng)新項(xiàng)目 山西省科技基礎(chǔ)條件平臺(tái)建設(shè)項(xiàng)目(2012091003-0104) 山西省科技攻關(guān)計(jì)劃項(xiàng)目(20110321024-02)
【分類號(hào)】：TP391.3
【正文快照】： 隨著Internet的迅速發(fā)展和網(wǎng)絡(luò)技術(shù)的大面積膨脹,網(wǎng)絡(luò)成為了我們獲取信息的主要來源之一.人們逐漸地傾向于借助網(wǎng)絡(luò)搜索引擎來得到自己需要的信息.Google搜索引擎的PageRank算法出現(xiàn),從根本上解決了人們盲目搜索的一種現(xiàn)象.在1998年,斯坦福大學(xué)的Sergey Brin和Lawrence Page讓

【參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前6條

1 李建江;崔健;王聃;嚴(yán)林;黃義雙;;MapReduce并行編程模型研究綜述[J];電子學(xué)報(bào);2011年11期

2 王德廣;周志剛;梁旭;;PageRank算法的分析及其改進(jìn)[J];計(jì)算機(jī)工程;2010年22期

3 李成華;張新訪;金海;向文;;MapReduce:新型的分布式并行計(jì)算編程模型[J];計(jì)算機(jī)工程與科學(xué);2011年03期

4 梁正友;潘濤;;Nutch中PageRank的并行實(shí)現(xiàn)[J];計(jì)算機(jī)工程與設(shè)計(jì);2010年20期

5 謝桂蘭;羅省賢;;基于Hadoop MapReduce模型的應(yīng)用研究[J];微型機(jī)與應(yīng)用;2010年08期

6 陳宮;牛秦洲;;基于MapReduce的PageRank算法的研究[J];微電子學(xué)與計(jì)算機(jī);2012年05期

【共引文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 高飛;張琦;李澤強(qiáng);;基于云計(jì)算技術(shù)的影視節(jié)目版權(quán)交易云平臺(tái)的構(gòu)建[J];廣播與電視技術(shù);2012年07期

2 李建敦;彭俊杰;張武;;云存儲(chǔ)中一種基于布局的虛擬磁盤節(jié)能調(diào)度方法[J];電子學(xué)報(bào);2012年11期

3 吳建軍;;網(wǎng)絡(luò)輿情的云計(jì)算監(jiān)測(cè)模式分析與實(shí)現(xiàn)[J];電訊技術(shù);2013年04期

4 嚴(yán)磊;馬勇男;丁賓;鄭濤;;垂直搜索引擎之主題網(wǎng)絡(luò)爬蟲[J];福建電腦;2013年03期

5 王偉;;大數(shù)據(jù)分析——RDBMS與MapReduce的競爭與共生漫談[J];計(jì)算機(jī)光盤軟件與應(yīng)用;2013年07期

6 李亮;;全臺(tái)網(wǎng)環(huán)境下的云視頻素材轉(zhuǎn)碼系統(tǒng)的設(shè)計(jì)[J];電視技術(shù);2013年10期

7 鄒青春;;基于云計(jì)算環(huán)境的考試數(shù)據(jù)挖掘算法研究[J];信息安全與技術(shù);2013年07期

8 蘇韋;李景文;劉華堯;張海英;歐陽云;;基于MapReduce的時(shí)空數(shù)據(jù)模型設(shè)計(jì)方法[J];測(cè)繪與空間地理信息;2013年07期

9 王蘇衛(wèi);;基于Hadoop和Hive的電信行業(yè)數(shù)據(jù)倉庫研究[J];電子技術(shù)與軟件工程;2013年11期

10 謝峰;;基于Hadoop的云存儲(chǔ)平臺(tái)設(shè)計(jì)研究[J];電子技術(shù)與軟件工程;2013年16期

中國重要會(huì)議論文全文數(shù)據(jù)庫 前2條

1 陳德華;解維;李悅;;面向大規(guī)模圖數(shù)據(jù)的分布式并行聚類算法研究[A];第29屆中國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（B輯）（NDBC2012）[C];2012年

2 高飛;張琦;李澤強(qiáng);;基于云計(jì)算技術(shù)的影視節(jié)目版權(quán)交易云平臺(tái)的構(gòu)建[A];中國新聞技術(shù)工作者聯(lián)合會(huì)2013年學(xué)術(shù)年會(huì)、五屆五次理事會(huì)暨第六屆“王選新聞科學(xué)技術(shù)獎(jiǎng)”和優(yōu)秀論文獎(jiǎng)?lì)C獎(jiǎng)大會(huì)論文集（廣電篇）[C];2013年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 范先爽;基于個(gè)性化服務(wù)的汽車信息搜索引擎的研究[D];武漢理工大學(xué);2011年

2 文軍艦;基于Nutch的Web結(jié)構(gòu)挖掘算法研究[D];天津財(cái)經(jīng)大學(xué);2011年

3 馬燕;基于快速相似度的Web結(jié)構(gòu)挖掘的研究[D];南京信息工程大學(xué);2011年

4 徐風(fēng);移動(dòng)公司云計(jì)算平臺(tái)原型的構(gòu)建與測(cè)試[D];中南大學(xué);2010年

5 廖玉蘭;基于分布式的決策樹方法研究[D];電子科技大學(xué);2011年

6 李遠(yuǎn)方;基于云計(jì)算的Web結(jié)構(gòu)挖掘算法研究[D];云南大學(xué);2011年

7 王毅;基于Hadoop的Slope One及其改進(jìn)算法實(shí)現(xiàn)[D];西南交通大學(xué);2011年

8 蘇曉輝;構(gòu)件垂直搜索引擎的關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2011年

9 陳勃;基于Nutch的企業(yè)搜索引擎的研究與實(shí)現(xiàn)[D];華中科技大學(xué);2011年

10 李海波;基于MapReduce框架的分布式網(wǎng)絡(luò)爬行器研究[D];哈爾濱工程大學(xué);2011年

【二級(jí)參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 寧煥生;張瑜;劉芳麗;劉文明;渠慎豐;;中國物聯(lián)網(wǎng)信息服務(wù)系統(tǒng)研究[J];電子學(xué)報(bào);2006年S1期

2 廖名學(xué);范植華;;MPI程序同步通信基本模型死鎖檢測(cè)[J];電子學(xué)報(bào);2008年02期

3 寧煥生;徐群玉;;全球物聯(lián)網(wǎng)發(fā)展及中國物聯(lián)網(wǎng)建設(shè)若干思考[J];電子學(xué)報(bào);2010年11期

4 黃德才;戚華春;;PageRank算法研究[J];計(jì)算機(jī)工程;2006年04期

5 張蓉;;Web挖掘技術(shù)研究[J];計(jì)算機(jī)工程;2006年15期

6 田甜;倪林;;基于PageRank算法的權(quán)威值不均衡分配問題[J];計(jì)算機(jī)工程;2007年18期

7 焦金濤;;基于PageRank的Web挖掘改進(jìn)算法[J];計(jì)算機(jī)工程;2009年15期

8 葛玲;蔣宗禮;;基于共現(xiàn)詞查詢的主題爬蟲研究[J];計(jì)算機(jī)工程;2010年08期

9 周鋒;李旭偉;;一種改進(jìn)的MapReduce并行編程模型[J];科協(xié)論壇(下半月);2009年02期

10 楊彬;康慕寧;;基于概念的權(quán)重PageRank改進(jìn)算法[J];情報(bào)雜志;2006年11期

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前1條

1 高勛;基于云計(jì)算的Web結(jié)構(gòu)挖掘算法研究[D];北京交通大學(xué);2010年

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 蔡建超;蔡明;;搜索引擎PageRank算法研究[J];計(jì)算機(jī)應(yīng)用與軟件;2008年09期

2 付真真;陸偉;;基于關(guān)鍵詞的搜索引擎優(yōu)化策略及效果分析[J];現(xiàn)代圖書情報(bào)技術(shù);2009年06期

3 陳謙;;PageRank算法在孤立點(diǎn)檢測(cè)中的應(yīng)用[J];微型機(jī)與應(yīng)用;2010年24期

4 張毅;張冬梅;;搜索引擎PageRank算法的比較與改進(jìn)[J];科技創(chuàng)新導(dǎo)報(bào);2008年21期

5 潘大勝;;面向校園網(wǎng)搜索引擎的PageRank改進(jìn)算法[J];湖南文理學(xué)院學(xué)報(bào)(自然科學(xué)版);2009年01期

6 洪田玉;陳志剛;;一種跨語言的自動(dòng)摘要技術(shù)[J];電腦與信息技術(shù);2009年04期

7 林元元;;搜索引擎優(yōu)化技術(shù)(SEO)的應(yīng)用[J];軟件導(dǎo)刊;2009年11期

8 程傳鵬;鄭源;;基于元搜索的主題式WebCrawler的研究[J];中原工學(xué)院學(xué)報(bào);2006年02期

9 張光年;李茂青;;基于PageRank算法的一種搜索引擎優(yōu)化方法及實(shí)現(xiàn)[J];科技信息;2007年04期

10 嚴(yán)宏偉;何俊;;基于房源分析系統(tǒng)的垂直搜索引擎關(guān)鍵技術(shù)的探討[J];中國科技信息;2007年05期

中國重要會(huì)議論文全文數(shù)據(jù)庫 前10條

1 藺繼國;徐錫山;;一種基于用戶點(diǎn)擊數(shù)據(jù)的個(gè)性化PageRank算法[A];第六屆全國信息檢索學(xué)術(shù)會(huì)議論文集[C];2010年

2 劉建毅;王菁華;王樅;;基于語言網(wǎng)絡(luò)的關(guān)鍵詞抽取[A];第三屆全國信息檢索與內(nèi)容安全學(xué)術(shù)會(huì)議論文集[C];2007年

3 劉菁菁;林鴻飛;楊志豪;;基于PageRank和錨文本的網(wǎng)頁排序研究[A];第三屆學(xué)生計(jì)算語言學(xué)研討會(huì)論文集[C];2006年

4 陸勇;侯漢清;;基于詞典注釋的漢語同義詞自動(dòng)識(shí)別[A];NCIRCS2004第一屆全國信息檢索與內(nèi)容安全學(xué)術(shù)會(huì)議論文集[C];2004年

5 楊磊;束罡;牛振東;;基于引力模型的鏈接分析(英文)[A];第三屆全國信息檢索與內(nèi)容安全學(xué)術(shù)會(huì)議論文集[C];2007年

6 馮迪;李晉宏;曹原;;基于網(wǎng)頁的數(shù)據(jù)挖掘研究[A];2007通信理論與技術(shù)新發(fā)展——第十二屆全國青年通信學(xué)術(shù)會(huì)議論文集（上冊(cè)）[C];2007年

7 黃云平;孫樂;李文波;;基于上下文圖模型文本表示的文本分類研究[A];第四屆全國信息檢索與內(nèi)容安全學(xué)術(shù)會(huì)議論文集（上）[C];2008年

8 劉松彬;都云程;施水才;;基于分解轉(zhuǎn)移矩陣的PageRank迭代計(jì)算方法[A];內(nèi)容計(jì)算的研究與應(yīng)用前沿——第九屆全國計(jì)算語言學(xué)學(xué)術(shù)會(huì)議論文集[C];2007年

9 張星星;穗志方;;基于網(wǎng)頁中深度并列結(jié)構(gòu)的實(shí)例提取算法[A];中國計(jì)算語言學(xué)研究前沿進(jìn)展（2009-2011）[C];2011年

10 張志強(qiáng);梁婷婷;謝曉芹;;一種基于用戶標(biāo)記的搜索結(jié)果排序算法[A];第26屆中國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（B輯）[C];2009年

中國重要報(bào)紙全文數(shù)據(jù)庫 前1條

1 李映　哲一 （本報(bào)記者 李映）;微軟雅虎結(jié)盟 搜索市場(chǎng)風(fēng)云再起[N];中國電子報(bào);2009年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 王菁華;文本中知識(shí)的獲取[D];北京郵電大學(xué);2008年

2 張勇實(shí);基于鏈接相似性分析的WEB結(jié)構(gòu)挖掘方法研究[D];哈爾濱工程大學(xué);2012年

3 張金松;基于引文上下文分析的文獻(xiàn)檢索技術(shù)研究[D];大連海事大學(xué);2013年

4 于紅;Web結(jié)構(gòu)挖掘與高維數(shù)據(jù)挖掘研究[D];大連理工大學(xué);2012年

5 劉淇;基于用戶興趣建模的推薦方法及應(yīng)用研究[D];中國科學(xué)技術(shù)大學(xué);2013年

6 俞唯仁;普適的結(jié)構(gòu)相似度在大規(guī)模網(wǎng)絡(luò)中的計(jì)算優(yōu)化技術(shù)研究[D];東華大學(xué);2012年

7 陳浩;Web搜索的用戶興趣與智能優(yōu)化研究[D];中南大學(xué);2012年

8 孟佳娜;遷移學(xué)習(xí)在文本分類中的應(yīng)用研究[D];大連理工大學(xué);2011年

9 韋福如;基于圖模型多文檔自動(dòng)文摘研究[D];武漢大學(xué);2009年

10 單棟棟;搜索引擎中索引剪枝的研究[D];北京大學(xué);2013年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 姜sバ，

本文編號(hào)：622212