本文關鍵詞：PageRank算法的并行實現(xiàn)

  更多相關文章： 搜索引擎 PageRank 并行實現(xiàn) Hadoop MapReduce

【摘要】：針對當前大數(shù)據(jù)時代的背景,信息數(shù)據(jù)的海量化現(xiàn)象與日俱增,為了實現(xiàn)數(shù)據(jù)搜索的低成本、高效率,對Google搜索引擎的PageRank算法進行了綜合性的研究分析,分別介紹了MapReduce框架和Hadoop實現(xiàn)平臺,在此基礎上,在Hadoop平臺詳細分析了基于MapReduce的PageRank算法的并行實現(xiàn)過程,以實現(xiàn)海量數(shù)據(jù)的并行處理,極大地提高了搜索引擎的性能.
【作者單位】： 太原師范學院計算機科學與技術系;
【關鍵詞】： 搜索引擎 PageRank 并行實現(xiàn) Hadoop MapReduce
【基金】：山西省大學生創(chuàng)新項目 山西省科技基礎條件平臺建設項目(2012091003-0104) 山西省科技攻關計劃項目(20110321024-02)
【分類號】：TP391.3
【正文快照】： 隨著Internet的迅速發(fā)展和網(wǎng)絡技術的大面積膨脹,網(wǎng)絡成為了我們獲取信息的主要來源之一.人們逐漸地傾向于借助網(wǎng)絡搜索引擎來得到自己需要的信息.Google搜索引擎的PageRank算法出現(xiàn),從根本上解決了人們盲目搜索的一種現(xiàn)象.在1998年,斯坦福大學的Sergey Brin和Lawrence Page讓

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前6條

1 李建江;崔健;王聃;嚴林;黃義雙;;MapReduce并行編程模型研究綜述[J];電子學報;2011年11期

2 王德廣;周志剛;梁旭;;PageRank算法的分析及其改進[J];計算機工程;2010年22期

3 李成華;張新訪;金海;向文;;MapReduce:新型的分布式并行計算編程模型[J];計算機工程與科學;2011年03期

4 梁正友;潘濤;;Nutch中PageRank的并行實現(xiàn)[J];計算機工程與設計;2010年20期

5 謝桂蘭;羅省賢;;基于Hadoop MapReduce模型的應用研究[J];微型機與應用;2010年08期

6 陳宮;牛秦洲;;基于MapReduce的PageRank算法的研究[J];微電子學與計算機;2012年05期

【共引文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 高飛;張琦;李澤強;;基于云計算技術的影視節(jié)目版權交易云平臺的構建[J];廣播與電視技術;2012年07期

2 李建敦;彭俊杰;張武;;云存儲中一種基于布局的虛擬磁盤節(jié)能調(diào)度方法[J];電子學報;2012年11期

3 吳建軍;;網(wǎng)絡輿情的云計算監(jiān)測模式分析與實現(xiàn)[J];電訊技術;2013年04期

4 嚴磊;馬勇男;丁賓;鄭濤;;垂直搜索引擎之主題網(wǎng)絡爬蟲[J];福建電腦;2013年03期

5 王偉;;大數(shù)據(jù)分析——RDBMS與MapReduce的競爭與共生漫談[J];計算機光盤軟件與應用;2013年07期

6 李亮;;全臺網(wǎng)環(huán)境下的云視頻素材轉碼系統(tǒng)的設計[J];電視技術;2013年10期

7 鄒青春;;基于云計算環(huán)境的考試數(shù)據(jù)挖掘算法研究[J];信息安全與技術;2013年07期

8 蘇韋;李景文;劉華堯;張海英;歐陽云;;基于MapReduce的時空數(shù)據(jù)模型設計方法[J];測繪與空間地理信息;2013年07期

9 王蘇衛(wèi);;基于Hadoop和Hive的電信行業(yè)數(shù)據(jù)倉庫研究[J];電子技術與軟件工程;2013年11期

10 謝峰;;基于Hadoop的云存儲平臺設計研究[J];電子技術與軟件工程;2013年16期

中國重要會議論文全文數(shù)據(jù)庫 前2條

1 陳德華;解維;李悅;;面向大規(guī)模圖數(shù)據(jù)的分布式并行聚類算法研究[A];第29屆中國數(shù)據(jù)庫學術會議論文集（B輯）（NDBC2012）[C];2012年

2 高飛;張琦;李澤強;;基于云計算技術的影視節(jié)目版權交易云平臺的構建[A];中國新聞技術工作者聯(lián)合會2013年學術年會、五屆五次理事會暨第六屆“王選新聞科學技術獎”和優(yōu)秀論文獎頒獎大會論文集（廣電篇）[C];2013年

中國碩士學位論文全文數(shù)據(jù)庫 前10條

1 范先爽;基于個性化服務的汽車信息搜索引擎的研究[D];武漢理工大學;2011年

2 文軍艦;基于Nutch的Web結構挖掘算法研究[D];天津財經(jīng)大學;2011年

3 馬燕;基于快速相似度的Web結構挖掘的研究[D];南京信息工程大學;2011年

4 徐風;移動公司云計算平臺原型的構建與測試[D];中南大學;2010年

5 廖玉蘭;基于分布式的決策樹方法研究[D];電子科技大學;2011年

6 李遠方;基于云計算的Web結構挖掘算法研究[D];云南大學;2011年

7 王毅;基于Hadoop的Slope One及其改進算法實現(xiàn)[D];西南交通大學;2011年

8 蘇曉輝;構件垂直搜索引擎的關鍵技術研究[D];華中科技大學;2011年

9 陳勃;基于Nutch的企業(yè)搜索引擎的研究與實現(xiàn)[D];華中科技大學;2011年

10 李海波;基于MapReduce框架的分布式網(wǎng)絡爬行器研究[D];哈爾濱工程大學;2011年

【二級參考文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 寧煥生;張瑜;劉芳麗;劉文明;渠慎豐;;中國物聯(lián)網(wǎng)信息服務系統(tǒng)研究[J];電子學報;2006年S1期

2 廖名學;范植華;;MPI程序同步通信基本模型死鎖檢測[J];電子學報;2008年02期

3 寧煥生;徐群玉;;全球物聯(lián)網(wǎng)發(fā)展及中國物聯(lián)網(wǎng)建設若干思考[J];電子學報;2010年11期

4 黃德才;戚華春;;PageRank算法研究[J];計算機工程;2006年04期

5 張蓉;;Web挖掘技術研究[J];計算機工程;2006年15期

6 田甜;倪林;;基于PageRank算法的權威值不均衡分配問題[J];計算機工程;2007年18期

7 焦金濤;;基于PageRank的Web挖掘改進算法[J];計算機工程;2009年15期

8 葛玲;蔣宗禮;;基于共現(xiàn)詞查詢的主題爬蟲研究[J];計算機工程;2010年08期

9 周鋒;李旭偉;;一種改進的MapReduce并行編程模型[J];科協(xié)論壇(下半月);2009年02期

10 楊彬;康慕寧;;基于概念的權重PageRank改進算法[J];情報雜志;2006年11期

中國碩士學位論文全文數(shù)據(jù)庫 前1條

1 高勛;基于云計算的Web結構挖掘算法研究[D];北京交通大學;2010年

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 蔡建超;蔡明;;搜索引擎PageRank算法研究[J];計算機應用與軟件;2008年09期

2 付真真;陸偉;;基于關鍵詞的搜索引擎優(yōu)化策略及效果分析[J];現(xiàn)代圖書情報技術;2009年06期

3 陳謙;;PageRank算法在孤立點檢測中的應用[J];微型機與應用;2010年24期

4 張毅;張冬梅;;搜索引擎PageRank算法的比較與改進[J];科技創(chuàng)新導報;2008年21期

5 潘大勝;;面向校園網(wǎng)搜索引擎的PageRank改進算法[J];湖南文理學院學報(自然科學版);2009年01期

6 洪田玉;陳志剛;;一種跨語言的自動摘要技術[J];電腦與信息技術;2009年04期

7 林元元;;搜索引擎優(yōu)化技術(SEO)的應用[J];軟件導刊;2009年11期

8 程傳鵬;鄭源;;基于元搜索的主題式WebCrawler的研究[J];中原工學院學報;2006年02期

9 張光年;李茂青;;基于PageRank算法的一種搜索引擎優(yōu)化方法及實現(xiàn)[J];科技信息;2007年04期

10 嚴宏偉;何俊;;基于房源分析系統(tǒng)的垂直搜索引擎關鍵技術的探討[J];中國科技信息;2007年05期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 藺繼國;徐錫山;;一種基于用戶點擊數(shù)據(jù)的個性化PageRank算法[A];第六屆全國信息檢索學術會議論文集[C];2010年

2 劉建毅;王菁華;王樅;;基于語言網(wǎng)絡的關鍵詞抽取[A];第三屆全國信息檢索與內(nèi)容安全學術會議論文集[C];2007年

3 劉菁菁;林鴻飛;楊志豪;;基于PageRank和錨文本的網(wǎng)頁排序研究[A];第三屆學生計算語言學研討會論文集[C];2006年

4 陸勇;侯漢清;;基于詞典注釋的漢語同義詞自動識別[A];NCIRCS2004第一屆全國信息檢索與內(nèi)容安全學術會議論文集[C];2004年

5 楊磊;束罡;牛振東;;基于引力模型的鏈接分析(英文)[A];第三屆全國信息檢索與內(nèi)容安全學術會議論文集[C];2007年

6 馮迪;李晉宏;曹原;;基于網(wǎng)頁的數(shù)據(jù)挖掘研究[A];2007通信理論與技術新發(fā)展——第十二屆全國青年通信學術會議論文集（上冊）[C];2007年

7 黃云平;孫樂;李文波;;基于上下文圖模型文本表示的文本分類研究[A];第四屆全國信息檢索與內(nèi)容安全學術會議論文集（上）[C];2008年

8 劉松彬;都云程;施水才;;基于分解轉移矩陣的PageRank迭代計算方法[A];內(nèi)容計算的研究與應用前沿——第九屆全國計算語言學學術會議論文集[C];2007年

9 張星星;穗志方;;基于網(wǎng)頁中深度并列結構的實例提取算法[A];中國計算語言學研究前沿進展（2009-2011）[C];2011年

10 張志強;梁婷婷;謝曉芹;;一種基于用戶標記的搜索結果排序算法[A];第26屆中國數(shù)據(jù)庫學術會議論文集（B輯）[C];2009年

中國重要報紙全文數(shù)據(jù)庫 前1條

1 李映　哲一 （本報記者 李映）;微軟雅虎結盟 搜索市場風云再起[N];中國電子報;2009年

中國博士學位論文全文數(shù)據(jù)庫 前10條

1 王菁華;文本中知識的獲取[D];北京郵電大學;2008年

2 張勇實;基于鏈接相似性分析的WEB結構挖掘方法研究[D];哈爾濱工程大學;2012年

3 張金松;基于引文上下文分析的文獻檢索技術研究[D];大連海事大學;2013年

4 于紅;Web結構挖掘與高維數(shù)據(jù)挖掘研究[D];大連理工大學;2012年

5 劉淇;基于用戶興趣建模的推薦方法及應用研究[D];中國科學技術大學;2013年

6 俞唯仁;普適的結構相似度在大規(guī)模網(wǎng)絡中的計算優(yōu)化技術研究[D];東華大學;2012年

7 陳浩;Web搜索的用戶興趣與智能優(yōu)化研究[D];中南大學;2012年

8 孟佳娜;遷移學習在文本分類中的應用研究[D];大連理工大學;2011年

9 韋福如;基于圖模型多文檔自動文摘研究[D];武漢大學;2009年

10 單棟棟;搜索引擎中索引剪枝的研究[D];北京大學;2013年

中國碩士學位論文全文數(shù)據(jù)庫 前10條

1 姜sバ，

本文編號：622212