本文關(guān)鍵詞：基于大數(shù)據(jù)處理技術(shù)的“專家機器人”研究，，由筆耕文化傳播整理發(fā)布。

【摘要】：現(xiàn)如今互聯(lián)網(wǎng)上的學(xué)術(shù)論文、期刊文獻、專利數(shù)據(jù)庫、網(wǎng)絡(luò)媒體、社交平臺(微信、微博、博客、論壇)等載體上蘊藏著多個領(lǐng)域的潛藏知識,文中將這些載體涉及的專業(yè)領(lǐng)域稱之為“專家領(lǐng)域”�！皩＜翌I(lǐng)域”中蘊藏著如:專家研究成果、學(xué)術(shù)觀點、工作動態(tài)及最新言論等“專家數(shù)據(jù)”。如果合理的組織、運用這些“專家數(shù)據(jù)”,將得到遠(yuǎn)高于數(shù)據(jù)本身的更有價值的資源�！皩＜覚C器人”的研究就是對這些專家數(shù)據(jù)資源的分析、挖掘的過程。通過對專家機器人的研究來深入提取、解析海量數(shù)據(jù)中蘊藏的有用信息,并將其轉(zhuǎn)換為可理解,可用的知識資源。本文是基于大數(shù)據(jù)的專家機器人研究,實際上是大數(shù)據(jù)研究在專家領(lǐng)域的一個縮影,本文是分別從數(shù)據(jù)處理速度、數(shù)據(jù)關(guān)聯(lián)挖掘、數(shù)據(jù)應(yīng)用質(zhì)量三方面,對互聯(lián)網(wǎng)中涌現(xiàn)的專家數(shù)據(jù)進行的研究。本文具體研究工作包括以下幾個方面:第一,詳細(xì)分析了Hadoop平臺,并重點介紹了MapReduce分布式編程模型以及HDFS分布式文件系統(tǒng)。同時詳細(xì)描述了全文搜索引擎的工作原理及索引構(gòu)建流程,由于目前專家數(shù)據(jù)的激增,以及單機構(gòu)建索引在效率和安全上的不足,提出了基于MapReduce的并行索引構(gòu)建思想。第二,描述了基于網(wǎng)頁的評分算法PageRank算法的工作原理,及其通過冪法迭代求解PR值的過程。為提高“專家領(lǐng)域”的學(xué)術(shù)索引結(jié)果質(zhì)量,本文提出適用于“專家領(lǐng)域”的E-PeopleRank評分算法,目的是通過對專家打分排名,衡量各領(lǐng)域?qū)＜以跈z索結(jié)果中占的比重。E-PeopleRank算法改進了原算法主題無關(guān)性缺點,并更換了原算法模型的映射關(guān)系。考慮迭代中數(shù)據(jù)增長情況,本文將E-PeopleRank算法引入到MapReduce的編程架構(gòu)中,并詳細(xì)描述了各階段的具體任務(wù)分配。第三,為了實現(xiàn)用戶的個性化搜索,文中詳細(xì)描述了協(xié)同過濾算法的具體原理及算法模型。為解決協(xié)同過濾算法中未考慮時間變化因素的問題,提出了適用于用戶興趣變化的協(xié)同過濾推薦算法,文中引入了興趣偏移函數(shù),對協(xié)同過濾算法的推薦模型進行了改進,隨后詳細(xì)描述了算法改進的具體過程。第四,通過搭建Hadoop集群,為文中提出的基于MapReduce機制的索引構(gòu)建,算法改進等提供運行環(huán)境,驗證文中提出的各種改進思想的可行性。最后,總結(jié)了本文的研究工作,并對今后要研究的內(nèi)容進行了概述。
【關(guān)鍵詞】：專家數(shù)據(jù)挖掘分布式索引構(gòu)建 PageRank 算法協(xié)同過濾
【學(xué)位授予單位】：長春工業(yè)大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2016
【分類號】：TP311.13
【目錄】：

• 摘要3-4
• Abstract4-8
• 第一章 緒論8-14
• 1.1 課題的研究背景及意義8-9
• 1.2 國內(nèi)外研究現(xiàn)狀9-12
• 1.2.1 全文檢索研究現(xiàn)狀9-10
• 1.2.2 PageRank算法研究現(xiàn)狀10-11
• 1.2.3 協(xié)同過濾算法研究現(xiàn)狀11-12
• 1.3 本文研究內(nèi)容及章節(jié)安排12-14
• 第二章 基于MapReduce的專家數(shù)據(jù)索引構(gòu)建14-25
• 2.1 Hadoop分布式計算平臺及其核心架構(gòu)14-18
• 2.1.1 Hadoop分布式計算平臺概述14-15
• 2.1.2 Hadoop中的MapReduce15-16
• 2.1.3 HDFS分布式文件系統(tǒng)16-18
• 2.2 Lucene全文檢索框架18-23
• 2.2.1 Lucene概述18-19
• 2.2.2 Lucene全文檢索原理19-20
• 2.2.3 Lucene索引構(gòu)建20-21
• 2.2.4 Lucene搜索21-23
• 2.3 基于MapReduce的專家數(shù)據(jù)索引構(gòu)建23-24
• 2.3.1 專家數(shù)據(jù)索引構(gòu)建思想概述23
• 2.3.2 基于MapReduce的分布式索引構(gòu)建23-24
• 2.4 本章小結(jié)24-25
• 第三章 基于改進PageRank算法的領(lǐng)域核心專家評分25-34
• 3.1 PageRank算法概述25-26
• 3.1.1 PageRank算法簡介25
• 3.1.2 PageRank算法優(yōu)點25-26
• 3.1.3 PageRank算法缺點26
• 3.2 PageRank算法分析26-30
• 3.2.1 PageRank算法原理26-28
• 3.2.2 冪法求解PageRank值28-30
• 3.3 PageRank算法改進30-33
• 3.3.1 改進思想概述30
• 3.3.2 算法詳細(xì)設(shè)計30-32
• 3.3.3 基于MapReduce的算法實現(xiàn)32-33
• 3.4 小結(jié)33-34
• 第四章 基于改進協(xié)同過濾算法的專家推薦34-41
• 4.1 協(xié)同過濾算法概述34
• 4.2 協(xié)同過濾算法分類34-38
• 4.2.1 基于用戶的協(xié)同過濾算法34-35
• 4.2.2 基于項目的協(xié)同過濾算法35-38
• 4.3 基于用戶興趣變化的算法改進38-40
• 4.3.1 改進思想38
• 4.3.2 推薦模型的改進38-39
• 4.3.3 算法實現(xiàn)39-40
• 4.4 小結(jié)40-41
• 第五章 實驗結(jié)果及分析41-50
• 5.1 實驗環(huán)境及實驗數(shù)據(jù)41-43
• 5.1.1 實驗環(huán)境41
• 5.1.2 系統(tǒng)環(huán)境搭建41-43
• 5.1.3 實驗數(shù)據(jù)43
• 5.2 實驗結(jié)果及分析43-49
• 5.2.1 基于MapReduce的專家索引構(gòu)建43-45
• 5.2.2 E-PeopleRank算法驗證45-47
• 5.2.3 基于用戶興趣變化的推薦算法驗證47-49
• 5.3 小結(jié)49-50
• 第六章 總結(jié)與展望50-52
• 6.1 本文總結(jié)50
• 6.2 未來展望50-52
• 致謝52-53
• 參考文獻53-56
• 作者簡介56
• 攻讀碩士學(xué)位期間研究成果56

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 姬朝陽;;一種基于標(biāo)簽耦合分析的微博用戶關(guān)系挖掘方法[J];情報雜志;2015年02期

2 晉民杰;王快;范英;陳敏娜;王雯雯;;一種基于相似系數(shù)的權(quán)重確定方法[J];太原科技大學(xué)學(xué)報;2015年01期

3 周萍;張子柯;章恬;趙方瑜;;一種基于社會化媒體和社會網(wǎng)絡(luò)結(jié)構(gòu)的混合推薦模型[J];上海理工大學(xué)學(xué)報;2014年03期

4 張學(xué)亮;陳金勇;陳勇;;基于Hadoop云計算平臺的海量文本處理研究[J];無線電通信技術(shù);2014年01期

5 平宇;向陽;張波;黃寅飛;;基于MapReduce的并行PageRank算法實現(xiàn)[J];計算機工程;2014年02期

6 朱潛;吳辰鈮;朱志良;劉洪娟;;Hadoop云平臺下Nutch中文分詞的研究與實現(xiàn)[J];小型微型計算機系統(tǒng);2013年12期

7 趙發(fā)珍;;網(wǎng)絡(luò)社區(qū)網(wǎng)站共鏈分析[J];現(xiàn)代情報;2012年11期

8 羅寧;徐俊剛;郭洪韜;;基于Lucene的中文分詞模塊的設(shè)計和實現(xiàn)[J];電子技術(shù);2012年09期

9 諶超;強保華;石龍;;基于Hadoop MapReduce的大規(guī)模數(shù)據(jù)索引構(gòu)建與集群性能分析[J];桂林電子科技大學(xué)學(xué)報;2012年04期

10 金松昌;楊樹強;樊華;劉斐;;面向大型關(guān)鍵業(yè)務(wù)的Hadoop云計算平臺數(shù)據(jù)安全策略研究[J];信息網(wǎng)絡(luò)安全;2012年08期

中國博士學(xué)位論文全文數(shù)據(jù)庫 前1條

1 孫小華;協(xié)同過濾系統(tǒng)的稀疏性與冷啟動問題研究[D];浙江大學(xué);2005年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前7條

1 李波;基于Hadoop的知識管理系統(tǒng)設(shè)計與實現(xiàn)[D];重慶大學(xué);2014年

2 趙蒙;知識學(xué)習(xí)社交網(wǎng)絡(luò)的研究與實現(xiàn)[D];北京郵電大學(xué);2014年

3 劉恒友;基于時間效應(yīng)的推薦算法研究[D];哈爾濱工業(yè)大學(xué);2013年

4 張超;基于MapReduce的分布式搜索引擎研究與實現(xiàn)[D];太原理工大學(xué);2012年

5 李稚楹;基于網(wǎng)頁內(nèi)容和時間反饋的網(wǎng)頁排序PageRank算法研究[D];重慶理工大學(xué);2012年

6 孫敏;改進用戶模型的協(xié)同過濾推薦算法[D];重慶大學(xué);2012年

7 李國;基于聚類和協(xié)同過濾的個性化推薦算法研究[D];昆明理工大學(xué);2012年

  本文關(guān)鍵詞：基于大數(shù)據(jù)處理技術(shù)的“專家機器人”研究，由筆耕文化傳播整理發(fā)布。

本文編號：431759