【摘要】：隨著信息技術的迅猛發(fā)展,現(xiàn)代的互聯(lián)網(wǎng)每天都產(chǎn)生大量的數(shù)據(jù),引發(fā)了人們對大數(shù)據(jù)集成的需求。人們提出了新的分布式文件系統(tǒng)來存儲海量數(shù)據(jù),并在分布式文件系統(tǒng)之上提出了很多并行計算方法來解決大數(shù)據(jù)計算帶來的挑戰(zhàn)。其中最具有代表的是Google提出的MapReduce計算框架。相似連接是數(shù)據(jù)集成中的一個重要操作,是指在組數(shù)據(jù)源中尋找滿足一定相似度閾值的記錄對,常被用于數(shù)據(jù)清洗、去重和實體識別等數(shù)據(jù)集成操作中。然而隨著數(shù)據(jù)規(guī)模的增長,檢測這種相似記錄對成為了一種挑戰(zhàn),因為越來越多的應用需要處理海量的數(shù)據(jù)通常不能在一臺機器上實現(xiàn)。相似連接計算本身可以使用并行計算模型進行處理,因此使用MapReduce計算框架可以很好的解決大規(guī)模數(shù)據(jù)集上相似連接計算性能問題,提高計算效率。本文以海量論文數(shù)據(jù)為研究對象,基于相似連接技術設計了大數(shù)據(jù)集成系統(tǒng),用于有效集成海量數(shù)據(jù)。系統(tǒng)基于MapReduce計算框架實現(xiàn),用來解決實體識別的問題,核心功能包含三個處理階段：首先從若干數(shù)據(jù)源中發(fā)現(xiàn)所有滿足相似度閾值的記錄對,這些工作是基于相似連接技術實現(xiàn)的。然后對相似記錄對進行劃分,得到相似子圖。最后在子圖上進行實體采樣,完成實體識別。本文重點研究了分布式環(huán)境下的集合相似連接和MapReduce任務優(yōu)化兩個問題。針對MapReduce下相似連接,本文在前綴過濾和位置信息過濾的基礎上,提出了全前綴過濾及擴展后綴過濾的過濾算法,設計了一種基于管道的混合過濾框架,通過降低候選對數(shù)量提高相似連接效率。對于MapReduce任務,本文從兩個方面進行了優(yōu)化：通過數(shù)據(jù)壓縮降低了集群節(jié)點之間的網(wǎng)絡開銷；通過任務負載均衡提高了任務的并行效率。最后本文在大數(shù)據(jù)集成系統(tǒng)的基礎上設計并實現(xiàn)了知識產(chǎn)權搜索原型系統(tǒng)。為了測試本文提出了基于MapReduce計算框架的相似連接算法和任務調度策略的性能,本文使用DBLP和Citeseerx真實數(shù)據(jù)集進行大量對比實驗。通過實驗,我們比較了不同相似連接算法的時間開銷。實驗結果表明本文提出的相似過濾框架和負載均衡算法隨著數(shù)據(jù)規(guī)模的增加性能會有顯著提高。本文提出的大數(shù)據(jù)集成系統(tǒng)能夠很好地執(zhí)行MapReduce任務調度,為用戶提供直觀友好的交互界面,可以高效地進行大數(shù)據(jù)集下的基于相似連接的數(shù)據(jù)集成。
【學位授予單位】：東北大學
【學位級別】：碩士
【學位授予年份】：2014
【分類號】：TP311.13

【相似文獻】

相關期刊論文 前10條

1 鐘昕;伏玉琛;;書籍搜索領域Deep Web數(shù)據(jù)集成系統(tǒng)[J];計算機技術與發(fā)展;2008年09期

2 謝興生;張一鳴;余銀;莊鎮(zhèn)泉;;一種支持智能匹配檢索的數(shù)據(jù)集成系統(tǒng)設計[J];模式識別與人工智能;2009年01期

3 肖瑞;張威;;基于云計算的數(shù)字化校園數(shù)據(jù)集成系統(tǒng)研究[J];中國科技信息;2013年22期

4 劉敏超;劉衛(wèi)東;;數(shù)據(jù)集成系統(tǒng)關鍵問題研究[J];計算機應用;2006年07期

5 時俊苓;葉丹;;面向業(yè)務的數(shù)據(jù)集成系統(tǒng)設計與實現(xiàn)[J];計算機系統(tǒng)應用;2010年02期

6 王壇;;出版社書目數(shù)據(jù)集成系統(tǒng)的設計與實現(xiàn)[J];南陽師范學院學報;2010年12期

7 郭忠文;尚傳進;管恩花;;面向服務構架的海洋數(shù)據(jù)集成系統(tǒng)的設計與實現(xiàn)[J];計算機應用研究;2006年02期

8 張仕;賴會霞;;基于輕映射的數(shù)據(jù)集成系統(tǒng)[J];計算機與數(shù)字工程;2009年09期

9 謝委員;葉楓;;醫(yī)院區(qū)域醫(yī)療數(shù)據(jù)集成系統(tǒng)研究[J];現(xiàn)代物業(yè)(中旬刊);2010年06期

10 王碩;靳熙芳;;北海區(qū)海洋環(huán)境監(jiān)測多源數(shù)據(jù)集成系統(tǒng)研究[J];科技信息;2010年29期

相關會議論文 前5條

1 ;生產(chǎn)調度數(shù)據(jù)集成系統(tǒng)[A];中國黃金協(xié)會科學技術獎表彰會暨新技術、新設備推廣會議材料[C];2004年

2 謝麗聰;白清源;余建家;;數(shù)據(jù)集成系統(tǒng)的三層體系結構及查詢改寫算法的改進[A];第二十屆全國數(shù)據(jù)庫學術會議論文集（研究報告篇）[C];2003年

3 閆中敏;李慶忠;彭朝暉;董永權;丁艷輝;張永新;徐秀星;;DWDIS:面向分析的Deep Web數(shù)據(jù)集成系統(tǒng)[A];NDBC2010第27屆中國數(shù)據(jù)庫學術會議論文集(B輯)[C];2010年

4 肖冰;廖湖聲;鄭玉明;;數(shù)據(jù)集成系統(tǒng)中的XML延遲處理技術[A];第二十二屆中國數(shù)據(jù)庫學術會議論文集（研究報告篇）[C];2005年

5 張碩;李建中;熊蜀光;王春宇;;一種基于XML的Web數(shù)據(jù)集成系統(tǒng)查詢分解和優(yōu)化策略[A];第二十二屆中國數(shù)據(jù)庫學術會議論文集（技術報告篇）[C];2005年

相關重要報紙文章 前3條

1 ;BI困則思變[N];網(wǎng)絡世界;2007年

2 《網(wǎng)絡世界》記者 于翔;大數(shù)據(jù)高調唱響[N];網(wǎng)絡世界;2012年

3 哈爾濱工業(yè)大學 王宏志;借XML高效管理數(shù)據(jù)之道[N];中國計算機報;2007年

相關博士學位論文 前3條

1 陳彤兵;LAV數(shù)據(jù)集成系統(tǒng)的查詢處理[D];復旦大學;2005年

2 梅從立;過程工業(yè)數(shù)據(jù)顯著誤差檢測技術研究[D];浙江大學;2007年

3 張永進;面向防汛抗旱指揮系統(tǒng)的應用集成中間件平臺研究[D];西北大學;2007年

相關碩士學位論文 前10條

1 林建昌;電力行業(yè)分布式ETL數(shù)據(jù)集成系統(tǒng)研究與實現(xiàn)[D];電子科技大學;2015年

2 龐志強;基于相似連接的大數(shù)據(jù)集成系統(tǒng)的設計與實現(xiàn)[D];東北大學;2014年

3 姚源;地月日大系統(tǒng)研究中數(shù)據(jù)集成系統(tǒng)的構建和應用研究[D];中國航天第二研究院;2008年

4 郭軍;Deep Web數(shù)據(jù)集成系統(tǒng)的設計與應用研究[D];西安電子科技大學;2011年

5 何嶺嘉;數(shù)據(jù)集成系統(tǒng)中通信平臺的研究與實現(xiàn)[D];暨南大學;2008年

6 李晶;基于產(chǎn)品生命周期的中小型企業(yè)數(shù)據(jù)集成系統(tǒng)的研究[D];合肥工業(yè)大學;2006年

7 張雷;社保數(shù)據(jù)集成系統(tǒng)的研究與應用[D];湖南大學;2006年

8 劉凱;遠程教育評估系統(tǒng)中數(shù)據(jù)集成技術研究[D];西安電子科技大學;2006年

9 方成;托管銀行數(shù)據(jù)集成系統(tǒng)的設計與實現(xiàn)[D];大連理工大學;2013年

10 陳躍國;電子政務數(shù)據(jù)集成系統(tǒng)的建模與實現(xiàn)[D];清華大學;2004年

，

本文編號：2576651