本文關(guān)鍵詞：一種基于MapReduce的實(shí)體共指消解方法

  更多相關(guān)文章： 實(shí)體共指消解 MapReduce 權(quán)重 相似度

【摘要】：在信息技術(shù)和工業(yè)自動(dòng)化迅速發(fā)展的時(shí)代,源源不斷地產(chǎn)生著大批量的數(shù)據(jù),這些數(shù)據(jù)中大量指代同一實(shí)體的重復(fù)數(shù)據(jù),給數(shù)據(jù)分析和處理帶來(lái)了很大的困難。在以往研究的基礎(chǔ)上,提出了一種基于MapReduce的實(shí)體共指消解的方法,該方法通過(guò)引入權(quán)重和相似度的度量指標(biāo),利用Hadoop平臺(tái)和MapReduce框架把數(shù)據(jù)處理成key-value數(shù)據(jù)實(shí)體對(duì)的形式,進(jìn)而對(duì)數(shù)據(jù)進(jìn)行共指消解處理。經(jīng)過(guò)實(shí)驗(yàn),表明了該方法能夠提高實(shí)體共指消解的準(zhǔn)確率和速度,滿足了企業(yè)在當(dāng)前形勢(shì)下實(shí)體共指消解的需求。
【作者單位】： 齊魯工業(yè)大學(xué)信息學(xué)院;
【關(guān)鍵詞】： 實(shí)體共指消解 MapReduce 權(quán)重 相似度
【基金】：山東省自主創(chuàng)新及成果轉(zhuǎn)化專項(xiàng)(2014ZZCX03408)
【分類號(hào)】：TP311.13
【正文快照】： 信息技術(shù)與工業(yè)自動(dòng)化的不斷進(jìn)步和發(fā)展,推動(dòng)著新的工業(yè)時(shí)代的來(lái)臨。隨著技術(shù)更新和產(chǎn)品升級(jí),工業(yè)領(lǐng)域企業(yè)內(nèi)部源源不斷地產(chǎn)生著越來(lái)越多的數(shù)據(jù),這些數(shù)據(jù)當(dāng)中有許多冗余數(shù)據(jù),即存在多條數(shù)據(jù)指向同一個(gè)數(shù)據(jù)實(shí)體或?qū)ο蟮默F(xiàn)象。工業(yè)生產(chǎn)過(guò)程復(fù)雜,其生產(chǎn)線及信息管理系統(tǒng)中存在的

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 李建江;崔健;王聃;嚴(yán)林;黃義雙;;MapReduce并行編程模型研究綜述[J];電子學(xué)報(bào);2011年11期

2 司方豪;鐘春琳;;使用MapReduce提高多路數(shù)組聚集效率[J];電腦編程技巧與維護(hù);2014年10期

3 翟東升;蔡萬(wàn)江;陳晨;黃魯成;趙京;;基于MapReduce構(gòu)建專利技術(shù)功效圖的研究[J];情報(bào)雜志;2013年06期

4 賈瑞玉;劉范范;潘雯雯;王偉東;;基于MapReduce模型的并行量子進(jìn)化算法[J];計(jì)算機(jī)工程;2012年08期

5 亢麗蕓;王效岳;白如江;;MapReduce原理及其主要實(shí)現(xiàn)平臺(tái)分析[J];現(xiàn)代圖書情報(bào)技術(shù);2012年02期

6 周濤;賀其備;黃光明;林和平;;基于MapReduce的海量圖像處理模型的研究[J];信息技術(shù);2013年11期

7 楊紹禹;王世卿;;MapReduce模型下數(shù)據(jù)隱私保護(hù)機(jī)制研究[J];計(jì)算機(jī)科學(xué);2012年12期

8 黃志蘭;丁圣勇;楊國(guó)良;羅頌鋒;;基于MapReduce的PCA異常流量檢測(cè)系統(tǒng)實(shí)現(xiàn)[J];電信科學(xué);2010年06期

9 竇蒙;聞立杰;王建民;閆志強(qiáng);;基于MapReduce的海量事件日志并行轉(zhuǎn)化算法[J];計(jì)算機(jī)集成制造系統(tǒng);2013年08期

10 劉熱;;基于MapReduce的大規(guī)模話題網(wǎng)絡(luò)提取分析[J];淮海工學(xué)院學(xué)報(bào)(自然科學(xué)版);2014年02期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前2條

1 鄭宇瀚;郭燕慧;;一種針對(duì)流水線任務(wù)的云計(jì)算模型基于MapReduce的改進(jìn)[A];2013年中國(guó)信息通信研究新進(jìn)展論文集[C];2014年

2 華中杰;徐錫山;楊樹強(qiáng);田勝利;;MapReduce本地優(yōu)先作業(yè)調(diào)度策略研究與實(shí)現(xiàn)[A];第九屆中國(guó)通信學(xué)會(huì)學(xué)術(shù)年會(huì)論文集[C];2012年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 王姍姍;MapReduce框架下并行有序決策樹及有序決策森林[D];河北大學(xué);2015年

2 金鵬;MapReduce框架下基于閾值約束的空間文本相似連接[D];燕山大學(xué);2015年

3 周鳴愛;云計(jì)算中MapReduce高可用性和高效性的優(yōu)化研究[D];河北工程大學(xué);2015年

4 戴佳男;基于MapReduce模型的海量郵件社交關(guān)系分析研究[D];南京理工大學(xué);2015年

5 閆曉嫵;MapReduce下的約束頻繁模式挖掘與任務(wù)調(diào)度[D];太原科技大學(xué);2015年

6 王強(qiáng);基于MapReduce的大數(shù)據(jù)增量處理研究[D];東北大學(xué);2014年

7 魏博文;基于MapReduce的XML編碼查詢算法研究與實(shí)現(xiàn)[D];武漢紡織大學(xué);2016年

8 張鵬;基于MapReduce的分布式社區(qū)發(fā)現(xiàn)算法研究[D];燕山大學(xué);2016年

9 段秋丹;基于MapReduce的文獻(xiàn)發(fā)現(xiàn)系統(tǒng)研究與設(shè)計(jì)[D];山東大學(xué);2016年

10 李青;基于MapReduce的廣告點(diǎn)擊率預(yù)測(cè)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];云南大學(xué);2016年

，

本文編號(hào)：802943