本文關(guān)鍵詞：大數(shù)據(jù)環(huán)境下一種基于學(xué)習(xí)的實(shí)體識別方法

  更多相關(guān)文章： 大數(shù)據(jù) 實(shí)體識別 Hadoop MapReduce

【摘要】：針對傳統(tǒng)實(shí)體識別方法的主要研究對象是小數(shù)據(jù)集并且對結(jié)果的準(zhǔn)確性關(guān)注較高的情況,在大數(shù)據(jù)的背景下提出了一種利用Hadoop平臺和MapReduce框架的基于學(xué)習(xí)的實(shí)體識別方法。通過對MapReduce框架流程的分析,運(yùn)行基于機(jī)器學(xué)習(xí)的算法,并行處理數(shù)據(jù)集來識別出數(shù)據(jù)實(shí)體。實(shí)驗(yàn)表明,該方法提高了實(shí)體識別的效果,具有很好的處理性能和效果,滿足了識別海量數(shù)據(jù)中實(shí)體的需求。
【作者單位】： 齊魯工業(yè)大學(xué)信息學(xué)院;
【基金】：山東省科技發(fā)展計(jì)劃(2014GGX101052)
【分類號】：TP311.13
【正文快照】： 隨著信息技術(shù)的不斷發(fā)展和進(jìn)步,越來越多的工業(yè)企業(yè)進(jìn)入工業(yè)自動(dòng)化階段,伴隨著工業(yè)企業(yè)的不斷發(fā)展,數(shù)據(jù)庫中產(chǎn)生了越來越多的數(shù)據(jù),其中,結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)甚至非結(jié)構(gòu)化數(shù)據(jù)[1]正以指數(shù)級的速度增長,由此構(gòu)成的大數(shù)據(jù)環(huán)境給企業(yè)處理這些數(shù)據(jù)帶來了越來越多的麻煩。大數(shù)

【參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前1條

1 楊東華;李寧寧;王宏志;李建中;高宏;;基于任務(wù)合并的并行大數(shù)據(jù)清洗過程優(yōu)化[J];計(jì)算機(jī)學(xué)報(bào);2016年01期

【共引文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前8條

1 許抗震;吳云;;基于Hadoop的網(wǎng)絡(luò)日志挖掘方案的設(shè)計(jì)[J];現(xiàn)代電子技術(shù);2017年09期

2 楊帆;李顯忠;潘可佳;龔艷;曾愚;劉捷;趙以兵;;基于大數(shù)據(jù)分析的供電營業(yè)廳運(yùn)營效率評估[J];電力信息與通信技術(shù);2017年02期

3 馬平全;宋凱;紀(jì)建偉;;基于N-Gram算法的數(shù)據(jù)清洗技術(shù)[J];沈陽工業(yè)大學(xué)學(xué)報(bào);2017年01期

4 宋杰;孫宗哲;毛克明;鮑玉斌;于戈;;MapReduce大數(shù)據(jù)處理平臺與算法研究進(jìn)展[J];軟件學(xué)報(bào);2017年03期

5 李鵬;王潤澤;馮劍龍;薛坤;;大數(shù)據(jù)環(huán)境下一種基于學(xué)習(xí)的實(shí)體識別方法[J];齊魯工業(yè)大學(xué)學(xué)報(bào)(自然科學(xué)版);2016年05期

6 杜岳峰;申德榮;聶鐵錚;寇月;于戈;;基于關(guān)聯(lián)數(shù)據(jù)的一致性和時(shí)效性清洗方法[J];計(jì)算機(jī)學(xué)報(bào);2017年01期

7 尹國麗;;人工智能在數(shù)據(jù)清洗中的應(yīng)用[J];電子世界;2016年16期

8 李建中;王宏志;高宏;;大數(shù)據(jù)可用性的研究進(jìn)展[J];軟件學(xué)報(bào);2016年07期

【二級參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前3條

1 張安珍;門雪瑩;王宏志;李建中;高宏;;大數(shù)據(jù)上基于Hadoop的不一致數(shù)據(jù)檢測與修復(fù)算法[J];計(jì)算機(jī)科學(xué)與探索;2015年09期

2 霍然;王宏志;朱摂;李建中;高宏;;基于Map-Reduce的大數(shù)據(jù)實(shí)體識別算法[J];計(jì)算機(jī)研究與發(fā)展;2013年S2期

3 金連;王宏志;黃沈?yàn)I;高宏;;基于Map-Reduce的大數(shù)據(jù)缺失值填充算法[J];計(jì)算機(jī)研究與發(fā)展;2013年S1期

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 施水才;俞鴻魁;呂學(xué)強(qiáng);李渝勤;;基于大規(guī)模語料的新詞語識別方法[J];山東大學(xué)學(xué)報(bào)(理學(xué)版);2006年03期

2 蘇家洪;;試述人臉識別新技術(shù)及編輯識別方法[J];中國新技術(shù)新產(chǎn)品;2012年07期

3 高春庚;孫建國;;基于統(tǒng)計(jì)的人臉識別方法綜述[J];安陽工學(xué)院學(xué)報(bào);2012年04期

4 馬彬;洪宇;楊雪蓉;姚建民;朱巧明;;基于語義依存線索的事件關(guān)系識別方法研究[J];北京大學(xué)學(xué)報(bào)(自然科學(xué)版);2013年01期

5 馬彬;洪宇;楊雪蓉;姚建民;朱巧明;;基于推理線索構(gòu)建的事件關(guān)系識別方法[J];北京大學(xué)學(xué)報(bào)(自然科學(xué)版);2014年01期

6 呂冬梅,劉燕萍,李云凱;一個(gè)新的機(jī)械圖紙識別方法[J];信息技術(shù);2001年03期

7 劉志鵬,魏君;基于神經(jīng)網(wǎng)絡(luò)的集裝箱編號識別方法的研究[J];中國包裝工業(yè);2002年09期

8 賀敏;龔才春;張華平;程學(xué)旗;;一種基于大規(guī)模語料的新詞識別方法[J];計(jì)算機(jī)工程與應(yīng)用;2007年21期

9 董世都;黃同愿;王華秋;王森;楊小帆;;半邊人臉識別方法[J];計(jì)算機(jī)工程;2008年07期

10 方曉春;;一種優(yōu)化的角色識別方法[J];計(jì)算機(jī)應(yīng)用與軟件;2009年04期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 鄭凱;;建立多維數(shù)據(jù)異常點(diǎn)識別方法的嘗試[A];第八屆全國體育科學(xué)大會論文摘要匯編（一）[C];2007年

2 張朋柱;韓崇昭;萬百五;;智能決策支持系統(tǒng)中的問題識別方法與實(shí)現(xiàn)[A];全國青年管理科學(xué)與系統(tǒng)科學(xué)論文集（第2卷）[C];1993年

3 劉麗蘭;劉宏昭;;時(shí)間序列模型的識別方法[A];制造技術(shù)自動(dòng)化學(xué)術(shù)會議論文集[C];2004年

4 苗振偉;許勇;楊軍;;超聲波人臉識別方法研究[A];中國聲學(xué)學(xué)會2007年青年學(xué)術(shù)會議論文集（上）[C];2007年

5 羅智勇;宋柔;荀恩東;;一種基于可信度的人名識別方法[A];第二屆全國學(xué)生計(jì)算語言學(xué)研討會論文集[C];2004年

6 張茜;鄭崢;亢一瀾;王娟;仇巍;;基于海量實(shí)測數(shù)據(jù)的反演識別方法與盾構(gòu)裝備載荷的力學(xué)建模[A];中國力學(xué)大會——2013論文摘要集[C];2013年

7 趙銳;陳光發(fā);;軍事口令識別的Fuzzy方法探討[A];第二屆全國人機(jī)語音通訊學(xué)術(shù)會議論文集[C];1992年

8 駱玉榮;劉建麗;史曉濤;;一種自動(dòng)車窗識別方法的設(shè)計(jì)與實(shí)現(xiàn)[A];計(jì)算機(jī)技術(shù)與應(yīng)用進(jìn)展·2007——全國第18屆計(jì)算機(jī)技術(shù)與應(yīng)用（CACIS）學(xué)術(shù)會議論文集[C];2007年

9 崔凱華;王國慶;方劍青;李紅軍;賈俊波;馬超;趙燁;張東輝;;基于聲模態(tài)分析的材料識別方法研究[A];現(xiàn)代振動(dòng)與噪聲技術(shù)（第九卷）[C];2011年

10 李洪東;梁逸曾;張志敏;;酵母蛋白組中原生肽識別方法的探索研究[A];中國化學(xué)會第26屆學(xué)術(shù)年會化學(xué)信息學(xué)與化學(xué)計(jì)量學(xué)分會場論文集[C];2008年

中國重要報(bào)紙全文數(shù)據(jù)庫 前9條

1 陳春道;甲魚優(yōu)劣及雌雄的識別方法[N];北京科技報(bào);2003年

2 龐席堂;假幣的識別方法[N];中華合作時(shí)報(bào);2003年

3 王修增;手機(jī)被盜號的6種識別方法[N];中國保險(xiǎn)報(bào);2003年

4 張侃;正品手機(jī)電池識別方法[N];通信產(chǎn)業(yè)報(bào);2000年

5 潘 治;德國開發(fā)出癌癥早期識別方法[N];中國中醫(yī)藥報(bào);2003年

6 新華社記者 段世文;產(chǎn)權(quán)證識別方法[N];新華每日電訊;2001年

7 金亮;機(jī)器人的情感[N];中國醫(yī)藥報(bào);2001年

8 黃璐;識別假火車票有絕招[N];山西經(jīng)濟(jì)日報(bào);2004年

9 宗紹純;如何識別是純奶還是奶飲料？[N];國際商報(bào);2003年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 趙國騰;跨座式單軌交通軌道梁表面裂紋識別方法研究[D];重慶大學(xué);2015年

2 徐訓(xùn);線性與非線性結(jié)構(gòu)動(dòng)力荷載識別方法及實(shí)驗(yàn)研究[D];哈爾濱工業(yè)大學(xué);2015年

3 付文亮;基于FPGA的高性能應(yīng)用層協(xié)議識別方法研究[D];北京理工大學(xué);2015年

4 陳飛飛;基于特征表示的行為識別方法研究[D];華中科技大學(xué);2015年

5 黃仕建;視頻序列中人體行為的低秩表達(dá)與識別方法研究[D];重慶大學(xué);2015年

6 張航;基于高光譜成像技術(shù)的皮棉中地膜識別方法研究[D];中國農(nóng)業(yè)大學(xué);2016年

7 吳翔;基于機(jī)器視覺的害蟲識別方法研究[D];浙江大學(xué);2016年

8 張莉莉;競優(yōu)特征的群識別方法及其應(yīng)用[D];東北大學(xué);2010年

9 陳綿書;計(jì)算機(jī)人臉識別方法研究[D];吉林大學(xué);2004年

10 葉俊勇;人臉檢測與識別方法研究[D];重慶大學(xué);2002年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 徐珂瓊;基于視頻的人臉識別方法研究[D];天津理工大學(xué);2015年

2 彭姣麗;針對多表情的人臉識別方法研究[D];昆明理工大學(xué);2015年

3 代秀麗;基于半監(jiān)督判別分析的人臉識別方法研究[D];深圳大學(xué);2015年

4 易磊;基于兩階段的交通標(biāo)志識別方法研究[D];南京理工大學(xué);2015年

5 李彥;基于小波變換的人臉識別方法研究[D];電子科技大學(xué);2014年

6 田曉霞;運(yùn)動(dòng)想象EEG的識別方法及在上肢康復(fù)中的應(yīng)用[D];北京工業(yè)大學(xué);2015年

7 楊俊濤;基于分?jǐn)?shù)譜時(shí)頻特征的SAR目標(biāo)檢測與識別方法研究[D];電子科技大學(xué);2014年

8 宋洪偉;基于模糊集合的漢語主觀句識別方法研究與實(shí)現(xiàn)[D];黑龍江大學(xué);2015年

9 賈博軒;基于手機(jī)傳感器的人類復(fù)雜行為識別方法的研究[D];黑龍江大學(xué);2015年

10 范玲;Link-11數(shù)據(jù)鏈信號的識別方法研究[D];西安電子科技大學(xué);2014年

，

本文編號：1238434