基于MapReduce的海量事件日志并行轉(zhuǎn)化算法
本文選題:大數(shù)據(jù) + 事件日志 ; 參考:《計(jì)算機(jī)集成制造系統(tǒng)》2013年08期
【摘要】:隨著大數(shù)據(jù)時(shí)代的來(lái)臨,為了高性能地轉(zhuǎn)化海量分布式日志,提出事件日志在云平臺(tái)上基于MapReduce架構(gòu)的分布式轉(zhuǎn)化算法。提出基于案例拆分的改進(jìn)算法,以轉(zhuǎn)化單機(jī)上的日志,使其變得可行;進(jìn)一步提出基于MapReduce的并行轉(zhuǎn)化算法。這是在過(guò)程挖掘領(lǐng)域中首次實(shí)現(xiàn)從海量原始日志到可擴(kuò)展事件流事件日志的并行轉(zhuǎn)化,極大地提高了轉(zhuǎn)化性能。
[Abstract]:With the advent of big data era, in order to transform massive distributed log into high performance, a distributed transformation algorithm based on MapReduce architecture for event log on cloud platform is proposed. An improved case-based split algorithm is proposed to transform the log on a single computer to make it feasible, and a parallel transformation algorithm based on MapReduce is proposed. This is the first time in the field of process mining to realize the parallel transformation from massive raw log to extensible event stream event log, which greatly improves the conversion performance.
【作者單位】: 清華大學(xué)軟件學(xué)院;清華大學(xué)
【基金】:國(guó)家自然科學(xué)基金資助項(xiàng)目(61003099) 國(guó)家863計(jì)劃資助項(xiàng)目(2012AA040904) 教育部—中國(guó)移動(dòng)科研基金資助項(xiàng)目(MCM20123011)~~
【分類號(hào)】:TP393.09
【相似文獻(xiàn)】
相關(guān)期刊論文 前10條
1 施彤宇;三大數(shù)據(jù)庫(kù)廠商Internet上的幾個(gè)回合[J];電子出版;1996年11期
2 馬輝,張凱;基于Petri網(wǎng)的工作流挖掘技術(shù)分析[J];計(jì)算機(jī)與現(xiàn)代化;2005年07期
3 文一憑;趙肄江;;工作流日志中的工作流模式圖挖掘技術(shù)研究[J];計(jì)算機(jī)應(yīng)用研究;2008年01期
4 尹永順;MS SQL Server中大數(shù)據(jù)量表的查詢優(yōu)化[J];計(jì)算機(jī)系統(tǒng)應(yīng)用;2005年02期
5 紀(jì)慧蓉;拾yN春;;大數(shù)據(jù)信息存儲(chǔ)應(yīng)用[J];中國(guó)高新技術(shù)企業(yè);2008年16期
6 董建華;快速清理Informix超大數(shù)據(jù)表的方法[J];華南金融電腦;2002年09期
7 陳文,蔣平;過(guò)程挖掘在基于實(shí)例的機(jī)器人編程中的應(yīng)用[J];機(jī)器人;2005年04期
8 陳亮;高建民;陳富民;陳琨;李成;;基于工作流挖掘的質(zhì)量管理過(guò)程改進(jìn)研究[J];計(jì)算機(jī)集成制造系統(tǒng);2006年04期
9 黃紅梅;章云;;一種發(fā)現(xiàn)非確定選擇平行關(guān)系的過(guò)程挖掘算法[J];計(jì)算機(jī)應(yīng)用;2008年11期
10 王禮贊;;網(wǎng)絡(luò)訪問(wèn)日志[J];電腦知識(shí)與技術(shù);2009年23期
相關(guān)會(huì)議論文 前7條
1 ;EMC isilon大數(shù)據(jù)解決方案為BIM構(gòu)建堅(jiān)實(shí)的信息基礎(chǔ)架構(gòu)[A];BIM與工程建設(shè)信息化——第三屆工程建設(shè)計(jì)算機(jī)應(yīng)用創(chuàng)新論壇論文集[C];2011年
2 金瑩;湯銀才;;Weibull分布下異常數(shù)據(jù)的線性檢驗(yàn)方法[A];中國(guó)現(xiàn)場(chǎng)統(tǒng)計(jì)研究會(huì)第12屆學(xué)術(shù)年會(huì)論文集[C];2005年
3 孫衛(wèi)紅;馮毅雄;林東宇;;基于過(guò)程挖掘的業(yè)務(wù)審批流程重組研究[A];第二十九屆中國(guó)控制會(huì)議論文集[C];2010年
4 簡(jiǎn)要軍;王敏;吳桂林;;關(guān)于飛行模擬器中無(wú)限場(chǎng)景的研究與應(yīng)用[A];第五屆全國(guó)仿真器學(xué)術(shù)會(huì)論文集[C];2004年
5 尹丹;;計(jì)算機(jī)取證中的數(shù)據(jù)恢復(fù)技術(shù)研究[A];全國(guó)計(jì)算機(jī)安全學(xué)術(shù)交流會(huì)論文集·第二十五卷[C];2010年
6 朱鶴健;錢樂(lè)祥;曹文志;;GIS支持下,農(nóng)業(yè)生態(tài)環(huán)境區(qū)域分異的研究——以福建為例[A];海峽兩岸地理學(xué)術(shù)研討會(huì)暨2001年學(xué)術(shù)年會(huì)論文摘要集[C];2001年
7 寇有觀;蘇國(guó)平;;應(yīng)急信息系統(tǒng)總體框架研究[A];中國(guó)地理信息系統(tǒng)協(xié)會(huì)第三次代表大會(huì)暨第七屆年會(huì)論文集[C];2003年
相關(guān)重要報(bào)紙文章 前10條
1 ;Unihub新開(kāi)通五大數(shù)據(jù)中心[N];人民郵電;2002年
2 李玉花 李明耀;擬建五大數(shù)據(jù)庫(kù)[N];檢察日?qǐng)?bào);2005年
3 本報(bào)記者 迪文;我國(guó)三大數(shù)據(jù)網(wǎng)標(biāo)準(zhǔn)走向國(guó)際[N];通信產(chǎn)業(yè)報(bào);2003年
4 本報(bào)記者 劉書(shū)臻 崔剛 通訊員 韓寶寬;統(tǒng)計(jì)工作要用 “大數(shù)據(jù)”說(shuō)話[N];中國(guó)信息報(bào);2005年
5 本報(bào)記者 周鵬;三大數(shù)據(jù)庫(kù) 支撐八大應(yīng)用系統(tǒng)[N];中國(guó)計(jì)算機(jī)報(bào);2004年
6 新華社記者;十大數(shù)據(jù)見(jiàn)證不尋常的一年[N];新華每日電訊;2004年
7 仝;10大數(shù)據(jù)庫(kù)撐起中國(guó)電子投資信息網(wǎng)[N];中國(guó)計(jì)算機(jī)報(bào);2000年
8 ;速達(dá)3000XP[N];中國(guó)計(jì)算機(jī)報(bào);2003年
9 本報(bào)記者 卜居;USB2.0期待“臨門一腳”[N];計(jì)算機(jī)世界;2003年
10 E4;xMax技術(shù)[N];中國(guó)計(jì)算機(jī)報(bào);2005年
相關(guān)博士學(xué)位論文 前5條
1 聞立杰;基于工作流網(wǎng)的過(guò)程挖掘算法研究[D];清華大學(xué);2007年
2 李嘉菲;基于工作流的業(yè)務(wù)過(guò)程管理關(guān)鍵技術(shù)研究[D];吉林大學(xué);2007年
3 何文娜;大數(shù)據(jù)時(shí)代基于物聯(lián)網(wǎng)和云計(jì)算的地質(zhì)信息化研究[D];吉林大學(xué);2013年
4 高昂;基于多種視角的工作流挖掘技術(shù)研究[D];北京科技大學(xué);2010年
5 徐振朋;移動(dòng)計(jì)算環(huán)境下檢查點(diǎn)回卷恢復(fù)容錯(cuò)技術(shù)研究[D];哈爾濱工程大學(xué);2011年
相關(guān)碩士學(xué)位論文 前10條
1 田珍;基于集群技術(shù)的作業(yè)管理系統(tǒng)研究與應(yīng)用[D];西北工業(yè)大學(xué);2006年
2 吳蘇;一種可發(fā)現(xiàn)復(fù)雜循環(huán)結(jié)構(gòu)的擴(kuò)展α過(guò)程挖掘算法[D];哈爾濱工程大學(xué);2011年
3 王榮滔;基于工作流的模具產(chǎn)品協(xié)同設(shè)計(jì)平臺(tái)的研究和應(yīng)用[D];重慶大學(xué);2008年
4 謝羿;變更挖掘技術(shù)研究與實(shí)現(xiàn)[D];國(guó)防科學(xué)技術(shù)大學(xué);2008年
5 王海濤;從事件日志中挖掘工作流模型[D];山東大學(xué);2006年
6 王廣立;基于日志的流程挖掘算法研究[D];山東大學(xué);2008年
7 潘建華;基于Windows平臺(tái)的電子信息挖掘分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];廈門大學(xué);2009年
8 凌勇;基于遺傳方法的流程挖掘技術(shù)的研究[D];山東大學(xué);2009年
9 卓安;基于P2P可伸縮架構(gòu)的大數(shù)據(jù)分析平臺(tái)研究與實(shí)現(xiàn)[D];清華大學(xué);2012年
10 時(shí)睿;基于數(shù)據(jù)挖據(jù)的商品推薦系統(tǒng)研究和實(shí)現(xiàn)[D];上海交通大學(xué);2013年
,本文編號(hào):1835862
本文鏈接:http://sikaile.net/guanlilunwen/ydhl/1835862.html