天堂国产午夜亚洲专区-少妇人妻综合久久蜜臀-国产成人户外露出视频在线-国产91传媒一区二区三区

基于模擬匹配的分布式頻繁圖模式挖掘方法研究

發(fā)布時(shí)間:2021-01-10 21:32
  頻繁模式挖掘的目標(biāo)是在數(shù)據(jù)中找出所有頻繁出現(xiàn)的模式,進(jìn)而發(fā)現(xiàn)蘊(yùn)含在數(shù)據(jù)中的潛在知識(shí),根據(jù)所挖掘數(shù)據(jù)對(duì)象的種類,可以把模式分為事務(wù)、序列、項(xiàng)集和圖等。在圖數(shù)據(jù)中挖掘頻繁的圖模式稱為頻繁圖模式挖掘,頻繁圖模式挖掘的目標(biāo)是在數(shù)據(jù)圖中找出所有出現(xiàn)次數(shù)大于給定最小支持度閾值的圖模式。頻繁圖模式挖掘具有非常重要的理論與應(yīng)用價(jià)值,眾多學(xué)者也致力于研究新的更高效的頻繁圖模式挖掘算法。圖模式匹配是頻繁圖模式挖掘算法中的重要操作,在頻繁圖模式挖掘算法中,通過圖模式匹配可以得到當(dāng)前候選圖模式在數(shù)據(jù)圖中的匹配結(jié)果,進(jìn)而判斷該圖模式是否頻繁。按照對(duì)匹配結(jié)果結(jié)構(gòu)要求是否嚴(yán)格,可以把圖模式匹配概念分為精確匹配和模擬匹配兩類。當(dāng)前許多在圖數(shù)據(jù)上進(jìn)行的頻繁圖模式挖掘工作都是基于子圖同構(gòu)來實(shí)現(xiàn)候選圖模式與數(shù)據(jù)圖的精確匹配。子圖同構(gòu)對(duì)匹配結(jié)果結(jié)構(gòu)約束太過嚴(yán)格,在某些應(yīng)用中進(jìn)行挖掘會(huì)丟失一些有意義的頻繁圖模式。模擬匹配允許候選圖模式與數(shù)據(jù)圖中的匹配結(jié)果存在一定拓?fù)浣Y(jié)構(gòu)差異,作為一種新興的匹配概念,在路網(wǎng)監(jiān)測和社交網(wǎng)絡(luò)分析等應(yīng)用中發(fā)揮著重要作用。現(xiàn)有的模擬匹配概念,例如圖模擬和雙向模擬。在頻繁圖模式挖掘領(lǐng)域,現(xiàn)有的模擬匹配概念... 

【文章來源】: 華冠齊 山東大學(xué)

【文章頁數(shù)】:75 頁

【學(xué)位級(jí)別】:碩士

【部分圖文】:

基于模擬匹配的分布式頻繁圖模式挖掘方法研究


圖1-1數(shù)據(jù)圖與圖模式??

映射函數(shù),函數(shù),計(jì)算模型,核心


master-slave?model),在主計(jì)算節(jié)點(diǎn)上執(zhí)行??JobTracker,工作節(jié)點(diǎn)上執(zhí)行Tasktracker。jobTracker負(fù)責(zé)分配計(jì)算任務(wù)給工作節(jié)??點(diǎn),并與Tasktracker進(jìn)行通信以收集計(jì)算結(jié)果,Tasktracker負(fù)責(zé)執(zhí)行jobTracker??分配的計(jì)算任務(wù),并將計(jì)算結(jié)果返回。??/?Master?)??Map任羅/?\Reduce任務(wù)??-|?\?JMA/orkerl^?■■???Map結(jié)果?|?I?|?I??子酬1?|響咖結(jié)果??子數(shù)據(jù)圖2??Map結(jié)果j?|?J??子數(shù)據(jù)圖3? ̄^?|??^?數(shù)據(jù)?Reduce結(jié)果??—— ̄?Map結(jié)果'?j?I?^^?I????圖2-1?MapReduce計(jì)算模型??MapReduce核心步驟可以分為兩個(gè)用戶自行編寫的函數(shù):映射函數(shù)(Map)??與規(guī)約函數(shù)(Reduce),二者均采用key-value鍵值對(duì)作為數(shù)據(jù)處理單元。??11??

狀態(tài)圖,計(jì)算模型,結(jié)點(diǎn),節(jié)點(diǎn)


山東大學(xué)碩士學(xué)位論文??MapReduce計(jì)算模型如圖2-1所示。在計(jì)算任務(wù)開始時(shí),Master節(jié)點(diǎn)將映射任務(wù)??分配給各個(gè)Worker節(jié)點(diǎn),Worker?qū)?dāng)前數(shù)據(jù)通過一定規(guī)則映射為另外的數(shù)據(jù),??再將映射后的數(shù)據(jù)進(jìn)行排序分組(Shuffle)處理,分配給其他Worker,其他Worker??接到Master的規(guī)約任務(wù)和處理后的數(shù)據(jù),按照規(guī)約函數(shù)對(duì)數(shù)據(jù)進(jìn)行規(guī)約,得到??最終的運(yùn)算結(jié)果,輸出結(jié)果也采用鍵值對(duì)格式。??2)?Pregei大規(guī)模分布式圖計(jì)算平臺(tái)??Google在2010年發(fā)布的Pregel并行圖處理系統(tǒng)^^是一個(gè)可擴(kuò)展的,容錯(cuò)性??良好的分布式圖計(jì)算系統(tǒng)。Pregel也遵循主從架構(gòu)和整體同步并行計(jì)算模型(Bulk??Synchronous?Parallel?Computing?Model),Pregel?由一個(gè)唯一的主計(jì)算節(jié)點(diǎn)和若干??工作節(jié)點(diǎn)組成,主計(jì)算節(jié)點(diǎn)本身不保存整個(gè)數(shù)據(jù)圖,也不負(fù)責(zé)復(fù)雜的圖計(jì)算任務(wù),??而是將整張數(shù)據(jù)圖按照“切邊法”切成規(guī)模較小的子圖,分發(fā)給各個(gè)工作節(jié)點(diǎn)保??存,工作節(jié)點(diǎn)只需要維護(hù)自身保存數(shù)據(jù)圖的結(jié)構(gòu)。Pregel計(jì)算模型以結(jié)點(diǎn)為中心,??以超步(Superstep)為計(jì)算單位進(jìn)行計(jì)算,一次計(jì)算流程包括若干超步的迭代計(jì)??算。在每個(gè)超步執(zhí)行過程中,計(jì)算節(jié)點(diǎn)執(zhí)行用戶自定義的任務(wù),同時(shí)處理上個(gè)超??步中接收到的其他節(jié)點(diǎn)發(fā)來的消息,實(shí)現(xiàn)整體同步各個(gè)節(jié)點(diǎn)并行計(jì)算,在分布式??計(jì)算領(lǐng)域得到了較為廣泛的應(yīng)用。??超步1?|超步2?|超步3?…?|超步N??〇?KI)?J〇??〇??0\?xrO??、、c??cr?o??圖2-2?Pregel計(jì)算模型??圖2-2展示了?Pregel以


本文編號(hào):2969450

資料下載
論文發(fā)表

本文鏈接:http://sikaile.net/shoufeilunwen/benkebiyelunwen/2969450.html


Copyright(c)文論論文網(wǎng)All Rights Reserved | 網(wǎng)站地圖 |

版權(quán)申明:資料由用戶7c9e1***提供,本站僅收錄摘要或目錄,作者需要?jiǎng)h除請E-mail郵箱bigeng88@qq.com