基于云平臺(tái)日志分析的追責(zé)方法研究與設(shè)計(jì)
【文章頁(yè)數(shù)】:72 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
圖2-4?MapReduce執(zhí)行過(guò)程圖??以WordCount為例,結(jié)合圖2-4,一次統(tǒng)計(jì)過(guò)程如下:??
MapReduce劃分為“Map?(映射)”和“Reduce?(歸約)”兩個(gè)概念[38],是并行計(jì)算??的中心思想,在Hadoop框架中中只需要實(shí)現(xiàn)map()和reduce()兩個(gè)函數(shù)就可以實(shí)現(xiàn)??分布式計(jì)算。MapReduce的執(zhí)行過(guò)程如圖2-4所示:??<kl,?vl>?Ma....
圖2一SStom計(jì)算拓?fù)鋱D
所示的Storm任務(wù)有兩個(gè)數(shù)據(jù)源,經(jīng)過(guò)處理后,輸出兩種不同結(jié)果。目??在美團(tuán)點(diǎn)評(píng)的相關(guān)實(shí)時(shí)任務(wù)中己經(jīng)有較為成熟的應(yīng)用。??orm相同,Flink在流式處理上也有較為成熟的應(yīng)用。事實(shí)上,Flink是一??流式處理和批處理的混合框架,當(dāng)前的主流框架都將批處理和流式處理??類型,而Fl....
圖2-6?Kafka消息分發(fā)機(jī)制圖??2-6,kafkaartition組,組里??
?Consumer?Group2??圖2-6?Kafka消息分發(fā)機(jī)制圖??如圖2-6所示,kafka先將所有partition的消息都分發(fā)到所有用戶組,然后組里??的用戶輪詢消費(fèi)partition的數(shù)據(jù),允許用戶重復(fù)消費(fèi),但不允許用戶消費(fèi)不到消??息,因此,每個(gè)group中用戶數(shù)....
圖3-2實(shí)體間關(guān)系量化方法架構(gòu)圖??
云平臺(tái)具有分布式特性,每個(gè)實(shí)體在運(yùn)行過(guò)程中都在不斷產(chǎn)生日志,來(lái)記錄??實(shí)體的運(yùn)行狀況和通信信息等。由上研究可知,實(shí)體間相關(guān)性是會(huì)隨時(shí)間變化的,??因此本文為實(shí)體間相關(guān)性度量系統(tǒng)設(shè)計(jì)了如圖3-2的物理架構(gòu),來(lái)保證實(shí)體間相??關(guān)性度量的實(shí)時(shí)性和準(zhǔn)確性:?????__??、、、、??、....
本文編號(hào):4032873
本文鏈接:http://sikaile.net/kejilunwen/ruanjiangongchenglunwen/4032873.html
下一篇:沒(méi)有了