基于云平臺日志分析的追責方法研究與設計
【文章頁數(shù)】:72 頁
【學位級別】:碩士
【部分圖文】:
圖2-4?MapReduce執(zhí)行過程圖??以WordCount為例,結合圖2-4,一次統(tǒng)計過程如下:??
MapReduce劃分為“Map?(映射)”和“Reduce?(歸約)”兩個概念[38],是并行計算??的中心思想,在Hadoop框架中中只需要實現(xiàn)map()和reduce()兩個函數(shù)就可以實現(xiàn)??分布式計算。MapReduce的執(zhí)行過程如圖2-4所示:??<kl,?vl>?Ma....
圖2一SStom計算拓撲圖
所示的Storm任務有兩個數(shù)據(jù)源,經(jīng)過處理后,輸出兩種不同結果。目??在美團點評的相關實時任務中己經(jīng)有較為成熟的應用。??orm相同,Flink在流式處理上也有較為成熟的應用。事實上,Flink是一??流式處理和批處理的混合框架,當前的主流框架都將批處理和流式處理??類型,而Fl....
圖2-6?Kafka消息分發(fā)機制圖??2-6,kafkaartition組,組里??
?Consumer?Group2??圖2-6?Kafka消息分發(fā)機制圖??如圖2-6所示,kafka先將所有partition的消息都分發(fā)到所有用戶組,然后組里??的用戶輪詢消費partition的數(shù)據(jù),允許用戶重復消費,但不允許用戶消費不到消??息,因此,每個group中用戶數(shù)....
圖3-2實體間關系量化方法架構圖??
云平臺具有分布式特性,每個實體在運行過程中都在不斷產(chǎn)生日志,來記錄??實體的運行狀況和通信信息等。由上研究可知,實體間相關性是會隨時間變化的,??因此本文為實體間相關性度量系統(tǒng)設計了如圖3-2的物理架構,來保證實體間相??關性度量的實時性和準確性:?????__??、、、、??、....
本文編號:4032873
本文鏈接:http://sikaile.net/kejilunwen/ruanjiangongchenglunwen/4032873.html
下一篇:沒有了