在智能制造大浪潮的推動下,傳統(tǒng)制造型企業(yè)經(jīng)歷了大規(guī)模的數(shù)字化轉型,越來越多的數(shù)字化研發(fā)系統(tǒng)被應用到企業(yè)的研發(fā)生產(chǎn)過程中;這些系統(tǒng)所帶來的便利以及管理水平的提升顯而易見,而系統(tǒng)所產(chǎn)生數(shù)據(jù)的潛在價值卻未被充分挖掘。文章介紹了某國內(nèi)知名汽車零部件企業(yè)在數(shù)字化轉型過程中,利用Kafka、Hadoop等一些軟件,將應用系統(tǒng)及用戶的使用數(shù)據(jù)進行采集、存儲、挖掘和分析,形成了一定的量化評估能力,并為后續(xù)利用這些數(shù)據(jù)通過機器學習進一步提升效率打下基礎。

【文章頁數(shù)】：5 頁

【部分圖文】：

圖1某企業(yè)工程研發(fā)數(shù)據(jù)分析方案

如圖1所示，某企業(yè)工程研發(fā)數(shù)據(jù)分析方案整體分為4個層次，即數(shù)據(jù)采集、數(shù)據(jù)傳輸、數(shù)據(jù)分析框架和數(shù)據(jù)挖掘。平臺整體基于Hadoop大數(shù)據(jù)分析框架，前端使用Kafka作為流數(shù)據(jù)處理引擎，將采集出來的工程數(shù)據(jù)實時傳輸并處理完成，隨后提供到Hadoop系統(tǒng)中，供用戶完成數(shù)據(jù)分析挖掘工作。

圖2Kafka架構

如圖2所示，在Kafka集群中，一個服務節(jié)點被稱為Broker。對于每一個主題(Topic),Kafka集群保留至少一個用于縮放、容錯和并行化的分區(qū)(Partition)。每個分區(qū)都是一個有序且不可變的消息隊列[1]。簡單來說，每個終端作為一個“生產(chǎn)者”，將采集到的數(shù)據(jù)以指定的主....

圖3消息消費模式

Kafka的高性能首先得益于它的分布式架構，整個系統(tǒng)可以包含多個服務器實例，每個主題也可以有多個分區(qū)，通過負載均衡機制來協(xié)同處理，以保證匹配不同級別的數(shù)據(jù)量。其次，Kafka的消費者同樣也支持群組，同一群組中的多個消費者可以同時消費同一主題不同分區(qū)的消息(見圖3)，大大提高了消費....

圖4MapReduce框架工作原理

如圖4所示，在MapReduce的計算框架下，數(shù)據(jù)將被映射(Map)成<Key,Value>對，經(jīng)過排序和合并后，將<Key,Value>集合分發(fā)到每個Hadoop的計算節(jié)點上，各節(jié)點并行計算后再將各自的計算結果進行規(guī)約(Reduce)處理，合并成為最終的計算結果，當然這中間的全....

本文編號：3940682