隨著互聯(lián)網(wǎng)的迅猛發(fā)展,越來越多的互聯(lián)網(wǎng)廣告開始出現(xiàn)�；ヂ�(lián)網(wǎng)廣告以其精準(zhǔn),快速,高效的投放,給廣告主帶來了豐厚的回報(bào)。通過對(duì)廣告投放系統(tǒng)實(shí)時(shí)數(shù)據(jù)處理的分析,針對(duì)重定向和實(shí)時(shí)數(shù)據(jù)統(tǒng)計(jì)等問題,提出了流式處理的方案,運(yùn)用Storm等技術(shù),設(shè)計(jì)并實(shí)現(xiàn)一種廣告投放的流式數(shù)據(jù)處理系統(tǒng),詳細(xì)論述了其設(shè)計(jì)與實(shí)現(xiàn)過程。 

【文章來源】：微型電腦應(yīng)用. 2019,35(06)

【文章頁數(shù)】：4 頁

【部分圖文】：

Storm架構(gòu)圖

Storm數(shù)據(jù)交互圖

ＭｉｃｒｏｃｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓＶｏｌ．３５，Ｎｏ．６，２０１９研究與設(shè)計(jì)微型電腦應(yīng)用２０１９年第３５卷第６期圖１Ｓｔｏｒｍ架構(gòu)圖Ｔｏｐｏｌｏｇｙ任務(wù)分配給ｓｕｐｅｒｖｉｓｏｒ。Ｎｉｍｂｕｓ和Ｓｕｐｅｒｖｉｓｏｒ能實(shí)現(xiàn)無狀態(tài)的快速失敗，保證了集群整體的健壯性，在這個(gè)過程中由ＺｏｏＫｅｅｐｅｒ來協(xié)調(diào)這兩者的工作。當(dāng)提交Ｔｏｐｏｌｏｇｙ任務(wù)之后，Ｎｉｍｂｕｓ節(jié)點(diǎn)先對(duì)它進(jìn)行分片，生成多個(gè)ｔａｓｋ，同時(shí)Ｔａｓｋ和Ｓｕｐｅｒｖｉｓｏｒ的有關(guān)信息會(huì)提交給ｚｏｏｋｅｅｐｅｒ集群，Ｓｕｐｅｒｖｉｓｏｒ通過查詢ｚｏｏｋｅｅｐｅｒ集群上，獲取各自的Ｔａｓｋ，然后將ｔａｓｋ交給ｗｏｒｋｅｒ進(jìn)行處理，如圖２所示。圖２Ｓｔｏｒｍ數(shù)據(jù)交互圖Ｓｔｏｒｍ處理流程涉及Ｓｔｒｅａｍ、Ｓｐｏｕｔ、Ｂｏｌｔ、ＳｔｒｅａｍＧｒｏｕｐ－ｉｎｇ。Ｓｔｒｅａｍ是ｓｔｏｒｍ的關(guān)鍵抽象化，是一個(gè)無邊界的ｔｕｐｌｅ序列，ｓｔｏｒｍ可以分布式并行對(duì)ｔｕｐｌｅ序列進(jìn)行處理。Ｓｐｏｕｔ是數(shù)據(jù)源，用于生產(chǎn)數(shù)據(jù)，一般是從外部數(shù)據(jù)源中進(jìn)行獲取并發(fā)送給ｔｕｐｌｅ。Ｂｏｌｔ用于處理數(shù)據(jù)，主要對(duì)數(shù)據(jù)進(jìn)行過濾，聚合，讀寫數(shù)據(jù)庫等操作。ＳｔｒｅａｍＧｒｏｕｐｉｎｇ用于規(guī)定各個(gè)ｂｏｌｔ接受什么樣的流數(shù)據(jù)，然后以什么的分組方式進(jìn)行發(fā)送。Ｔｏｐｏｌｏｇｙ都通過ＳｔｒｅａｍＧｒｏｕｐｉｎｇ相連的Ｓｐｏｕｔ和Ｂｏｌｔ節(jié)點(diǎn)而組成的網(wǎng)絡(luò)。Ｓｔｏｒｍ處理邏輯的結(jié)構(gòu)圖，如圖３所示。

【參考文獻(xiàn)】：
期刊論文
[1]基于概率模型檢驗(yàn)的Web服務(wù)系統(tǒng)可靠性分析[J]. 高洪皓,開金宇,周家安,繆淮扣,黃婉秋,王皙.  東南大學(xué)學(xué)報(bào)(自然科學(xué)版). 2017(S1)
[2]針對(duì)高速數(shù)據(jù)流的大規(guī)模數(shù)據(jù)實(shí)時(shí)處理方法[J]. 亓開元,趙卓峰,房俊,馬強(qiáng).  計(jì)算機(jī)學(xué)報(bào). 2012(03)



本文編號(hào)：3000938