本文關(guān)鍵詞：一種基于Kafka的可靠的Consumer的設(shè)計方案

  更多相關(guān)文章： Kafka 數(shù)據(jù)可靠性 zookeeper 實時

【摘要】：伴隨著互聯(lián)網(wǎng)和移動互聯(lián)網(wǎng)的發(fā)展,各種新興應(yīng)用層出不窮,對大數(shù)據(jù)處理的實時性和高并發(fā)能力要求也在不斷提高。Apache Kafka,作為一種分布式的消息系統(tǒng),具有可水平擴展和高吞吐率而被廣泛的使用。對于數(shù)據(jù)業(yè)務(wù)的基礎(chǔ)支撐系統(tǒng),除了能夠滿足高并發(fā)度和實時性以外,數(shù)據(jù)的質(zhì)量即數(shù)據(jù)可靠性也是關(guān)鍵的一環(huán)。但是,由Kafka原生提供的數(shù)據(jù)消費者不能夠保障數(shù)據(jù)的可靠性。本文首先簡單介紹了Kafka的組成、架構(gòu)特性等技術(shù)背景,然后闡述了原生Consumer的原理和缺陷;最后,基于Kafka提出一個可靠的消費者的設(shè)計方案。本方案是基于Kafka的low-level的接口集,解決了Kafka原生Consumer由于將用戶消費數(shù)據(jù)的動作與數(shù)據(jù)消費位置的記錄獨立而引起的數(shù)據(jù)質(zhì)量問題,保障了數(shù)據(jù)的可靠性。最后,搭建Kafka集群測試環(huán)境,驗證了方案的可行性和正確性。
【作者單位】： 北京郵電大學(xué)網(wǎng)絡(luò)與交換技術(shù)國家重點實驗室;東信北郵信息技術(shù)有限公司;
【關(guān)鍵詞】： Kafka 數(shù)據(jù)可靠性 zookeeper 實時
【分類號】：TP311.52
【正文快照】： 0引言隨著互聯(lián)網(wǎng)行業(yè)的不斷發(fā)展,各種業(yè)務(wù)的數(shù)據(jù)量不斷增多,在大數(shù)據(jù)處理環(huán)境下,對數(shù)據(jù)的實時性要求不斷提高。筆者原有的技術(shù)環(huán)境采用ftp技術(shù)作為數(shù)據(jù)傳輸手段和傳統(tǒng)關(guān)系型數(shù)據(jù)庫和文件系統(tǒng)作為存儲介質(zhì),效率較低,無法滿足客戶對數(shù)據(jù)實時性的要求。Apache Kafka[1],作為一種

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前3條

1 鐘睿明;劉川意;王春露;項菲;;一種成本相關(guān)的云提供商數(shù)據(jù)可靠性保證算法[J];軟件學(xué)報;2014年08期

2 宮紀明;方來寶;;基于微網(wǎng)絡(luò)可靠性系數(shù)μ的可信WSN[J];淮北煤炭師范學(xué)院學(xué)報(自然科學(xué)版);2010年01期

3 ;[J];;年期

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前3條

1 李仲玉;導(dǎo)航網(wǎng)絡(luò)傳輸系統(tǒng)數(shù)據(jù)可靠性方法的研究[D];哈爾濱工程大學(xué);2008年

2 盧俊;云存儲中基于SecCSIE架構(gòu)與AONT-RS的數(shù)據(jù)可靠性與安全性研究[D];湖南大學(xué);2012年

3 付仲愷;基于P2P的下一代互聯(lián)網(wǎng)命名系統(tǒng)的數(shù)據(jù)可靠性研究[D];北京工業(yè)大學(xué);2009年

，

本文編號：591520