【摘要】：近年來,隨著信息技術和互聯(lián)網技術的迅猛發(fā)展,全球的數(shù)據(jù)總量也呈現(xiàn)出爆炸式增長的趨勢,大數(shù)據(jù)時代即將到來。這將使科學研究的各個領域產生巨大變革,也將深遠的影響到我們未來生活的各個方面。本文所提出的基于Kafka的分布式的能效管理平臺具有創(chuàng)新性的意義。該平臺的設計目標是可以將輸入的海量復雜的流數(shù)據(jù)進行分布式緩存,并用于微服務之間的通信。本文的主要工作:詳細介紹了平臺設計的總體架構,將整個系統(tǒng)分為三個層次,分別是控制層、中間服務層以及微服務層;充分利用Kafka在數(shù)據(jù)傳輸方面的優(yōu)勢,將Kafka作為消息傳遞服務器,實現(xiàn)各個微服務之間的通信。并基于此設計實現(xiàn)了基于Kafka的大規(guī)模流數(shù)據(jù)分布式能效管理平臺,對電表,水表等計量設備采集的實時數(shù)據(jù)進行分析處理和展示,實現(xiàn)能源使用的科學化、智能化、精細化。最后通過實驗驗證其可用性,高效性以及可擴展性等。本文的獨到之處如下:(1)在傳統(tǒng)能效管理平臺的基礎上使用Kafka分布式消息中間件對海量流數(shù)據(jù)進行緩存,提高了在流數(shù)據(jù)輸入量突發(fā)性改變時整個系統(tǒng)的穩(wěn)定性。(2)研究與改進了Kafka原生Consumer負載均衡算法以及數(shù)據(jù)消費可靠性實現(xiàn)方式,提高了Kafka服務器集群負載均衡的效率和消息消費的可靠性。(3)設計并實現(xiàn)了微服務的直接解耦合和高效安全的通信方式,以滿足平臺的擴展性和系統(tǒng)吞吐量等多方面的需求。本文希望該平臺的研究與實現(xiàn)過程可以給分布式計算集群的搭建和海量數(shù)據(jù)處理過程提供新的方法和思路,也希望能通過不斷的研究,逐步完善此平臺系統(tǒng)。
【學位授予單位】：武漢郵電科學研究院
【學位級別】：碩士
【學位授予年份】：2018
【分類號】：TP311.52
【圖文】：

圖 3-1 兩個代理和一個消費者組（含 8 個消費者）現(xiàn)在假設整個集群中包括兩個 Kafka 消息代理和一個含有八個消費者的消費者組，如圖 3-1 所示。下面分兩種情況討論消費者消費數(shù)據(jù)的情況：

同分組的消費者數(shù)量大于分區(qū)總數(shù)時的負載均衡

圖 3-3 同分組的消費者數(shù)量小于分區(qū)總數(shù)時的負載均衡3.1.2 Kafka 的 Consumer 均衡算法改進根據(jù)以上的算法，可以發(fā)現(xiàn)：1.若需增加 Kafka 的某個消費者組的成員個數(shù)，至多只能增加到與 Partition 個數(shù)相

【相似文獻】

相關期刊論文 前10條

1 閆冬;;富士通推出數(shù)據(jù)中心能效管理方案[J];每周電腦報;2008年38期

2 呂進;樓振飛;陶堅剛;;面向服務構架的能效管理平臺開發(fā)研究[J];上海理工大學學報;2009年05期

3 ;天溯機場能效管理解決方案亮相第二屆“從航站樓看世界”高峰論壇[J];智能建筑電氣技術;2013年06期

4 ;南京天溯為福州五四北泰禾廣場打造能效管理“樣板工程”[J];電氣應用;2013年06期

5 鄭士君;黃愛平;岳躍申;蔡德慶;張燃;王勇;;海運企業(yè)能效管理信息系統(tǒng)研發(fā)[J];中國航海;2010年04期

6 ;2011中國數(shù)據(jù)中心動力安全能效管理趨勢研討會召開[J];計算機安全;2011年07期

7 胡貴華;朱文華;王宇穎;;基于SOA的化工行業(yè)能效管理系統(tǒng)[J];機械與電子;2009年01期

8 孫虹;李昆明;王林;孫彬;周春蕾;;基于WEB的省級能效管理平臺的設計與應用[J];江蘇電機工程;2014年02期

9 孫靖;耿銘杰;;EcoStruxure~(TM)能效管理平臺及其在化妝品生產企業(yè)的應用[J];智能建筑與城市信息;2013年03期

10 顧碩;;施耐德電氣為冶金行業(yè)提供專業(yè)的能效管理解決方案[J];自動化博覽;2013年08期

相關會議論文 前5條

1 韋兵;;論通信生產中能效管理體系的構建及其意義[A];通信電源新技術論壇——2008通信電源學術研討會論文集[C];2008年

2 鄭學明;姚賢炯;陳志杰;廖勤武;;能效管理應用探討[A];2013電力行業(yè)信息化年會論文集[C];2013年

3 鄭學明;姚賢炯;陳志杰;廖勤武;;能效管理應用探討[A];2013電力行業(yè)信息化年會論文集[C];2013年

4 耿沛;黃強;王剛;索也兵;劉正威;;兩化融合 創(chuàng)新管理 節(jié)能降耗[A];中國建材產業(yè)轉型升級創(chuàng)新發(fā)展研究論文集[C];2013年

5 ;智能用電能效管理系統(tǒng)[A];電力行業(yè)科學技術成果鑒定項目成果匯編(2012)[C];2013年

相關重要報紙文章 前10條

1 旭蓮;船舶能效管理:“竹子”輪“首航”[N];中國交通報;2011年

2 記者 蔣學林;國內外專家把脈中國能效管理[N];中國電力報;2010年

3 記者 張Z

本文編號：2799621