本文關(guān)鍵詞：分布式數(shù)據(jù)流系統(tǒng)中負(fù)載均衡技術(shù)研究　出處：《華東師范大學(xué)》2017年博士論文　論文類型：學(xué)位論文

  更多相關(guān)文章： 分布式數(shù)據(jù)流處理 負(fù)載均衡 矩陣模型 非等值連接 容錯機(jī)制

【摘要】：隨著人們對大數(shù)據(jù)潛在價值的重視,數(shù)據(jù)分析的實時性在實際應(yīng)用中發(fā)揮著越來越重要的作用。實時流式大數(shù)據(jù)的典型代表如3G/4G通信流數(shù)據(jù)、網(wǎng)絡(luò)監(jiān)控數(shù)據(jù)、傳感器數(shù)據(jù)等。Twitter的推文產(chǎn)生速度為10萬條/分鐘;上海電信客戶數(shù)據(jù)到達(dá)速度200萬條/分鐘;目前國內(nèi)最大的太陽光學(xué)望遠(yuǎn)鏡在色球通道下能夠達(dá)到1GB/分鐘的高速采集速率;浙江省臺州市部署城道重點(diǎn)車輛動態(tài)監(jiān)管系統(tǒng)采集機(jī)動車號牌與行車軌跡的速率可達(dá)2.4億條/秒。這類數(shù)據(jù)通常具有持續(xù)性、無序性、數(shù)據(jù)分布可變性、數(shù)據(jù)規(guī)模不可預(yù)知性等特征,它們同時存在一定的生命周期,其數(shù)據(jù)價值隨著時間的推移逐漸變低。傳統(tǒng)數(shù)據(jù)庫技術(shù)不能滿足此類動態(tài)大規(guī)模數(shù)據(jù)存儲和及時服務(wù)反饋的需求,從而產(chǎn)生了分布式數(shù)據(jù)流處理引擎(DSPE,Distributed Stream Processing Engine)。流式計算通常架構(gòu)于大規(guī)模集群或者云平臺之上,計算任務(wù)以拓?fù)涞男问讲渴鸬椒植际焦?jié)點(diǎn),進(jìn)行連續(xù)多階段地處理,即每一階段的輸出可能會成為下一階段的輸入�，F(xiàn)有研究工作大多關(guān)注如何從系統(tǒng)架構(gòu)層出發(fā)進(jìn)行優(yōu)化處理進(jìn)而提高計算效率,達(dá)到實時處理的目的,其中包括數(shù)據(jù)分布式文件存儲、分布式拓?fù)涠x以及內(nèi)存數(shù)據(jù)庫技術(shù)探索等。盡管一些研究內(nèi)容已融入實時處理系統(tǒng)且已投入商業(yè)應(yīng)用,但是當(dāng)前的分布式流數(shù)據(jù)處理平臺還存在以下三個方面難題:1)任務(wù)的高吞吐、低延時自適應(yīng)保障算法匱乏。數(shù)據(jù)傾斜(Data Skew)是現(xiàn)實應(yīng)用中普遍存在的現(xiàn)象,且數(shù)據(jù)分布變化具有突發(fā)性。諸如通信數(shù)據(jù)忙閑時、特殊事件發(fā)生及電商促銷等均在數(shù)據(jù)量及數(shù)據(jù)分布上表現(xiàn)出了動態(tài)性。在這種情況下,如何保障系統(tǒng)吞吐量和處理延時的穩(wěn)定性是一個難題;2)敏捷的系統(tǒng)擴(kuò)展能力不夠。企業(yè)需要從數(shù)據(jù)約減(Scale-down)、硬件升級(Scale-up)、以及系統(tǒng)規(guī)模擴(kuò)大(Scale-out)三個方面來應(yīng)對數(shù)據(jù)規(guī)模持續(xù)增長的問題。然而,由于硬件發(fā)展的速度已經(jīng)遠(yuǎn)遠(yuǎn)落后于數(shù)據(jù)規(guī)模的增長速度,所以實現(xiàn)系統(tǒng)的非阻塞式敏捷橫向擴(kuò)展是保證實時處理系統(tǒng)可用性的關(guān)鍵技術(shù)之一;3)可用性保障策略是分布式實時處理系統(tǒng)的難題�，F(xiàn)實應(yīng)用中的系統(tǒng)故障往往體現(xiàn)在集群中部分節(jié)點(diǎn)的失效,例如Google公司2000臺機(jī)器的集群,故障機(jī)器每天超過10臺;Synergy分布式流式計算系統(tǒng)的業(yè)務(wù)運(yùn)行統(tǒng)計顯示,機(jī)器故障率超過15%;IBM的數(shù)據(jù)流處理系統(tǒng)S在一個月內(nèi)發(fā)生了 69次重大節(jié)點(diǎn)故障。集群中運(yùn)算節(jié)點(diǎn)的失效導(dǎo)致了運(yùn)算的不完整性,而實時處理要求高效恢復(fù),這也是數(shù)據(jù)流系統(tǒng)面臨的難點(diǎn)之一。與批量的靜態(tài)數(shù)據(jù)處理相比,數(shù)據(jù)流處理系統(tǒng)面對實時且未知的數(shù)據(jù)需具備彈性的處理架構(gòu)、低延時的處理性能及高效的容錯方案。正如2014年圖靈獎獲得者M(jìn)ichael Stonebraker所言,實時數(shù)據(jù)流處理系統(tǒng)應(yīng)該具備快速處理到達(dá)數(shù)據(jù)、低延時地輸出處理結(jié)果、計算以并行且可擴(kuò)容的方式進(jìn)行、計算資源自適應(yīng)于應(yīng)用的需求、保證數(shù)據(jù)安全及可用性等。因此,本文通過研究分布式并行數(shù)據(jù)流處理系統(tǒng)中制約處理性能的負(fù)載傾斜問題、數(shù)據(jù)并行節(jié)點(diǎn)處理架構(gòu)對數(shù)據(jù)連接操作的影響及保證數(shù)據(jù)流處理高可用的容錯機(jī)制缺陷,旨在通過充分利用集群中的各種硬件資源來構(gòu)建一個高性能且高可靠性的分布式并行數(shù)據(jù)流處理系統(tǒng)。論文主要貢獻(xiàn)概括如下:1.分析數(shù)據(jù)傾斜在分布式并行數(shù)據(jù)流處理系統(tǒng)中的性能影響,提出分布式并行數(shù)據(jù)流處理系統(tǒng)中基于key操作的均衡調(diào)整方案。數(shù)據(jù)流的拓?fù)浣Y(jié)構(gòu)往往以key為粒度路由分發(fā)數(shù)據(jù)至下游處理節(jié)點(diǎn)。對于基于key的操作,以key為單位粒度的均衡調(diào)整能夠最大限度地保持基于key操作的語義,但調(diào)整單位粒度大,通常均衡性不夠好。同時將節(jié)點(diǎn)的負(fù)載調(diào)整至均衡負(fù)載閾值是一維裝箱的NP-Hard問題。本文在兼顧C(jī)PU、內(nèi)存及網(wǎng)絡(luò)資源開銷的前提下,提出了一種輕量級的均衡調(diào)整方案。另外,為了應(yīng)對傾斜度較高的負(fù)載分布,本文進(jìn)一步提出基于key的按需拆分、盡量合并的方法,使系統(tǒng)既能達(dá)到負(fù)載均衡,又能減少細(xì)粒度均衡所帶來的額外代價。2.通過組織并行處理單元的架構(gòu),有效地降低分布式并行數(shù)據(jù)流處理系統(tǒng)中連接操作的代價。連接操作要求系統(tǒng)根據(jù)連接謂詞的操作語義將數(shù)據(jù)按照一定的規(guī)則聚集在一起。然而,按照傳統(tǒng)基于key劃分的路由方案勢必會帶來大量的廣播元組操作,在非等值連接操作中表現(xiàn)尤為突出,使得分布式并行數(shù)據(jù)流處理系統(tǒng)對網(wǎng)絡(luò)及內(nèi)存需求巨大。本文采用連接矩陣模型,通過快速制定最優(yōu)矩陣架構(gòu)及遷移計劃,從而減少由數(shù)據(jù)動態(tài)性帶來的系統(tǒng)資源開銷。此外,本文繼續(xù)探索了不規(guī)則矩陣的生成方法,在保證處理結(jié)果正確性的前提下,進(jìn)一步降低系統(tǒng)資源代價。3.探討了在保證數(shù)據(jù)恢復(fù)時效性的前提下,節(jié)省系統(tǒng)資源開銷的分布式并行數(shù)據(jù)流處理系統(tǒng)容錯策略。系統(tǒng)的容錯機(jī)制是系統(tǒng)連續(xù)正常運(yùn)行的基本保障。容錯主要通過備份的途徑實現(xiàn),不同的應(yīng)用對容錯的恢復(fù)延時要求不同,難點(diǎn)在于如何處理容錯的精確性與恢復(fù)延時的反比關(guān)系。本文融合了均衡與容錯兩個方面,使系統(tǒng)既能保持高性能的均衡狀態(tài),又能夠具備低延時恢復(fù)特性。綜上所述,本文對分布式并行數(shù)據(jù)流處理系統(tǒng)中負(fù)載均衡的分析,分別從基于key操作的均衡策略、在負(fù)載均衡的矩陣模型下的連接操作與系統(tǒng)容錯的角度,探討出保證實時處理系統(tǒng)高性能的方案:通過對已有研究成果的調(diào)查分析,給出相關(guān)技術(shù)點(diǎn)的理論支撐;通過在標(biāo)準(zhǔn)測試集和真實數(shù)據(jù)集上大量的實驗及相關(guān)技術(shù)的對比測試,全面地驗證了提出方法的正確性和有效性。
【學(xué)位授予單位】：華東師范大學(xué)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2017
【分類號】：TP311.13
，

本文編號：1319673