隨著大數(shù)據(jù)技術(shù)的飛速發(fā)展,金融銀行業(yè)、互聯(lián)網(wǎng)和物聯(lián)網(wǎng)等與人們生活聯(lián)系緊密的行業(yè)領(lǐng)域發(fā)生了翻天地覆的變化。數(shù)據(jù)規(guī)模迅速擴(kuò)大,數(shù)據(jù)計算具有規(guī)模性和實時性。在實時計算場景下,Flink流計算框架提供了豐富的算子支持和較好的容錯機制,且在資源調(diào)度方面做了許多優(yōu)化,能夠?qū)Υ罅髁康臄?shù)據(jù)進(jìn)行實時處理。然而,當(dāng)面臨實時數(shù)據(jù)流突增的時候,Flink不能根據(jù)當(dāng)前的數(shù)據(jù)流量進(jìn)行動態(tài)資源調(diào)整,從而會導(dǎo)致計算出現(xiàn)瓶頸,無法保證計算結(jié)果的實時性。本文針對Flink框架在數(shù)據(jù)量突增時會出現(xiàn)性能瓶頸的問題設(shè)計了一套基于Flink框架的資源調(diào)度管理系統(tǒng),對作業(yè)的運行情況進(jìn)行實時監(jiān)控,及時發(fā)現(xiàn)性能瓶頸進(jìn)行資源調(diào)整,保證數(shù)據(jù)計算的實時性。該系統(tǒng)主要包括Flink作業(yè)監(jiān)控子系統(tǒng)以及算子資源調(diào)度優(yōu)化子系統(tǒng)。Flink作業(yè)監(jiān)控子系統(tǒng)主要用來實時跟蹤作業(yè)上各算子的數(shù)據(jù)輸入、輸出、作業(yè)運行過程中網(wǎng)絡(luò)緩存使用情況,以及記錄算子拓?fù)潢P(guān)系,為判斷算子計算瓶頸提供直接依據(jù)。算子資源調(diào)度優(yōu)化子系統(tǒng)是根據(jù)收集的監(jiān)控數(shù)據(jù),以及對作業(yè)算子的有向無環(huán)的拓?fù)浣Y(jié)構(gòu)進(jìn)行廣度優(yōu)先搜索,根據(jù)Flink作業(yè)的反壓機制找出性能瓶頸的算子,并對出現(xiàn)性能瓶頸的算子進(jìn)行... 

【文章來源】：沈陽工業(yè)大學(xué)遼寧省

【文章頁數(shù)】：63 頁

【學(xué)位級別】：碩士

【部分圖文】：

Task在TaskManager的Slot中分布

第2章Flink框架相關(guān)技術(shù)9圖2.2線程優(yōu)化過程Fig.2.2Threadoptimizationprocess2.3反壓機制Flink運行時候的構(gòu)造部件是streams（數(shù)據(jù)流）和operators（算子）。operators對流streams進(jìn)行處理，產(chǎn)生一個新的流。當(dāng)一個operator接收到的streams的速率高于它在一個瞬時脈沖內(nèi)處理的數(shù)據(jù)流，就會產(chǎn)生反壓[33]。Flink系統(tǒng)自身處理反壓的機制，類似于生產(chǎn)者與消費者的阻塞隊列，一旦接收者接收的數(shù)據(jù)流量大于它所能處理的最大值，這個較慢的接收者就會拖慢發(fā)送者。反壓的過程可以類比抽水的過程，抽水機反壓類比圖如圖2.3所示。上游的水龍頭類比Flink里的Source，封閉木桶類比于ResultPartition，封閉木桶的1號和2號類比于ResultSubPartition，管道1號和2號類比于channel，抽水機1號和2號類比于inputGates，下游的水龍頭類比于下游算子。把水流類比于數(shù)據(jù)流，水流正酣，如果下游的兩個水龍頭都關(guān)閉，這兩個抽水機最先被填滿，由于抽水機只進(jìn)水不出水，抽水機滿了之后封閉木桶就不再出水了，直到封閉木桶也滿了，上游的水龍頭就不再放水了。所以類似的，下游算子消耗數(shù)據(jù)流比上游算子產(chǎn)生的慢時，inputGates的緩沖區(qū)就會慢慢被填滿，然后

沈陽工業(yè)大學(xué)碩士學(xué)位論文10ResultSubPartition的緩沖區(qū)也滿了，最后形成反壓，于是上游算子產(chǎn)生數(shù)據(jù)的速度減慢，從而達(dá)到平衡狀態(tài)。圖2.3抽水機反壓類比圖Fig.2.3PumpbackpressureclassdiagramFlink將反壓狀態(tài)分為三個級別，分別為OK、LOW、HIGH級別，其中OK對應(yīng)的反壓比例為大于0小于10%，LOW對應(yīng)的反壓比例大于10%小于50%，HIGH對應(yīng)的反壓比例大于50%小于100%。這個反壓比例也是算子輸入輸出端的buffer使用率，向緩沖池申請內(nèi)存塊的過程詳見2.4節(jié)。圖2.4是HeapOptimize作業(yè)運行時的拓?fù)鋱D以及各個算子的反壓狀態(tài)，如圖所示，通過Flink反壓機制，前兩個算子Source和FlatMap的反壓狀態(tài)級別都是HIGH,其余的算子反壓級別狀態(tài)都是OK。圖2.4Flink作業(yè)的算子狀態(tài)Fig.2.4OperatorstateofFlinkjob對Task進(jìn)行采樣檢測，有一些Subtasks狀態(tài)顯示HIGH，表示系統(tǒng)觸發(fā)了反壓，需要適當(dāng)增加Subtask并行度或者降低數(shù)據(jù)生產(chǎn)速度，否則經(jīng)過長時間的運行后，系統(tǒng)中處理的數(shù)據(jù)將會出現(xiàn)超時現(xiàn)象,在有些情況下數(shù)據(jù)不能及時處理，會造成嚴(yán)重的后果。

【參考文獻(xiàn)】：
期刊論文
[1]大數(shù)據(jù)對企業(yè)內(nèi)部控制信息安全影響研究[J]. 楊毓,陳園.  中外企業(yè)家. 2020(06)
[2]基于大數(shù)據(jù)背景下的銀行智能風(fēng)控體系建設(shè)[J]. 梅崇秀.  中外企業(yè)家. 2020(06)
[3]Flink和Spark Streaming流式計算模型比較分析[J]. 宋靈城.  通信技術(shù). 2020(01)
[4]大數(shù)據(jù)技術(shù)在智慧交通中的應(yīng)用新模式[J]. 曹宇鵬,李剛.  青海交通科技. 2019(06)
[5]大數(shù)據(jù)應(yīng)用現(xiàn)狀與發(fā)展趨勢的思考[J]. 喬愛鋒.  電信快報. 2019(11)
[6]一種基于流數(shù)據(jù)處理的預(yù)警系統(tǒng)設(shè)計[J]. 王性國,郝文靜,董建,謝康,杜佳穎.  電腦知識與技術(shù). 2019(30)
[7]基于流網(wǎng)絡(luò)的Flink平臺彈性資源調(diào)度策略[J]. 李梓楊,于炯,卞琛,張譯天,蒲勇霖,王躍飛,魯亮.  通信學(xué)報. 2019(08)
[8]一種基于集成的不均衡數(shù)據(jù)流分類算法[J]. 袁泉,郭江帆,趙學(xué)華.  計算機工程與科學(xué). 2019(08)
[9]Spark和Flink的計算模型對比研究[J]. 譚勇.  計算機產(chǎn)品與流通. 2019(04)
[10]基于新一代大數(shù)據(jù)處理引擎Flink的“智慧滁河”系統(tǒng)[J]. 葉楓,張鵬,夏潤亮,顧和生,陳勇.  水資源保護(hù). 2019(02)

碩士論文
[1]面向FLINK流處理框架的容錯策略優(yōu)化研究[D]. 慶驍.哈爾濱工業(yè)大學(xué) 2019
[2]基于數(shù)據(jù)流的風(fēng)機故障實時監(jiān)測系統(tǒng)開發(fā)研究[D]. 涂振宇.山東大學(xué) 2019
[3]大數(shù)據(jù)平臺加速處理技術(shù)的研究與實現(xiàn)[D]. 徐劉根.電子科技大學(xué) 2019
[4]基于大數(shù)據(jù)的網(wǎng)絡(luò)異常行為檢測平臺的設(shè)計與實現(xiàn)[D]. 李若鵬.華南理工大學(xué) 2018
[5]基于Flink的實時軌跡運動模式檢測[D]. 麥冠華.浙江大學(xué) 2018
[6]大數(shù)據(jù)流式處理系統(tǒng)負(fù)載均衡與容錯機制的研究[D]. 段澤源.華北電力大學(xué) 2017
[7]基于Kafka的大規(guī)模流數(shù)據(jù)分布式緩存與分析平臺[D]. 牛牧.吉林大學(xué) 2016
[8]流式計算模式的性能研究與優(yōu)化[D]. 王蒙.北京郵電大學(xué) 2017



本文編號：3010253