隨著科技的進(jìn)步,電子商務(wù)、社交網(wǎng)絡(luò)、新聞聚合、視頻監(jiān)控和衛(wèi)星遙感技術(shù)的蓬勃發(fā)展。每天都會產(chǎn)生海量的實時數(shù)據(jù),這些數(shù)據(jù)無論是形式還是規(guī)模都和傳統(tǒng)數(shù)據(jù)不一樣,傳統(tǒng)數(shù)據(jù)一般都是結(jié)構(gòu)化的靜態(tài)數(shù)據(jù),并且規(guī)模較小,處理實時性要求不高。實時數(shù)據(jù)多以流式數(shù)據(jù)為主,流式數(shù)據(jù)具有數(shù)據(jù)規(guī)模龐大,數(shù)據(jù)流向和流速不確定、實時性、非結(jié)構(gòu)化等特點。因此,專門處理流式數(shù)據(jù)為代表的分布式計算平臺應(yīng)運而生。本論文提出來一種分布式流計算平臺,提供低時延、高吞吐的實時流分析服務(wù)。在拓?fù)鋱D中指定應(yīng)用程序邏輯。本論文將圍繞分布式流計算平臺中的任務(wù)調(diào)度算法,容錯機制,消息處理機制方面進(jìn)行研究。主要工作包括以下幾點:1)研究當(dāng)下常見的流計算平臺（Storm、Spark Streaming、Flink等）主要研究其調(diào)度算法、容錯機制和消息機制。分析各個平臺的優(yōu)缺點。2)在任務(wù)調(diào)度方面,采用基于Qos約束的智能調(diào)度算法。在任務(wù)調(diào)度時,調(diào)度算法模塊統(tǒng)計計算節(jié)點資源使用率,并將資源使用率作為調(diào)度的約束條件,不同的資源使用具有不同的權(quán)重因子,采用模擬退火算法訓(xùn)練權(quán)重因子,這樣在不同的運行環(huán)境,調(diào)度算法智能的調(diào)度任務(wù),提高系統(tǒng)吞吐量,增強數(shù)據(jù)處... 

【文章來源】：電子科技大學(xué)四川省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：78 頁

【學(xué)位級別】：碩士

【部分圖文】：

主節(jié)點啟動

電子科技大學(xué)碩士學(xué)位論文58圖5-4備份節(jié)點啟動在192.168.1.88上輸入ctrl+c命令，主節(jié)點關(guān)閉，等待一段時間，看到備份節(jié)點所在物理機打印出如圖5-5圖5-5關(guān)閉主節(jié)點后備份節(jié)點打印信息看到備份節(jié)點打印出MasterNode::initMaster()判斷出備份節(jié)點變?yōu)橹鞴?jié)點。5.2.2計算節(jié)點測試計算節(jié)點測試策略是，啟動分布式流計算平臺后臺來提交wordCount任務(wù)，通過后臺界面來看計算節(jié)點的變化。操作步驟如下：1)首先啟動Zookeeper集群，進(jìn)入zookeeper/bin目錄下執(zhí)行./zkServer.shstart。如圖5-6所示。圖5-6啟動zookeeper集群leader圖2)啟動控制節(jié)點和計算節(jié)點，在控制節(jié)點上執(zhí)行命令./mastercon.xml,計算節(jié)點執(zhí)行命令./supervisorsupervisor.conf3)通過客戶端發(fā)送任務(wù)，執(zhí)行命令./client192.168.1.88wordCount.xml，執(zhí)行完命令，會返回一個任務(wù)id如圖5-7所示：

第五章測試與分析59圖5-7客戶端提交任務(wù)后4)通過客戶端啟動任務(wù)9345，命令是./client192.168.1.88–start9345，手動啟動任務(wù)，master節(jié)點返回如圖5-8所示，下面用紅色框框住的部分是任務(wù)拓?fù)鋱D。圖5-8打印任務(wù)拓?fù)鋱D5.2.3消息可靠性功能測試消息功能測試策略：由于消息在計算單元中流動，在哪個計算單用中丟失具有隨機性。不太好測試出錯場景，因此本文統(tǒng)計所有tuple信息，統(tǒng)計發(fā)送的tuple信息，和在結(jié)果集中不同tuple的數(shù)量。為了簡化流程，采用鏈?zhǔn)酵負(fù)鋱D，如圖5-9，發(fā)送數(shù)據(jù)流為不重復(fù)的連續(xù)整數(shù)數(shù)據(jù)流，最后統(tǒng)計不同數(shù)據(jù)總量是不是符合預(yù)期。

【參考文獻(xiàn)】：
期刊論文
[1]改進(jìn)的基于加權(quán)最小連接數(shù)的負(fù)載均衡算法[J]. 高振斌,潘亞辰,華中,段小紅,趙丹.  科學(xué)技術(shù)與工程. 2016(06)
[2]基于Raft一致性協(xié)議的高可用性實現(xiàn)[J]. 張晨東,郭進(jìn)偉,劉柏眾,儲佳佳,周敏奇,錢衛(wèi)寧.  華東師范大學(xué)學(xué)報(自然科學(xué)版). 2015(05)
[3]面向大數(shù)據(jù)分析的分布式文件系統(tǒng)關(guān)鍵技術(shù)[J]. 周江,王偉平,孟丹,馬燦,古曉艷,蔣杰.  計算機研究與發(fā)展. 2014(02)
[4]基于Redis的海量小文件分布式存儲方法研究[J]. 劉高軍,王帝澳.  計算機工程與科學(xué). 2013(10)
[5]面向Web Service的動態(tài)負(fù)載均衡設(shè)計與實現(xiàn)[J]. 周順.  計算機工程與科學(xué). 2010(12)
[6]模擬退火算法[J]. 魏延,謝開貴.  蒙自師范高等�？茖W(xué)校學(xué)報. 1999(04)
[7]基于ACTOR模型的并發(fā)面向?qū)ο笳Z言AC++[J]. 董哲,劉琳,田籟聲.  軟件學(xué)報. 1997(03)

碩士論文
[1]GlusterFS的數(shù)據(jù)分布策略與性能優(yōu)化研究[D]. 何華.國防科學(xué)技術(shù)大學(xué) 2013
[2]雙機容錯熱備份系統(tǒng)研究與實現(xiàn)[D]. 田灼.哈爾濱理工大學(xué) 2003



本文編號：3235567