隨著科技的進(jìn)步,電子商務(wù)、社交網(wǎng)絡(luò)、新聞聚合、視頻監(jiān)控和衛(wèi)星遙感技術(shù)的蓬勃發(fā)展。每天都會(huì)產(chǎn)生海量的實(shí)時(shí)數(shù)據(jù),這些數(shù)據(jù)無(wú)論是形式還是規(guī)模都和傳統(tǒng)數(shù)據(jù)不一樣,傳統(tǒng)數(shù)據(jù)一般都是結(jié)構(gòu)化的靜態(tài)數(shù)據(jù),并且規(guī)模較小,處理實(shí)時(shí)性要求不高。實(shí)時(shí)數(shù)據(jù)多以流式數(shù)據(jù)為主,流式數(shù)據(jù)具有數(shù)據(jù)規(guī)模龐大,數(shù)據(jù)流向和流速不確定、實(shí)時(shí)性、非結(jié)構(gòu)化等特點(diǎn)。因此,專門處理流式數(shù)據(jù)為代表的分布式計(jì)算平臺(tái)應(yīng)運(yùn)而生。本論文提出來(lái)一種分布式流計(jì)算平臺(tái),提供低時(shí)延、高吞吐的實(shí)時(shí)流分析服務(wù)。在拓?fù)鋱D中指定應(yīng)用程序邏輯。本論文將圍繞分布式流計(jì)算平臺(tái)中的任務(wù)調(diào)度算法,容錯(cuò)機(jī)制,消息處理機(jī)制方面進(jìn)行研究。主要工作包括以下幾點(diǎn):1)研究當(dāng)下常見(jiàn)的流計(jì)算平臺(tái)（Storm、Spark Streaming、Flink等）主要研究其調(diào)度算法、容錯(cuò)機(jī)制和消息機(jī)制。分析各個(gè)平臺(tái)的優(yōu)缺點(diǎn)。2)在任務(wù)調(diào)度方面,采用基于Qos約束的智能調(diào)度算法。在任務(wù)調(diào)度時(shí),調(diào)度算法模塊統(tǒng)計(jì)計(jì)算節(jié)點(diǎn)資源使用率,并將資源使用率作為調(diào)度的約束條件,不同的資源使用具有不同的權(quán)重因子,采用模擬退火算法訓(xùn)練權(quán)重因子,這樣在不同的運(yùn)行環(huán)境,調(diào)度算法智能的調(diào)度任務(wù),提高系統(tǒng)吞吐量,增強(qiáng)數(shù)據(jù)處... 

【文章來(lái)源】：電子科技大學(xué)四川省 211工程院校 985工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：78 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

主節(jié)點(diǎn)啟動(dòng)

電子科技大學(xué)碩士學(xué)位論文58圖5-4備份節(jié)點(diǎn)啟動(dòng)在192.168.1.88上輸入ctrl+c命令，主節(jié)點(diǎn)關(guān)閉，等待一段時(shí)間，看到備份節(jié)點(diǎn)所在物理機(jī)打印出如圖5-5圖5-5關(guān)閉主節(jié)點(diǎn)后備份節(jié)點(diǎn)打印信息看到備份節(jié)點(diǎn)打印出MasterNode::initMaster()判斷出備份節(jié)點(diǎn)變?yōu)橹鞴?jié)點(diǎn)。5.2.2計(jì)算節(jié)點(diǎn)測(cè)試計(jì)算節(jié)點(diǎn)測(cè)試策略是，啟動(dòng)分布式流計(jì)算平臺(tái)后臺(tái)來(lái)提交wordCount任務(wù)，通過(guò)后臺(tái)界面來(lái)看計(jì)算節(jié)點(diǎn)的變化。操作步驟如下：1)首先啟動(dòng)Zookeeper集群，進(jìn)入zookeeper/bin目錄下執(zhí)行./zkServer.shstart。如圖5-6所示。圖5-6啟動(dòng)zookeeper集群leader圖2)啟動(dòng)控制節(jié)點(diǎn)和計(jì)算節(jié)點(diǎn)，在控制節(jié)點(diǎn)上執(zhí)行命令./mastercon.xml,計(jì)算節(jié)點(diǎn)執(zhí)行命令./supervisorsupervisor.conf3)通過(guò)客戶端發(fā)送任務(wù)，執(zhí)行命令./client192.168.1.88wordCount.xml，執(zhí)行完命令，會(huì)返回一個(gè)任務(wù)id如圖5-7所示：

第五章測(cè)試與分析59圖5-7客戶端提交任務(wù)后4)通過(guò)客戶端啟動(dòng)任務(wù)9345，命令是./client192.168.1.88–start9345，手動(dòng)啟動(dòng)任務(wù)，master節(jié)點(diǎn)返回如圖5-8所示，下面用紅色框框住的部分是任務(wù)拓?fù)鋱D。圖5-8打印任務(wù)拓?fù)鋱D5.2.3消息可靠性功能測(cè)試消息功能測(cè)試策略：由于消息在計(jì)算單元中流動(dòng)，在哪個(gè)計(jì)算單用中丟失具有隨機(jī)性。不太好測(cè)試出錯(cuò)場(chǎng)景，因此本文統(tǒng)計(jì)所有tuple信息，統(tǒng)計(jì)發(fā)送的tuple信息，和在結(jié)果集中不同tuple的數(shù)量。為了簡(jiǎn)化流程，采用鏈?zhǔn)酵負(fù)鋱D，如圖5-9，發(fā)送數(shù)據(jù)流為不重復(fù)的連續(xù)整數(shù)數(shù)據(jù)流，最后統(tǒng)計(jì)不同數(shù)據(jù)總量是不是符合預(yù)期。

【參考文獻(xiàn)】：
期刊論文
[1]改進(jìn)的基于加權(quán)最小連接數(shù)的負(fù)載均衡算法[J]. 高振斌,潘亞辰,華中,段小紅,趙丹.  科學(xué)技術(shù)與工程. 2016(06)
[2]基于Raft一致性協(xié)議的高可用性實(shí)現(xiàn)[J]. 張晨東,郭進(jìn)偉,劉柏眾,儲(chǔ)佳佳,周敏奇,錢衛(wèi)寧.  華東師范大學(xué)學(xué)報(bào)(自然科學(xué)版). 2015(05)
[3]面向大數(shù)據(jù)分析的分布式文件系統(tǒng)關(guān)鍵技術(shù)[J]. 周江,王偉平,孟丹,馬燦,古曉艷,蔣杰.  計(jì)算機(jī)研究與發(fā)展. 2014(02)
[4]基于Redis的海量小文件分布式存儲(chǔ)方法研究[J]. 劉高軍,王帝澳.  計(jì)算機(jī)工程與科學(xué). 2013(10)
[5]面向Web Service的動(dòng)態(tài)負(fù)載均衡設(shè)計(jì)與實(shí)現(xiàn)[J]. 周順.  計(jì)算機(jī)工程與科學(xué). 2010(12)
[6]模擬退火算法[J]. 魏延,謝開(kāi)貴.  蒙自師范高等�？茖W(xué)校學(xué)報(bào). 1999(04)
[7]基于ACTOR模型的并發(fā)面向?qū)ο笳Z(yǔ)言AC++[J]. 董哲,劉琳,田籟聲.  軟件學(xué)報(bào). 1997(03)

碩士論文
[1]GlusterFS的數(shù)據(jù)分布策略與性能優(yōu)化研究[D]. 何華.國(guó)防科學(xué)技術(shù)大學(xué) 2013
[2]雙機(jī)容錯(cuò)熱備份系統(tǒng)研究與實(shí)現(xiàn)[D]. 田灼.哈爾濱理工大學(xué) 2003



本文編號(hào)：3235567