發(fā)布時(shí)間：2017-12-09 00:23

  本文關(guān)鍵詞：面向互聯(lián)網(wǎng)信息探測(cè)的任務(wù)管理平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)

  更多相關(guān)文章： 任務(wù)管理 分布式 互聯(lián)網(wǎng)信息探測(cè) 雙機(jī)熱備 負(fù)載均衡

【摘要】：隨著互聯(lián)網(wǎng)的廣泛使用以及硬件技術(shù)的快速發(fā)展,網(wǎng)絡(luò)數(shù)據(jù)爆炸式增長(zhǎng),數(shù)據(jù)的重要性日益明顯,分析并利用海量的互聯(lián)網(wǎng)數(shù)據(jù)對(duì)提高網(wǎng)絡(luò)服務(wù)質(zhì)量、增強(qiáng)網(wǎng)絡(luò)安全性有著重要的作用。如何快速、高效地對(duì)不同種類的非結(jié)構(gòu)化網(wǎng)絡(luò)信息進(jìn)行探測(cè)和獲取成為目前亟待解決的問題。本文通過對(duì)分布式計(jì)算相關(guān)的理論及技術(shù)進(jìn)行分析和研究,結(jié)合當(dāng)前分布式計(jì)算產(chǎn)品的設(shè)計(jì)思想和項(xiàng)目需求,設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)面向互聯(lián)網(wǎng)信息探測(cè)的任務(wù)管理平臺(tái)。本系統(tǒng)利用分布式計(jì)算的思想建立分布式計(jì)算集群,通過網(wǎng)絡(luò)將集群中的計(jì)算機(jī)節(jié)點(diǎn)連接,形成統(tǒng)一的整體,協(xié)調(diào)管理互聯(lián)網(wǎng)信息探測(cè)任務(wù)。本文對(duì)主從模式的分布式集群進(jìn)行了分析和研究,采用主從模式的分布式集群模式,主節(jié)點(diǎn)作為服務(wù)器,在集群中起中心控制作用,其他節(jié)點(diǎn)作為探測(cè)節(jié)點(diǎn)執(zhí)行探測(cè)任務(wù)。同時(shí),為使系統(tǒng)不間斷運(yùn)行,保證系統(tǒng)的高可用性,采用雙機(jī)熱備的方式,解決了主從模式中的分布式集群主節(jié)點(diǎn)故障導(dǎo)致系統(tǒng)故障的瓶頸。本文在已有負(fù)載均衡策略的基礎(chǔ)上,提出一種基于節(jié)點(diǎn)運(yùn)行狀況的動(dòng)態(tài)負(fù)載均衡策略,將節(jié)點(diǎn)探測(cè)負(fù)載轉(zhuǎn)化為節(jié)點(diǎn)的任務(wù)量。綜合權(quán)衡探測(cè)節(jié)點(diǎn)的CPU、內(nèi)存使用情況以及網(wǎng)絡(luò)狀況后,由服務(wù)器根據(jù)探測(cè)節(jié)點(diǎn)的運(yùn)行狀況對(duì)任務(wù)中的任務(wù)量進(jìn)行重組,并下發(fā)至各節(jié)點(diǎn)執(zhí)行探測(cè)。本文在上述研究技術(shù)的基礎(chǔ)上,分析系統(tǒng)的需求并對(duì)平臺(tái)進(jìn)行設(shè)計(jì)與實(shí)現(xiàn)。通過對(duì)現(xiàn)有分布式平臺(tái)的研究和對(duì)比,本文提出了主要由服務(wù)器端和探測(cè)端組成的分布式探測(cè)集群,該集群滿足了分布式海量數(shù)據(jù)探測(cè)的基本要求,避免了集中式系統(tǒng)或純分布式系統(tǒng)可控性不高、網(wǎng)絡(luò)帶寬有限等問題。綜上所述,本文通過對(duì)分布式平臺(tái)的負(fù)載均衡和雙機(jī)熱備進(jìn)行深入分析,設(shè)計(jì)并實(shí)現(xiàn)了具有容錯(cuò)性及擴(kuò)展性的互聯(lián)網(wǎng)信息探測(cè)的任務(wù)管理平臺(tái)。經(jīng)測(cè)試,使用本平臺(tái)探測(cè)信息的速度及效率明顯高于集中式探測(cè),達(dá)到預(yù)期效果。
【學(xué)位授予單位】：哈爾濱工業(yè)大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2015
【分類號(hào)】：TP393.07

【參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫 前4條

1 楊際祥;譚國(guó)真;王榮生;;并行與分布式計(jì)算動(dòng)態(tài)負(fù)載均衡策略綜述[J];電子學(xué)報(bào);2010年05期

2 張永立;胡杰;張根寶;;Linux集群心跳檢測(cè)方法的研究與實(shí)現(xiàn)[J];化工自動(dòng)化及儀表;2010年06期

3 王W，

本文編號(hào)：1268424