嵌入式網(wǎng)絡(luò)分布式負(fù)載任務(wù)并行計(jì)算系統(tǒng)設(shè)計(jì)
【文章頁(yè)數(shù)】:5 頁(yè)
【部分圖文】:
圖1 嵌入式網(wǎng)絡(luò)并行計(jì)算系統(tǒng)硬件結(jié)構(gòu)
對(duì)嵌入式網(wǎng)絡(luò)分布式負(fù)載任務(wù)并行計(jì)算的系統(tǒng)硬件架構(gòu)進(jìn)行設(shè)計(jì),系統(tǒng)硬件圖如圖1所示。觀察圖1可知,本文設(shè)計(jì)的嵌入式網(wǎng)絡(luò)分布式負(fù)載任務(wù)并行計(jì)算系統(tǒng)硬件擁有3個(gè)層次,位于最底層的為存儲(chǔ)層,利用HBase管理3個(gè)索引表(SPO,POS,OSP),通過(guò)這3個(gè)索引表將并行系統(tǒng)中的所有三元組數(shù)據(jù)....
圖2 分布式索引架構(gòu)
將HBase作為底層,可以提供能夠持久存儲(chǔ)數(shù)據(jù)的存儲(chǔ)層,存儲(chǔ)層內(nèi)部擁有的分布式內(nèi)存數(shù)據(jù)庫(kù)負(fù)責(zé)記錄熱點(diǎn)索引數(shù)據(jù)。HBase系統(tǒng)具有很強(qiáng)的容錯(cuò)性,擴(kuò)展能力強(qiáng),將其作為存儲(chǔ)平臺(tái)底層,可以很好地支持并行計(jì)算系統(tǒng)的運(yùn)行[5]。分布式索引架構(gòu)中的Rainbow系統(tǒng)能夠?qū)⒚總(gè)節(jié)點(diǎn)的單機(jī)都作為內(nèi)....
圖3 分布式內(nèi)存存儲(chǔ)的失效節(jié)點(diǎn)檢測(cè)機(jī)制
圖3中失效節(jié)點(diǎn)檢測(cè)機(jī)制是利用Zookeeper設(shè)計(jì)的,當(dāng)單機(jī)內(nèi)存數(shù)據(jù)失效時(shí),系統(tǒng)中的底層數(shù)據(jù)會(huì)重新激活,載入到單機(jī)存儲(chǔ)模塊中,通過(guò)Lazy后延處理方式處理相關(guān)數(shù)據(jù),再利用信息管理和組成員實(shí)現(xiàn)信息配置服務(wù)。運(yùn)行系統(tǒng)的每個(gè)節(jié)點(diǎn)上都會(huì)有一個(gè)常駐進(jìn)程,通過(guò)alivestore目錄記錄系統(tǒng)....
圖4 系統(tǒng)節(jié)點(diǎn)常駐進(jìn)程
并行計(jì)算系統(tǒng)每個(gè)節(jié)點(diǎn)的常駐進(jìn)程如圖4所示。嵌入式網(wǎng)絡(luò)分布式負(fù)載任務(wù)并行計(jì)算系統(tǒng)內(nèi)部擁有單獨(dú)的查詢模塊,通過(guò)獨(dú)立的引擎和存儲(chǔ)架構(gòu)幫助用戶查詢[9]。系統(tǒng)內(nèi)部查詢模塊如圖5所示。
本文編號(hào):4027822
本文鏈接:http://sikaile.net/kejilunwen/jisuanjikexuelunwen/4027822.html
下一篇:沒(méi)有了