傳統(tǒng)的嵌入式網(wǎng)絡(luò)分布式負(fù)載任務(wù)并行計(jì)算系統(tǒng)工作性能差。針對(duì)這一問(wèn)題,設(shè)計(jì)一種新的并行計(jì)算系統(tǒng),系統(tǒng)硬件由存儲(chǔ)層、緩存層、執(zhí)行層組成架構(gòu)。通過(guò)STORE selection模塊連接各層數(shù)據(jù),Zookeeper模塊監(jiān)控系統(tǒng)的整體運(yùn)行變化,data loader模塊負(fù)責(zé)引入外部數(shù)據(jù),利用分布式索引結(jié)構(gòu)將得到的數(shù)據(jù)存儲(chǔ)在系統(tǒng)中,設(shè)計(jì)失效節(jié)點(diǎn)檢測(cè)機(jī)制增加系統(tǒng)的容錯(cuò)性,每個(gè)節(jié)點(diǎn)都設(shè)計(jì)對(duì)應(yīng)的常駐進(jìn)程,優(yōu)化構(gòu)建查詢模塊,提高用戶查詢效率。軟件由準(zhǔn)備階段、執(zhí)行階段和完成階段組成,每個(gè)階段的任何一個(gè)環(huán)節(jié)出現(xiàn)問(wèn)題,都會(huì)直接導(dǎo)致進(jìn)程失敗。設(shè)計(jì)對(duì)比實(shí)驗(yàn)檢測(cè)系統(tǒng)效果,結(jié)果表明,相較于傳統(tǒng)系統(tǒng),文中給出的并行計(jì)算系統(tǒng)在計(jì)算過(guò)程中消耗的索引量更少,并行計(jì)算性能更強(qiáng),所有的計(jì)算都可以在系統(tǒng)中進(jìn)行,確保系統(tǒng)的負(fù)載均衡特性得以提高。

【文章頁(yè)數(shù)】：5 頁(yè)

【部分圖文】：

圖1 嵌入式網(wǎng)絡(luò)并行計(jì)算系統(tǒng)硬件結(jié)構(gòu)

對(duì)嵌入式網(wǎng)絡(luò)分布式負(fù)載任務(wù)并行計(jì)算的系統(tǒng)硬件架構(gòu)進(jìn)行設(shè)計(jì)，系統(tǒng)硬件圖如圖1所示。觀察圖1可知，本文設(shè)計(jì)的嵌入式網(wǎng)絡(luò)分布式負(fù)載任務(wù)并行計(jì)算系統(tǒng)硬件擁有3個(gè)層次，位于最底層的為存儲(chǔ)層，利用HBase管理3個(gè)索引表（SPO,POS,OSP），通過(guò)這3個(gè)索引表將并行系統(tǒng)中的所有三元組數(shù)據(jù)....

圖2 分布式索引架構(gòu)

將HBase作為底層，可以提供能夠持久存儲(chǔ)數(shù)據(jù)的存儲(chǔ)層，存儲(chǔ)層內(nèi)部擁有的分布式內(nèi)存數(shù)據(jù)庫(kù)負(fù)責(zé)記錄熱點(diǎn)索引數(shù)據(jù)。HBase系統(tǒng)具有很強(qiáng)的容錯(cuò)性，擴(kuò)展能力強(qiáng)，將其作為存儲(chǔ)平臺(tái)底層，可以很好地支持并行計(jì)算系統(tǒng)的運(yùn)行[5]。分布式索引架構(gòu)中的Rainbow系統(tǒng)能夠?qū)⒚總�(gè)節(jié)點(diǎn)的單機(jī)都作為內(nèi)....

圖3 分布式內(nèi)存存儲(chǔ)的失效節(jié)點(diǎn)檢測(cè)機(jī)制

圖3中失效節(jié)點(diǎn)檢測(cè)機(jī)制是利用Zookeeper設(shè)計(jì)的，當(dāng)單機(jī)內(nèi)存數(shù)據(jù)失效時(shí)，系統(tǒng)中的底層數(shù)據(jù)會(huì)重新激活，載入到單機(jī)存儲(chǔ)模塊中，通過(guò)Lazy后延處理方式處理相關(guān)數(shù)據(jù)，再利用信息管理和組成員實(shí)現(xiàn)信息配置服務(wù)。運(yùn)行系統(tǒng)的每個(gè)節(jié)點(diǎn)上都會(huì)有一個(gè)常駐進(jìn)程，通過(guò)alivestore目錄記錄系統(tǒng)....

圖4 系統(tǒng)節(jié)點(diǎn)常駐進(jìn)程

并行計(jì)算系統(tǒng)每個(gè)節(jié)點(diǎn)的常駐進(jìn)程如圖4所示。嵌入式網(wǎng)絡(luò)分布式負(fù)載任務(wù)并行計(jì)算系統(tǒng)內(nèi)部擁有單獨(dú)的查詢模塊，通過(guò)獨(dú)立的引擎和存儲(chǔ)架構(gòu)幫助用戶查詢[9]。系統(tǒng)內(nèi)部查詢模塊如圖5所示。

本文編號(hào)：4027822