傳統(tǒng)的嵌入式網(wǎng)絡(luò)分布式負載任務(wù)并行計算系統(tǒng)工作性能差。針對這一問題,設(shè)計一種新的并行計算系統(tǒng),系統(tǒng)硬件由存儲層、緩存層、執(zhí)行層組成架構(gòu)。通過STORE selection模塊連接各層數(shù)據(jù),Zookeeper模塊監(jiān)控系統(tǒng)的整體運行變化,data loader模塊負責(zé)引入外部數(shù)據(jù),利用分布式索引結(jié)構(gòu)將得到的數(shù)據(jù)存儲在系統(tǒng)中,設(shè)計失效節(jié)點檢測機制增加系統(tǒng)的容錯性,每個節(jié)點都設(shè)計對應(yīng)的常駐進程,優(yōu)化構(gòu)建查詢模塊,提高用戶查詢效率。軟件由準(zhǔn)備階段、執(zhí)行階段和完成階段組成,每個階段的任何一個環(huán)節(jié)出現(xiàn)問題,都會直接導(dǎo)致進程失敗。設(shè)計對比實驗檢測系統(tǒng)效果,結(jié)果表明,相較于傳統(tǒng)系統(tǒng),文中給出的并行計算系統(tǒng)在計算過程中消耗的索引量更少,并行計算性能更強,所有的計算都可以在系統(tǒng)中進行,確保系統(tǒng)的負載均衡特性得以提高。

【文章頁數(shù)】：5 頁

【部分圖文】：

圖1 嵌入式網(wǎng)絡(luò)并行計算系統(tǒng)硬件結(jié)構(gòu)

對嵌入式網(wǎng)絡(luò)分布式負載任務(wù)并行計算的系統(tǒng)硬件架構(gòu)進行設(shè)計，系統(tǒng)硬件圖如圖1所示。觀察圖1可知，本文設(shè)計的嵌入式網(wǎng)絡(luò)分布式負載任務(wù)并行計算系統(tǒng)硬件擁有3個層次，位于最底層的為存儲層，利用HBase管理3個索引表（SPO,POS,OSP），通過這3個索引表將并行系統(tǒng)中的所有三元組數(shù)據(jù)....

圖2 分布式索引架構(gòu)

將HBase作為底層，可以提供能夠持久存儲數(shù)據(jù)的存儲層，存儲層內(nèi)部擁有的分布式內(nèi)存數(shù)據(jù)庫負責(zé)記錄熱點索引數(shù)據(jù)。HBase系統(tǒng)具有很強的容錯性，擴展能力強，將其作為存儲平臺底層，可以很好地支持并行計算系統(tǒng)的運行[5]。分布式索引架構(gòu)中的Rainbow系統(tǒng)能夠?qū)⒚總�節(jié)點的單機都作為內(nèi)....

圖3 分布式內(nèi)存存儲的失效節(jié)點檢測機制

圖3中失效節(jié)點檢測機制是利用Zookeeper設(shè)計的，當(dāng)單機內(nèi)存數(shù)據(jù)失效時，系統(tǒng)中的底層數(shù)據(jù)會重新激活，載入到單機存儲模塊中，通過Lazy后延處理方式處理相關(guān)數(shù)據(jù)，再利用信息管理和組成員實現(xiàn)信息配置服務(wù)。運行系統(tǒng)的每個節(jié)點上都會有一個常駐進程，通過alivestore目錄記錄系統(tǒng)....

圖4 系統(tǒng)節(jié)點常駐進程

并行計算系統(tǒng)每個節(jié)點的常駐進程如圖4所示。嵌入式網(wǎng)絡(luò)分布式負載任務(wù)并行計算系統(tǒng)內(nèi)部擁有單獨的查詢模塊，通過獨立的引擎和存儲架構(gòu)幫助用戶查詢[9]。系統(tǒng)內(nèi)部查詢模塊如圖5所示。

本文編號：4027822