基于Spark的關(guān)鍵蛋白質(zhì)預(yù)測(cè)算法及shuffle內(nèi)存優(yōu)化策略研究
【文章頁(yè)數(shù)】:72 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
圖2-1蛋白質(zhì)相互作用網(wǎng)絡(luò)??Figure?2-1?Protein-protein?interaction?network??
絡(luò)的研宄與分析,能夠更好的幫助人們理解細(xì)胞的生命活動(dòng),有效的進(jìn)行疾病防治??[36】。從圖論的角度來(lái)看,蛋白質(zhì)相互作用網(wǎng)絡(luò)就是一張圖,如圖2-1所示。??圖2-1蛋白質(zhì)相互作用網(wǎng)絡(luò)??Figure?2-1?Protein-protein?interaction?network??....
圖2-2?map的計(jì)算邏輯??Figure?2-2?The?computational?logic?of?map??
例如map計(jì)算操作,它表示父RDD的每個(gè)partition的數(shù)據(jù)經(jīng)過(guò)compute函數(shù)??計(jì)算映射到子RDD的對(duì)應(yīng)的partition,每個(gè)RDD中的partition之間互不干擾,它??的RDD計(jì)算邏輯如圖2-2所示。??RDDl?RDD2??map?計(jì)算??partition....
圖2-3?reduceByKey的計(jì)算邏輯??Figure?2-3?The?computational?logic?of?reduceByKey??
調(diào)度管理集群資源。接下來(lái)簡(jiǎn)單介紹一下standalone模式的大致結(jié)構(gòu)。??—個(gè)標(biāo)準(zhǔn)的standalone模式集群有以下四大角色:Driver、Master、Worker、??Executor。具體如圖2-4所示。??14??
圖2-4?Standalone集群的角色??Fiure?2-4?Roles?of?standalone?Cluster??
paitition5?::滅丨?u戀:::|??圖2-3?reduceByKey的計(jì)算邏輯??Figure?2-3?The?computational?logic?of?reduceByKey??從圖中可以看出,在map端計(jì)算完成后,RDDI的每個(gè)partition的數(shù)據(jù)都會(huì)??....
本文編號(hào):3894343
本文鏈接:http://sikaile.net/projectlw/swxlw/3894343.html