天堂国产午夜亚洲专区-少妇人妻综合久久蜜臀-国产成人户外露出视频在线-国产91传媒一区二区三区

當前位置:主頁 > 理工論文 > 生物學論文 >

基于Spark的關(guān)鍵蛋白質(zhì)預測算法及shuffle內(nèi)存優(yōu)化策略研究

發(fā)布時間:2024-02-03 15:46
  生物信息處理是最近幾年的一個熱門研究方向,特別是對關(guān)鍵蛋白質(zhì)預測算法的研究。它能夠有效快速地預測出蛋白質(zhì)相互作用網(wǎng)絡(luò)里的一些關(guān)鍵蛋白質(zhì),這類蛋白質(zhì)對于生物體的存活、繁殖以及藥物靶點選擇的研究極其重要。目前已經(jīng)存在很多關(guān)鍵蛋白質(zhì)的預測算法,但由于一些算法的計算復雜度過高,使得對于小規(guī)模的蛋白質(zhì)相互作用網(wǎng)絡(luò)的計算都十分困難,基于分布式計算將該類算法并行化加速是可行的解決方案。近年來Spark已經(jīng)成為一個成熟的分布式計算框架,但在實際分布式計算過程中Spark的shuffle性能低下,因此探索Spark自身的shuffle優(yōu)化策略具有十分重要的研究意義。本文的主要研究成果如下:(1)在預測關(guān)鍵蛋白質(zhì)的研究方面,L-BC指標具有考慮網(wǎng)絡(luò)局部特性以及減少算法運行時間的優(yōu)點,而k-BC指標對頂點重要性程度劃分地更加細致,本文結(jié)合了這兩個算法的優(yōu)點提出了L1-BC指標。實驗結(jié)果表明,在大多數(shù)數(shù)據(jù)集上L1-BC指標的預測準確率整體都要優(yōu)于其它常見的單個拓撲屬性指標,特別是與傳統(tǒng)的BC指標相比,L1-BC指標的預測準確率能夠提高10%~50%。為了加速L1-BC指標的計算,本文基于Spark實現(xiàn)了 L1...

【文章頁數(shù)】:72 頁

【學位級別】:碩士

【部分圖文】:

圖2-1蛋白質(zhì)相互作用網(wǎng)絡(luò)??Figure?2-1?Protein-protein?interaction?network??

圖2-1蛋白質(zhì)相互作用網(wǎng)絡(luò)??Figure?2-1?Protein-protein?interaction?network??

絡(luò)的研宄與分析,能夠更好的幫助人們理解細胞的生命活動,有效的進行疾病防治??[36】。從圖論的角度來看,蛋白質(zhì)相互作用網(wǎng)絡(luò)就是一張圖,如圖2-1所示。??圖2-1蛋白質(zhì)相互作用網(wǎng)絡(luò)??Figure?2-1?Protein-protein?interaction?network??....


圖2-2?map的計算邏輯??Figure?2-2?The?computational?logic?of?map??

圖2-2?map的計算邏輯??Figure?2-2?The?computational?logic?of?map??

例如map計算操作,它表示父RDD的每個partition的數(shù)據(jù)經(jīng)過compute函數(shù)??計算映射到子RDD的對應(yīng)的partition,每個RDD中的partition之間互不干擾,它??的RDD計算邏輯如圖2-2所示。??RDDl?RDD2??map?計算??partition....


圖2-3?reduceByKey的計算邏輯??Figure?2-3?The?computational?logic?of?reduceByKey??

圖2-3?reduceByKey的計算邏輯??Figure?2-3?The?computational?logic?of?reduceByKey??

調(diào)度管理集群資源。接下來簡單介紹一下standalone模式的大致結(jié)構(gòu)。??—個標準的standalone模式集群有以下四大角色:Driver、Master、Worker、??Executor。具體如圖2-4所示。??14??


圖2-4?Standalone集群的角色??Fiure?2-4?Roles?of?standalone?Cluster??

圖2-4?Standalone集群的角色??Fiure?2-4?Roles?of?standalone?Cluster??

paitition5?::滅丨?u戀:::|??圖2-3?reduceByKey的計算邏輯??Figure?2-3?The?computational?logic?of?reduceByKey??從圖中可以看出,在map端計算完成后,RDDI的每個partition的數(shù)據(jù)都會??....



本文編號:3894343

資料下載
論文發(fā)表

本文鏈接:http://sikaile.net/projectlw/swxlw/3894343.html


Copyright(c)文論論文網(wǎng)All Rights Reserved | 網(wǎng)站地圖 |

版權(quán)申明:資料由用戶5e924***提供,本站僅收錄摘要或目錄,作者需要刪除請E-mail郵箱bigeng88@qq.com