本文關(guān)鍵詞：基于Spark的分布式分子模擬數(shù)據(jù)分析系統(tǒng)，由筆耕文化傳播整理發(fā)布。

【摘要】：分子模擬(Molecular Simulation)是21世紀初發(fā)展起來的一門技術(shù),它是計算機科學和基礎(chǔ)自然科學相結(jié)合產(chǎn)生的產(chǎn)物。隨著分子模擬相關(guān)研究的不斷深化以及借助分子模擬來進行研究的不斷深入,分子模擬過程中的模型越來越復(fù)雜。每次進行分子模擬之后所產(chǎn)生的數(shù)據(jù)量是非常巨大的。而分子模擬的關(guān)鍵在于對分子模擬所產(chǎn)生的數(shù)據(jù)進行分類、提取、分析,進而獲取到對實驗有用的數(shù)據(jù)與結(jié)果�，F(xiàn)有的分子模擬數(shù)據(jù)分析系統(tǒng)通常是分子模擬系統(tǒng)的一部分。在之前,由于實驗的規(guī)模比較小,分子模擬相關(guān)技術(shù)處于初級階段等原因,故而分子模擬產(chǎn)生的數(shù)據(jù)量比較小,現(xiàn)有的分子模擬數(shù)據(jù)的分析模式能夠有效而快速的獲取到科研人員所需要的數(shù)據(jù)。但是,隨著分子模擬所產(chǎn)生的數(shù)據(jù)量的不斷增長,達到“大數(shù)據(jù)”級別的容量時,在一次分子模擬之后產(chǎn)生的數(shù)據(jù)量達到GB甚至是TB級別時,運用傳統(tǒng)的分子模擬系統(tǒng)進行處理時,這種模式的弊端就顯而易見了。在現(xiàn)有的處理模式之下,當用戶發(fā)送一條查詢之后,系統(tǒng)需要根據(jù)查詢所依賴的相關(guān)數(shù)據(jù),首先對全部數(shù)據(jù)進行掃描,進而定位到所需的數(shù)據(jù),然后將所需要的數(shù)據(jù)全部裝載進入內(nèi)存,最后才能對相關(guān)的數(shù)據(jù)進行處理來獲取所需數(shù)據(jù)。當這一條查詢過后,用戶發(fā)送一條新的信息,系統(tǒng)就需要重復(fù)這樣一輪的動作。由于所操作的數(shù)據(jù)量是非常巨大的,這樣的模式會導致非常巨大的I/O以及CPU負載。在當前一般的用于科研計的算機硬件設(shè)備條件之下,來執(zhí)行如此的操作,效率將是非常低下的。Apache Spark是當前大數(shù)據(jù)處理平臺之中的明星。經(jīng)過6年的發(fā)展,Spark現(xiàn)在已經(jīng)成為了時下最熱門的分布式大數(shù)據(jù)處理平臺。Spark技術(shù)核心是內(nèi)存計算技術(shù),即主要使用了內(nèi)存計算技術(shù)來達到加速的目的。Spark作為一項如此高效的大數(shù)據(jù)處理平臺,將其引入分子模擬所產(chǎn)生的海量數(shù)據(jù)的分析之中將極大的提高分子模擬數(shù)據(jù)分析的效率,促進基礎(chǔ)自然學科的研究。為了達到此目標,我們設(shè)計實現(xiàn)了基于Spark的分布式分子模擬數(shù)據(jù)分析系統(tǒng)。通過結(jié)合分子模擬的具體需求,對Spark進行了有針對性的訂制,使之能夠在處理分子模擬數(shù)據(jù)時保持其高效快速的特性而又能滿足分子模擬數(shù)據(jù)處理時的特殊需要。本系統(tǒng)主要從三個層面著手進行訂制,包括Apache Spark層,分子模擬RDD層和分子模擬查詢處理層。并且系統(tǒng)中使用的Cache機制,可以將中間狀態(tài)的計算結(jié)果保存在內(nèi)存或者硬盤之中,在下一次的使用時免去了重復(fù)計算和從硬盤裝載進入內(nèi)存的過程,極大的減輕了CPU負載和I/O負載。在本文最后,我們使用本系統(tǒng)進行的實驗,根據(jù)實驗結(jié)果,充分證明了本系統(tǒng)的有效性和高效性。
【關(guān)鍵詞】：分子模擬 Apache Spark 大數(shù)據(jù) 分布式計算 高性能計算
【學位授予單位】：吉林大學
【學位級別】：碩士
【學位授予年份】：2016
【分類號】：TP311.52
【目錄】：

• 摘要4-6
• abstract6-10
• 第1章 緒論10-15
• 1.1 研究背景10-11
• 1.2 研究現(xiàn)狀11-13
• 1.3 主要工作與組織結(jié)構(gòu)13-15
• 第2章 APACHE SPARK分布式大數(shù)據(jù)處理平臺15-23
• 2.1 SPARK生態(tài)系統(tǒng)15-17
• 2.1.1 Spark SQL16-17
• 2.1.2 Spark Streaming17
• 2.1.3 MLlib17
• 2.1.4 GraphX17
• 2.2 SPARK編程模型17-21
• 2.2.1 分布式彈性數(shù)據(jù)集（RDDs）18-20
• 2.2.2 Spark處理過程20-21
• 2.3 共享變量21-23
• 第3章 分子模擬的數(shù)據(jù)特點以及常用查詢23-27
• 3.1 分子模擬數(shù)據(jù)23-25
• 3.2 分子模擬數(shù)據(jù)查詢25-27
• 第4章 系統(tǒng)構(gòu)架以及實現(xiàn)細節(jié)27-37
• 4.1 整體架構(gòu)27-28
• 4.2 系統(tǒng)流程28-31
• 4.3 分類查詢31-34
• 4.3.1 轉(zhuǎn)動慣量31-32
• 4.3.2 質(zhì)量之和32
• 4.3.3 質(zhì)心32-33
• 4.3.4 偶極矩33
• 4.3.5 回轉(zhuǎn)半徑33-34
• 4.3.6 空間距離直方圖34
• 4.4 緩存（CACHE）34-37
• 第5章 實驗結(jié)果與分析37-42
• 5.1 實驗平臺37
• 5.2 實驗數(shù)據(jù)37-38
• 5.3 結(jié)果分析38-42
• 第6章 總結(jié)與展望42-44
• 6.1 總結(jié)42
• 6.2 展望42-44
• 參考文獻44-49
• 作者簡介49-50
• 致謝50

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前4條

1 劉英;王芳;譚天偉;;分子模擬在分子印跡技術(shù)中的應(yīng)用[J];化工學報;2006年10期

2 楊潞霞;寧淑麗;付一政;;Linux環(huán)境下的高性能分子模擬計算集群平臺的構(gòu)建[J];現(xiàn)代制造技術(shù)與裝備;2011年01期

3 劉欣,石碧,陸忠兵;分子模擬軟件CERIUS~2及其在材料科學中的應(yīng)用[J];高分子材料科學與工程;2002年04期

4 ;[J];;年期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 焦勇;韓大雄;楊頻;;金屬離子離子影響Aβ多肽聚集機理的分子模擬[A];中國化學會第二十五屆學術(shù)年會論文摘要集（上冊）[C];2006年

2 莫尊理;喬麗君;陳紅;郭瑞斌;孫亞玲;;纖維素/二氧化硅復(fù)合材料的分子模擬[A];中國化學會第26屆學術(shù)年會理論化學方法和應(yīng)用分會場論文集[C];2008年

3 徐為人;湯立達;符海霞;劉冰妮;劉鵬;;分子模擬與新藥虛擬評價[A];全國第十一屆生化與分子藥理學學術(shù)會議論文集[C];2009年

4 高品;黃光速;張艷芳;王建;陳猛猛;;聚丙烯酰胺交聯(lián)反應(yīng)的分子模擬[A];2007年全國高分子學術(shù)論文報告會論文摘要集（上冊）[C];2007年

5 胡文兵;;蒙特卡羅分子模擬的物理背景探討[A];第十屆全國計算(機)化學學術(shù)會議論文摘要集[C];2009年

6 劉清芝;楊登峰;胡仰棟;;水和鹽分子在反滲透膜內(nèi)擴散過程的分子模擬[A];中國化學會第26屆學術(shù)年會理論化學方法和應(yīng)用分會場論文集[C];2008年

7 陸小華;;受限條件下流體的分子模擬[A];中國化學會第十五屆全國化學熱力學和熱分析學術(shù)會議論文摘要[C];2010年

8 李豐;楊春煒;孫淮;;力場參數(shù)的數(shù)據(jù)庫整合[A];中國化學會第27屆學術(shù)年會第15分會場摘要集[C];2010年

9 劉志平;吳曉萍;汪文川;黃世萍;;離子液體-乙腈混合物的分子模擬[A];第一屆全國化學工程與生物化工年會論文摘要集(上)[C];2004年

10 趙秦峰;王大喜;高金森;徐春明;;分子模擬于ZSM-5的應(yīng)用進展[A];第九屆全國化學工藝學術(shù)年會論文集[C];2005年

中國重要報紙全文數(shù)據(jù)庫 前2條

1 石克軒;石科院分子模擬研究掀新頁[N];中國石化報;2000年

2 蔣華良 中國科學院上海藥物研究所研究員;分子模擬的普及和應(yīng)用[N];文匯報;2013年

中國博士學位論文全文數(shù)據(jù)庫 前10條

1 沈明云;基于Rho激酶的藥物設(shè)計和分子模擬研究[D];蘇州大學;2015年

2 宋夢;丁腈橡膠復(fù)合材料的動態(tài)力學性能分析及分子模擬研究[D];北京化工大學;2015年

3 洪燕君;分子模擬在藥物代謝和血漿蛋白結(jié)合中的應(yīng)用[D];浙江大學;2011年

4 孫命;分子模擬在生命有機磷化學中的應(yīng)用[D];清華大學;2004年

5 王三躍;金屬—有機骨架材料中流體吸附性質(zhì)的量化計算與分子模擬研究[D];北京化工大學;2007年

6 劉光增;金、鉑、銅單晶面上自組裝單層膜的ECSTM與分子模擬研究[D];山東大學;2006年

7 薛春瑜;金屬—有機骨架材料中流體吸附與擴散的分子模擬研究[D];北京化工大學;2009年

8 朱紅;G-quadruplex結(jié)構(gòu)和穩(wěn)定性的分子模擬研究[D];中國科學技術(shù)大學;2015年

9 戴偉民;人類苦味受體的分子模擬研究[D];南京大學;2011年

10 韓大雄;分子模擬研究老年癡呆致病蛋白結(jié)構(gòu)以及基于酶結(jié)構(gòu)的藥物設(shè)計[D];山西大學;2004年

中國碩士學位論文全文數(shù)據(jù)庫 前10條

1 解媛哲;量熱法及分子模擬研究藥物結(jié)構(gòu)類似物與蛋白的相互作用[D];鄭州大學;2015年

2 王海鴻;含氧雜環(huán)的噻唑—吡唑類衍生物設(shè)計、修飾與生物活性評價[D];南京大學;2014年

3 李一;中結(jié)合苯乙烯含量丁苯橡膠的結(jié)構(gòu)性能分析及分子模擬研究[D];北京化工大學;2015年

4 劉婷婷;光譜法和分子模擬研究替尼類藥物與生物大分子的相互作用[D];浙江工業(yè)大學;2015年

5 陸磊剛;烷烴分子在MCM-41中吸附和擴散的分子模擬[D];浙江工業(yè)大學;2015年

6 呂程;用分子模擬的方法研究多組元系統(tǒng)的汽液相平衡[D];天津大學;2014年

7 李歡;分子模擬噻吩/苯在新型骨架材料中的吸附[D];揚州大學;2015年

8 侯俊燁;DPC相關(guān)合成體系溶解度的分子模擬[D];武漢工程大學;2015年

9 侯濤;基于Spark的分布式分子模擬數(shù)據(jù)分析系統(tǒng)[D];吉林大學;2016年

10 牟曉輝;丁二酰亞胺無灰分散劑作用機理的分子模擬研究[D];石油化工科學研究院;2000年

  本文關(guān)鍵詞：基于Spark的分布式分子模擬數(shù)據(jù)分析系統(tǒng)，由筆耕文化傳播整理發(fā)布。

，

本文編號：273824