【摘要】：隨著整個(gè)社會(huì)各行各業(yè)信息化進(jìn)程的發(fā)展,信息數(shù)據(jù)呈現(xiàn)了爆炸式地增長(zhǎng),對(duì)相關(guān)的信息存儲(chǔ)、處理和管理技術(shù)也提出了更高的要求。而云計(jì)算通過網(wǎng)絡(luò)將超大規(guī)模的計(jì)算和存儲(chǔ)資源整合成計(jì)算資源池并以按需服務(wù)的方式提供給用戶,有效地滿足了海量信息存儲(chǔ)和處理的需求。 在藥物設(shè)計(jì)領(lǐng)域,利用計(jì)算機(jī)虛擬篩選發(fā)現(xiàn)具有生物活性的化合物是一種重要的研究方法,其中一種篩選方法是將功能未知的分子與功能已知的分子進(jìn)行結(jié)構(gòu)比較,根據(jù)它們的結(jié)構(gòu)相似性特征來(lái)預(yù)測(cè)該未知分子的生物活性,它大量應(yīng)用于新藥研發(fā)和新型化學(xué)物發(fā)現(xiàn)過程中。隨著化合物數(shù)量的增加,藥物篩選計(jì)算需求急劇增長(zhǎng),這就對(duì)計(jì)算系統(tǒng)處理技術(shù)提出了更高的要求,傳統(tǒng)的單臺(tái)機(jī)器處理方法具有很大的極限性,而云計(jì)算技術(shù)的特點(diǎn)為這個(gè)問題提供了潛在的解方案,在這種情況下,如何將云計(jì)算技術(shù)應(yīng)用到計(jì)算機(jī)虛擬篩選中成為值得研究的課題。 本文研究了云計(jì)算的相關(guān)理論、特點(diǎn)和關(guān)鍵技術(shù),探索了分布式數(shù)據(jù)處理編程模型MapReduce以及其開源實(shí)現(xiàn)Hadoop的運(yùn)行機(jī)制和原理,針對(duì)分子結(jié)構(gòu)比較問題提出了一個(gè)分布式解決方案。主要做了如下研究： 1)研究了云計(jì)算相關(guān)技術(shù)和分子相似性比較算法,結(jié)合Hadoop云計(jì)算技術(shù)的優(yōu)點(diǎn),針對(duì)Hadoop無(wú)法直接應(yīng)用于分子相似性比較問題,提出了基于索引文件的處理方法,將Hadoop云計(jì)算技術(shù)應(yīng)用到分子相似性比較領(lǐng)域上。 2)通過實(shí)驗(yàn)驗(yàn)證了該方法的可行性。實(shí)驗(yàn)結(jié)果表明該系統(tǒng)在擁有16個(gè)CPU并行處理的情況下,本方案平均比單機(jī)處理系統(tǒng)快14.4倍,有效地滿足了分子相似性比較系統(tǒng)海量計(jì)算的需求。 3)針對(duì)Hadoop的Partition算法可能存在的數(shù)據(jù)傾斜的問題,提出了一個(gè)均勻的輪詢分區(qū)算法,減少了數(shù)據(jù)傾斜帶來(lái)的影響,實(shí)驗(yàn)證明該算法可以使整個(gè)系統(tǒng)的效率提高5%以上。 4) MapReduce框架具備容錯(cuò)功能,也就是當(dāng)某個(gè)計(jì)算節(jié)點(diǎn)出現(xiàn)故障時(shí),主節(jié)點(diǎn)會(huì)自動(dòng)把該節(jié)點(diǎn)計(jì)算任務(wù)分配到別的空閑機(jī)器上,但是該計(jì)算節(jié)點(diǎn)的數(shù)據(jù)塊會(huì)被從新處理。我們對(duì)此進(jìn)行了改進(jìn),使得該數(shù)據(jù)塊從新被處理時(shí)從上一次中斷的地方開始,避免了大量的重復(fù)計(jì)算。
[Abstract]:With the development of information technology in all kinds of industries in the whole society, the information data has been increasing explosively, and the related information storage, processing and management technology have been put forward higher requirements. Cloud computing integrates large-scale computing and storage resources into a computing resource pool through the network and provides users with on-demand services, which effectively meet the needs of massive information storage and processing. In the field of drug design, the use of computer virtual screening to find compounds with biological activity is an important research method, one of which is to compare the structure of unknown molecules with those with known functions. The bioactivity of the unknown molecule is predicted according to their structural similarity. It is widely used in the research and development of new drugs and the discovery of new chemicals. With the increase of the number of compounds, the demand for drug screening and calculation is increasing rapidly, which puts forward higher requirements for computing system processing technology. The traditional single machine processing method has a great limit. The characteristics of cloud computing technology provide a potential solution to this problem. In this case, how to apply cloud computing technology to computer virtual filtering has become a topic worth studying. This paper studies the theory, characteristics and key technologies of cloud computing, explores the distributed data processing programming model (MapReduce) and its open source implementation mechanism and principle of Hadoop, and puts forward a distributed solution to the problem of molecular structure comparison. The main contributions are as follows: 1) the related technologies and molecular similarity comparison algorithms of cloud computing are studied. Combined with the advantages of Hadoop cloud computing technology, Hadoop can not be directly applied to the problem of molecular similarity comparison. An index file based processing method is proposed, and Hadoop cloud computing technology is applied to the field of molecular similarity comparison. 2) the feasibility of the method is verified by experiments. The experimental results show that the proposed scheme is 14.4 times faster than the single processor system under the condition of 16 CPU parallel processing, which can effectively meet the requirement of mass computing in the molecular similarity comparison system. 3) aiming at the possible problem of data skew in Hadoop's Partition algorithm, a uniform polling partition algorithm is proposed, which reduces the effect of data skew. The experiment shows that the algorithm can improve the efficiency of the whole system by more than 5%. 4) the MapReduce framework has fault-tolerant function, that is, when a computing node fails, the master node will automatically assign the node computing tasks to other idle machines, but the data block of the computing node will be reprocessed. We have improved this so that the data block starts from the last time it was processed and avoids a lot of double computations.
【學(xué)位授予單位】：復(fù)旦大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2012
【分類號(hào)】：TP3;TQ460

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 浦潔;韓煜明;;吉林移動(dòng)網(wǎng)管中心云計(jì)算技術(shù)的應(yīng)用建議[J];東方企業(yè)文化;2009年12期

2 李斌;解決科學(xué)問題的分布式系統(tǒng)[J];管理科學(xué)文摘;1997年02期

3 ;移動(dòng)計(jì)算技術(shù)帶隊(duì)[J];每周電腦報(bào);1999年02期

4 代偉;自適應(yīng)計(jì)算技術(shù)在無(wú)線移動(dòng)通信中的應(yīng)用[J];電子產(chǎn)品世界;2002年06期

5 楊永吉;;大規(guī)模文檔信息的檢索策略[J];現(xiàn)代情報(bào);2007年08期

6 黃海鷹,常青,盧煥章;可重構(gòu)計(jì)算技術(shù)[J];電子技術(shù)應(yīng)用;1998年05期

7 丁智勇,曹衛(wèi)國(guó);當(dāng)代計(jì)算技術(shù)正孕育著重大變革[J];中國(guó)黨政干部論壇;2000年03期

8 ;正在走近的第二次革命[J];個(gè)人電腦;2001年10期

9 尚武;分布式對(duì)象技術(shù)及其新進(jìn)展[J];商場(chǎng)現(xiàn)代化;2005年20期

10 ;計(jì)算技術(shù)與計(jì)算機(jī)及網(wǎng)絡(luò)設(shè)備 硬件[J];電子科技文摘;2006年10期

相關(guān)會(huì)議論文 前10條

1 張德明;;構(gòu)建分布式聲納信號(hào)處理系統(tǒng)[A];中國(guó)聲學(xué)學(xué)會(huì)2002年全國(guó)聲學(xué)學(xué)術(shù)會(huì)議論文集[C];2002年

2 劉輝蘭;李陶深;葛志輝;;基于代理的分布式入侵檢測(cè)系統(tǒng)中網(wǎng)絡(luò)代理的相關(guān)技術(shù)研究[A];廣西計(jì)算機(jī)學(xué)會(huì)2005年學(xué)術(shù)年會(huì)論文集[C];2005年

3 韓希先;李建中;;分布式有序表中一種有效的在線計(jì)劃批量插入方法[A];第26屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（B輯）[C];2009年

4 郭柯;代璐;周林;;分布式并網(wǎng)發(fā)電系統(tǒng)孤島檢測(cè)方法綜述[A];重慶市電機(jī)工程學(xué)會(huì)2010年學(xué)術(shù)會(huì)議論文集[C];2010年

5 李其瑩;張洪霞;;配電網(wǎng)中實(shí)現(xiàn)小電流接地選線一種方案[A];華東六省一市電機(jī)工程（電力）學(xué)會(huì)輸配電技術(shù)研討會(huì)2002年年會(huì)山東電機(jī)工程學(xué)會(huì)交流論文集[C];2002年

6 周詳;王龍明;;建立分布式防護(hù)的安全體系[A];中國(guó)煙草行業(yè)信息化研討會(huì)論文集[C];2004年

7 高長(zhǎng)壽;陳定方;郭蘊(yùn)華;周麗琨;;分布式路由器級(jí)拓?fù)浒l(fā)現(xiàn)技術(shù)研究[A];2005年十二省區(qū)市機(jī)械工程學(xué)會(huì)學(xué)術(shù)年會(huì)論文集（湖北專集）[C];2005年

8 喬善平;朱波;趙玲;;基于移動(dòng)Agent的0-1背包問題分布式求解[A];2008'中國(guó)信息技術(shù)與應(yīng)用學(xué)術(shù)論壇論文集（一）[C];2008年

9 林然;;一種分布式VOD管理方案[A];四川省通信學(xué)會(huì)2007年學(xué)術(shù)年會(huì)論文集[C];2007年

10 張紅娟;劉暉;唐健;錢闖;;分布式CORS服務(wù)平臺(tái)的設(shè)計(jì)與原型系統(tǒng)的開發(fā)實(shí)現(xiàn)[A];第三屆中國(guó)衛(wèi)星導(dǎo)航學(xué)術(shù)年會(huì)電子文集——S08衛(wèi)星導(dǎo)航模型與方法[C];2012年

相關(guān)重要報(bào)紙文章 前10條

1 曉京;做分布式呼叫中心[N];中國(guó)計(jì)算機(jī)報(bào);2003年

2 記者 張磊;分布式能源技術(shù)研討會(huì)在京召開[N];中國(guó)電力報(bào);2004年

3 蓋俊飛 林楠;分布式ISA防火墻與服務(wù)器的配置[N];電腦報(bào);2003年

4 劉軼軒;IONA：分布式SOA四兩撥千斤[N];通信產(chǎn)業(yè)報(bào);2007年

5 ;如何讓64位計(jì)算無(wú)處不在[N];計(jì)算機(jī)世界;2003年

6 ;中興通訊分布式“3G”服務(wù)[N];中國(guó)計(jì)算機(jī)報(bào);2002年

7 記者 李大慶;我國(guó)首套分布式GPU超級(jí)計(jì)算系統(tǒng)啟用[N];科技日?qǐng)?bào);2010年

8 國(guó)家高性能計(jì)算機(jī)工程技術(shù)研究中心 黃華 楊德志 張建剛;分布式文件系統(tǒng)趨向成熟[N];中國(guó)計(jì)算機(jī)報(bào);2005年

9 國(guó)防科學(xué)技術(shù)大學(xué)計(jì)算機(jī)學(xué)院軟件所 董勇 周恩強(qiáng);構(gòu)建分布式文件系統(tǒng)[N];中國(guó)計(jì)算機(jī)報(bào);2005年

10 李蕓 星際網(wǎng)絡(luò)公司;IP分布式呼叫中心 讓企業(yè)駛離信息孤島[N];計(jì)算機(jī)世界;2002年

相關(guān)博士學(xué)位論文 前10條

1 王宇翔;分布式網(wǎng)絡(luò)地理信息系統(tǒng)研究[D];中國(guó)科學(xué)院研究生院（遙感應(yīng)用研究所）;2002年

2 董紅軍;基于多Agent的分布式CAPP及工藝信息管理研究[D];西北工業(yè)大學(xué);2000年

3 婁淵勝;基于構(gòu)件的分布式防汛信息系統(tǒng)框架研究[D];河海大學(xué);2002年

4 劉峰;儀用主從耦合分布式并行處理容錯(cuò)系統(tǒng)體系結(jié)構(gòu)研究[D];浙江大學(xué);2003年

5 王加虎;分布式水文模型理論與方法研究[D];河海大學(xué);2006年

6 傅濤;基于數(shù)據(jù)挖掘的分布式網(wǎng)絡(luò)入侵協(xié)同檢測(cè)系統(tǒng)研究及實(shí)現(xiàn)[D];南京理工大學(xué);2008年

7 唐秋華;分布式虛擬環(huán)境建模研究[D];武漢理工大學(xué);2005年

8 侯梅毅;分布式同步發(fā)電機(jī)的孤島檢測(cè)原理與實(shí)現(xiàn)[D];山東大學(xué);2010年

9 朱旭琪;分布式信息壓縮算法研究[D];北京郵電大學(xué);2011年

10 周克昌;分布式地震數(shù)據(jù)庫(kù)系統(tǒng)的研究與實(shí)踐[D];中國(guó)地震局地球物理研究所;2003年

相關(guān)碩士學(xué)位論文 前10條

1 高長(zhǎng)壽;IP網(wǎng)絡(luò)分布式拓?fù)渥詣?dòng)發(fā)現(xiàn)技術(shù)研究[D];武漢理工大學(xué);2005年

2 梁景雯;基于云計(jì)算技術(shù)的醫(yī)院信息系統(tǒng)[D];山東大學(xué);2012年

3 李杰輝;基于云計(jì)算技術(shù)的化合物相似性分析系統(tǒng)[D];復(fù)旦大學(xué);2012年

4 成海生;分布式水輪機(jī)CAD系統(tǒng)框架研究及應(yīng)用[D];河海大學(xué);2002年

5 張少柏;基于移動(dòng)Agent的分布式數(shù)據(jù)查詢研究與應(yīng)用[D];河海大學(xué);2005年

6 薛沛林;基于IP網(wǎng)的分布式視頻會(huì)議系統(tǒng)的研究與實(shí)踐[D];暨南大學(xué);2001年

7 嚴(yán)芬;分布式多層應(yīng)用系統(tǒng)及其安全控制的研究與應(yīng)用[D];揚(yáng)州大學(xué);2002年

8 王雄;基于網(wǎng)絡(luò)的分布式測(cè)試系統(tǒng)開放式架構(gòu)研究與實(shí)現(xiàn)[D];西北工業(yè)大學(xué);2003年

9 李佐儒;分布式數(shù)字監(jiān)控系統(tǒng)及其在安全生產(chǎn)管理中的應(yīng)用[D];四川大學(xué);2003年

10 鄭大志;基于Web服務(wù)和CORBA的分布式網(wǎng)絡(luò)管理體系結(jié)構(gòu)研究[D];武漢科技大學(xué);2003年

，

本文編號(hào)：2352771