本文關(guān)鍵詞： 云計(jì)算基礎(chǔ)軟件平臺(tái) 分布式存儲(chǔ)系統(tǒng) 編程模型 計(jì)算框架 實(shí)時(shí)應(yīng)用　出處：《中國科學(xué)技術(shù)大學(xué)》2013年博士論文　論文類型：學(xué)位論文

【摘要】：過去的十年里,云計(jì)算相關(guān)領(lǐng)域得到了長足的發(fā)展。隨著云計(jì)算對(duì)人們生活的影響越來越深入,其將最終使得計(jì)算和存儲(chǔ)成為一種資源,像水、電一樣滲透到人們生活的各個(gè)方面。與此同時(shí),新的應(yīng)用需求不斷出現(xiàn),比如實(shí)時(shí)搜索,在線推薦系統(tǒng),社交網(wǎng)絡(luò)分析等,給云計(jì)算領(lǐng)域帶來了新的挑戰(zhàn)。這些挑戰(zhàn)主要包括以下幾個(gè)方面：1)新型的應(yīng)用對(duì)數(shù)據(jù)存儲(chǔ)量的要求更大；2)應(yīng)用對(duì)數(shù)據(jù)隨機(jī)訪問的速度越來越高；3)應(yīng)用的復(fù)雜度和實(shí)時(shí)性要求越來越高。比如典型的推薦系統(tǒng),搜索引擎,社交分析等應(yīng)用所處理的數(shù)據(jù)往往是無結(jié)構(gòu)的原始數(shù)據(jù),這使得大部分的訪問模式是隨機(jī)的。應(yīng)用需要在較快的時(shí)間內(nèi)產(chǎn)生處理結(jié)果,因此對(duì)訪問速度要求較高。除此之外,這些應(yīng)用的計(jì)算過程中通常包括大量的迭代計(jì)算過程,并且這些迭代過程中的多輪之間通常有強(qiáng)依賴性,使得計(jì)算過程越來越復(fù)雜。有效的編寫這樣的應(yīng)用需要計(jì)算模型的支持,而提高這類應(yīng)用的執(zhí)行速度則需要運(yùn)行時(shí)系統(tǒng)的支持。在這些挑戰(zhàn)的驅(qū)動(dòng)下,近年來出現(xiàn)了不少新型的存儲(chǔ)系統(tǒng)和計(jì)算模型,但是依舊存在許多問題亟待解決。 本文基于在云計(jì)算平臺(tái)中出現(xiàn)的新型應(yīng)用的需求,對(duì)云計(jì)算的基礎(chǔ)軟件架構(gòu)進(jìn)行了深入的研究,主要工作包括對(duì)現(xiàn)有架構(gòu)的優(yōu)化配置以提高其性能,針對(duì)海量數(shù)據(jù)的高速隨機(jī)寫需求設(shè)計(jì)并實(shí)現(xiàn)了完全基于內(nèi)存的數(shù)據(jù)持久的分布式存儲(chǔ)系統(tǒng),針對(duì)復(fù)雜的實(shí)時(shí)應(yīng)用設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)基于觸發(fā)器的通用計(jì)算模型。具體來說,本文的主要工作和貢獻(xiàn)如下： 1.研究了大規(guī)模Hadoop集群的配置方法,提出了一種基于模糊邏輯的Hadoop集群異構(gòu)配置工具。該工具使用模糊邏輯算法,將正在異構(gòu)集群中服務(wù)器的各種硬件參數(shù)以及歷史運(yùn)行數(shù)據(jù)作為模糊輸入,根據(jù)模糊規(guī)則自動(dòng)生成參數(shù)配置最終提高Hadoop集群本身中任務(wù)的執(zhí)行速度。通過將傳統(tǒng)的Hadoop集群配置中優(yōu)化參數(shù)的方法轉(zhuǎn)變成了優(yōu)化規(guī)則的方法,極大的降低了配置集群的成本。實(shí)驗(yàn)表明,該模糊規(guī)則工具根據(jù)異構(gòu)集群的多項(xiàng)指標(biāo)生成的參數(shù)配置能夠有效的提高應(yīng)用的執(zhí)行速度。 2.針對(duì)海量數(shù)據(jù)的高速隨機(jī)寫需求設(shè)計(jì)并實(shí)現(xiàn)了完全基于內(nèi)存的數(shù)據(jù)持久的分布式存儲(chǔ)系統(tǒng)Sedna。在Sedna中,我們提出了一種基于層次化的集群管理方案,通過和分布式哈希算法的結(jié)合,提高了集群的可擴(kuò)展性以及進(jìn)行動(dòng)態(tài)負(fù)載均衡的靈活性。除此之外,我們還在傳統(tǒng)的存儲(chǔ)系統(tǒng)API的基礎(chǔ)上,設(shè)計(jì)并且實(shí)現(xiàn)了專用于實(shí)時(shí)應(yīng)用的實(shí)時(shí)訪問API來進(jìn)一步提高存儲(chǔ)系統(tǒng)對(duì)實(shí)時(shí)應(yīng)用的支持。實(shí)驗(yàn)證明,Sedna存儲(chǔ)系統(tǒng)具有和內(nèi)存緩存系統(tǒng)相近的速度卻能夠保證數(shù)據(jù)的可靠性,與此同時(shí),實(shí)時(shí)API也明顯的提高了應(yīng)用對(duì)數(shù)據(jù)更新的響應(yīng)速度。 3.針對(duì)復(fù)雜的實(shí)時(shí)應(yīng)用設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)基于觸發(fā)器的通用計(jì)算模型Domino。在Domino的設(shè)計(jì)和實(shí)現(xiàn)中,針對(duì)遞增模型下觸發(fā)器執(zhí)行過程中的同步需求,我們提出了聚合模式來進(jìn)行同步操作。并且引入了最終同步模型,很好的解決了分布式的純異步的觸發(fā)器模型如何進(jìn)行數(shù)據(jù)同步的問題；通過引入多種同步模型(完全異步、最終同步、嚴(yán)格同步),我們?yōu)殚_發(fā)人員提供了靈活的選擇方案。在Domino中,我們提出了基于多版本數(shù)據(jù)管理的容錯(cuò)以及恢復(fù)的策略,對(duì)于執(zhí)行過程中的錯(cuò)誤可以實(shí)現(xiàn)實(shí)時(shí)恢復(fù)進(jìn)一步提高了Domino的可用性。通過將多個(gè)典型的復(fù)雜應(yīng)用在Domino上進(jìn)行實(shí)現(xiàn)并進(jìn)行比較,證明了Domino具備非常好的擴(kuò)放性并且在復(fù)雜的計(jì)算應(yīng)用中,其性能優(yōu)于傳統(tǒng)MapReduce模型。
[Abstract]:In the past ten years , cloud computing has got a lot of development . As cloud computing has more and more influence on people ' s lives , it will eventually make computing and storage a kind of resource , like water and electricity , to people ' s life . At the same time , the new application needs to be more and more complicated . Based on the demand of new application emerging in cloud computing platform , the basic software architecture of cloud computing is studied deeply . The main tasks include optimizing configuration of existing architecture to improve its performance , designing and implementing a distributed storage system based on memory based on high - speed random write demand of mass data , and realizing a general - purpose computing model based on flip - flop for complex real - time application design . 1 . The configuration method of large - scale Hadoop cluster is studied , and a Hadoop cluster heterogeneous configuration tool based on fuzzy logic is proposed . The tool uses fuzzy logic algorithm to automatically generate various hardware parameters and historical operation data of servers in the heterogeneous cluster as fuzzy input , and automatically generates parameter configuration according to the fuzzy rules to finally improve the execution speed of tasks in the Hadoop cluster itself . The method transforms the traditional Hadoop cluster configuration into the optimization rule , and greatly reduces the cost of configuring the cluster . The experiment shows that the parameter configuration generated by the fuzzy rule tool according to the multiple indexes of the heterogeneous cluster can effectively improve the execution speed of the application . 2 . In Sedna , we propose a hierarchical cluster management scheme , which improves the scalability of the cluster and the flexibility of dynamic load balancing . In addition , we design and implement the real - time access API dedicated to real - time applications to further improve the storage system ' s support for real - time applications . The experiments show that the Sedna storage system has a similar speed to the memory cache system , but also improves the reliability of the data . At the same time , the real - time API improves the response speed of the application to the data update . 3 . Aiming at the complex real - time application design and implementing a general - purpose computing model of Domino based on flip - flop . In the design and implementation of Domino , in order to meet the synchronous demand during the execution of trigger in incremental model , we put forward a flexible selection scheme for developers . By introducing multiple synchronous models ( full asynchronous , final synchronization and strict synchronization ) , we offer developers a flexible selection scheme . In Domino , we present a flexible selection scheme for developers . By comparing several typical complex applications on Domino , we prove that Domino has very good scalability and its performance is superior to the traditional MapReduce model in complex computing applications .

【學(xué)位授予單位】：中國科學(xué)技術(shù)大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2013
【分類號(hào)】：TP333

【共引文獻(xiàn)】

相關(guān)期刊論文 前4條

1 薛嵐;楊帥;史宜巧;周奎;;Pyxos嵌入式網(wǎng)絡(luò)中鏈路電源模塊的設(shè)計(jì)[J];電子工業(yè)專用設(shè)備;2008年11期

2 薛嵐;楊帥;高安邦;;鏈路電源技術(shù)在Pyxos嵌入式網(wǎng)絡(luò)中的應(yīng)用[J];電源技術(shù)應(yīng)用;2009年06期

3 高石玉;艾中良;劉忠麟;;應(yīng)用Paxos算法構(gòu)建自組織網(wǎng)絡(luò)[J];計(jì)算機(jī)工程與應(yīng)用;2014年06期

4 LI Zhi;WANG Zhao-shun;DAI Gui-lan;DAI Feng-jun;;Data management solutions based on the data distribution service communication model[J];The Journal of China Universities of Posts and Telecommunications;2013年04期

相關(guān)博士學(xué)位論文 前1條

1 陳軍;基于G/S模式的空間分析云服務(wù)關(guān)鍵技術(shù)研究[D];成都理工大學(xué);2012年

相關(guān)碩士學(xué)位論文 前10條

1 杜嘯菲;基于MapReduce的全文索引模塊的設(shè)計(jì)與實(shí)現(xiàn)[D];浙江大學(xué);2011年

2 曹攀攀;自主地面機(jī)器人分布式體系結(jié)構(gòu)和層次一致性研究[D];浙江大學(xué);2011年

3 趙黎斌;面向云存儲(chǔ)的分布式文件系統(tǒng)關(guān)鍵技術(shù)研究[D];西安電子科技大學(xué);2011年

4 翟永東;Hadoop分布式文件系統(tǒng)（HDFS）可靠性的研究與優(yōu)化[D];華中科技大學(xué);2011年

5 孫寶華;基于Dynamo的存儲(chǔ)機(jī)制研究[D];西安電子科技大學(xué);2013年

6 鄧鵬;主從式云計(jì)算平臺(tái)高可用性研究[D];湘潭大學(xué);2013年

7 潘攀;面向有狀態(tài)服務(wù)的服務(wù)永續(xù)問題研究[D];四川師范大學(xué);2013年

8 陸永平;公安網(wǎng)環(huán)境下拜占庭故障模型容錯(cuò)技術(shù)研究[D];大連理工大學(xué);2013年

9 朱陳云海;去中心化架構(gòu)系統(tǒng)中的分布式事務(wù)機(jī)制研究[D];華中科技大學(xué);2013年

10 孫建良;分布式存儲(chǔ)系統(tǒng)可用性與一致性研究[D];華中科技大學(xué);2013年

，

本文編號(hào)：1524326