本文關(guān)鍵詞：基于Mesos的分布式計(jì)算資源調(diào)度研究與應(yīng)用　出處：《昆明理工大學(xué)》2017年碩士論文　論文類(lèi)型：學(xué)位論文

  更多相關(guān)文章： MUSER 分布式計(jì)算 科學(xué)數(shù)據(jù)處理 Mesos 資源調(diào)度

【摘要】：現(xiàn)代天文望遠(yuǎn)鏡產(chǎn)生的數(shù)據(jù)量非常大,而且增長(zhǎng)迅速。因此如何快速、高效的處理這些驟增的數(shù)據(jù)成為天文學(xué)研究中的一項(xiàng)主要問(wèn)題。為了解決此問(wèn)題,我國(guó)天文科學(xué)家提出了明安圖射電頻譜日像儀(MingantuU Spectral Radioheliograph,MUSER)。本文根據(jù)MUSER科學(xué)數(shù)據(jù)處理系統(tǒng)的需求,結(jié)合新興分布式集群資源管理系統(tǒng)Mesos來(lái)解決MUSER中天文數(shù)據(jù)處理的難題。主要完成工作如下三點(diǎn):一、從MUSER的分布式計(jì)算需求出發(fā),對(duì)MUSER在分布式集群中的數(shù)據(jù)處理進(jìn)行需求分析,然后設(shè)計(jì)了一種分布式框架OpenCluster,用于在海量天文數(shù)據(jù)處理中的計(jì)算。二、在分布式框架OpenCluster設(shè)計(jì)的基礎(chǔ)之上,對(duì)MUSER分布式集群中的資源調(diào)度需求進(jìn)行分析,然后基于Mesos的關(guān)鍵技術(shù)實(shí)現(xiàn)其在MUSER分布式集群中的應(yīng)用,從而完成OpenCluster中Mesos集群調(diào)度模式的開(kāi)發(fā)。三、針對(duì)Mesos中的DRF算法在MUSER分布式集群中的缺陷,從而提出一種基于DRF算法改進(jìn)的M-H-DRF算法。最后對(duì)此算法的性能進(jìn)行對(duì)比測(cè)試,證明了優(yōu)化后的算法在MUSER分布式集群中有良好的效果。整體來(lái)看,本文結(jié)合MUSER海量天文數(shù)據(jù)處理的需求,開(kāi)發(fā)了一個(gè)輕量級(jí)的分布式框架OpenCluster,并將其與Mesos結(jié)合完成Mesos集群調(diào)度模式的設(shè)計(jì),最后對(duì)Mesos中的資源調(diào)度算法DRF進(jìn)行改進(jìn),使其更適合MUSER分布式集群。總之,Mesos在射電天文數(shù)據(jù)處理系統(tǒng)中的研究應(yīng)用將為我國(guó)天文科學(xué)研究提供良好的保障。
[Abstract]:So how to deal with these sudden data quickly and efficiently becomes a major problem in astronomy research . In order to solve this problem , Chinese astronomical scientists have proposed Mingantuu Spectral Radiographs graph ( MUSER ) . In this paper , according to the requirements of MUSER scientific data processing system , the problem of astronomical data processing in MUSER is solved by combining with the emerging distributed cluster resource management system Mesos .

【學(xué)位授予單位】：昆明理工大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2017
【分類(lèi)號(hào)】：P111

【參考文獻(xiàn)】

相關(guān)期刊論文 前5條

1 董春濤;李文婷;沈晴霓;吳中海;;Hadoop YARN大數(shù)據(jù)計(jì)算框架及其資源調(diào)度機(jī)制研究[J];信息通信技術(shù);2015年01期

2 王威;顏毅華;陳志軍;;CSRH陣列設(shè)計(jì)研究[J];天文研究與技術(shù);2013年01期

3 劉東浩;顏毅華;李沙;王威;;厘米—分米波射電日像儀天線陣基線測(cè)量[J];天文研究與技術(shù);2013年02期

4 顏毅華;張堅(jiān);陳志軍;姬國(guó)樞;王威;劉飛;;關(guān)于太陽(yáng)厘米—分米波段頻譜日像儀研究進(jìn)展[J];天文研究與技術(shù).國(guó)家天文臺(tái)臺(tái)刊;2006年02期

5 王威;顏毅華;張堅(jiān);姬國(guó)樞;陳志軍;;CSRH陣列設(shè)計(jì)研究及饋源設(shè)計(jì)的初步考慮[J];天文研究與技術(shù).國(guó)家天文臺(tái)臺(tái)刊;2006年02期

相關(guān)會(huì)議論文 前1條

1 譚寶林;;中國(guó)厘米分米波射電頻譜日像儀科學(xué)目標(biāo)[A];太陽(yáng)射電天文學(xué)——新一代射電頻譜日像儀建設(shè)進(jìn)展研討會(huì)摘要集[C];2010年

相關(guān)碩士學(xué)位論文 前1條

1 陳泰燃;基于遠(yuǎn)程對(duì)象技術(shù)的分布式科學(xué)數(shù)據(jù)計(jì)算框架研究[D];昆明理工大學(xué);2016年

，

本文編號(hào)：1414137