本文關(guān)鍵詞：基于Mesos的分布式計算資源調(diào)度研究與應(yīng)用　出處：《昆明理工大學(xué)》2017年碩士論文　論文類型：學(xué)位論文

  更多相關(guān)文章： MUSER 分布式計算 科學(xué)數(shù)據(jù)處理 Mesos 資源調(diào)度

【摘要】：現(xiàn)代天文望遠鏡產(chǎn)生的數(shù)據(jù)量非常大,而且增長迅速。因此如何快速、高效的處理這些驟增的數(shù)據(jù)成為天文學(xué)研究中的一項主要問題。為了解決此問題,我國天文科學(xué)家提出了明安圖射電頻譜日像儀(MingantuU Spectral Radioheliograph,MUSER)。本文根據(jù)MUSER科學(xué)數(shù)據(jù)處理系統(tǒng)的需求,結(jié)合新興分布式集群資源管理系統(tǒng)Mesos來解決MUSER中天文數(shù)據(jù)處理的難題。主要完成工作如下三點:一、從MUSER的分布式計算需求出發(fā),對MUSER在分布式集群中的數(shù)據(jù)處理進行需求分析,然后設(shè)計了一種分布式框架OpenCluster,用于在海量天文數(shù)據(jù)處理中的計算。二、在分布式框架OpenCluster設(shè)計的基礎(chǔ)之上,對MUSER分布式集群中的資源調(diào)度需求進行分析,然后基于Mesos的關(guān)鍵技術(shù)實現(xiàn)其在MUSER分布式集群中的應(yīng)用,從而完成OpenCluster中Mesos集群調(diào)度模式的開發(fā)。三、針對Mesos中的DRF算法在MUSER分布式集群中的缺陷,從而提出一種基于DRF算法改進的M-H-DRF算法。最后對此算法的性能進行對比測試,證明了優(yōu)化后的算法在MUSER分布式集群中有良好的效果。整體來看,本文結(jié)合MUSER海量天文數(shù)據(jù)處理的需求,開發(fā)了一個輕量級的分布式框架OpenCluster,并將其與Mesos結(jié)合完成Mesos集群調(diào)度模式的設(shè)計,最后對Mesos中的資源調(diào)度算法DRF進行改進,使其更適合MUSER分布式集群。總之,Mesos在射電天文數(shù)據(jù)處理系統(tǒng)中的研究應(yīng)用將為我國天文科學(xué)研究提供良好的保障。
[Abstract]:So how to deal with these sudden data quickly and efficiently becomes a major problem in astronomy research . In order to solve this problem , Chinese astronomical scientists have proposed Mingantuu Spectral Radiographs graph ( MUSER ) . In this paper , according to the requirements of MUSER scientific data processing system , the problem of astronomical data processing in MUSER is solved by combining with the emerging distributed cluster resource management system Mesos .

【學(xué)位授予單位】：昆明理工大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2017
【分類號】：P111

【參考文獻】

相關(guān)期刊論文 前5條

1 董春濤;李文婷;沈晴霓;吳中海;;Hadoop YARN大數(shù)據(jù)計算框架及其資源調(diào)度機制研究[J];信息通信技術(shù);2015年01期

2 王威;顏毅華;陳志軍;;CSRH陣列設(shè)計研究[J];天文研究與技術(shù);2013年01期

3 劉東浩;顏毅華;李沙;王威;;厘米—分米波射電日像儀天線陣基線測量[J];天文研究與技術(shù);2013年02期

4 顏毅華;張堅;陳志軍;姬國樞;王威;劉飛;;關(guān)于太陽厘米—分米波段頻譜日像儀研究進展[J];天文研究與技術(shù).國家天文臺臺刊;2006年02期

5 王威;顏毅華;張堅;姬國樞;陳志軍;;CSRH陣列設(shè)計研究及饋源設(shè)計的初步考慮[J];天文研究與技術(shù).國家天文臺臺刊;2006年02期

相關(guān)會議論文 前1條

1 譚寶林;;中國厘米分米波射電頻譜日像儀科學(xué)目標(biāo)[A];太陽射電天文學(xué)——新一代射電頻譜日像儀建設(shè)進展研討會摘要集[C];2010年

相關(guān)碩士學(xué)位論文 前1條

1 陳泰燃;基于遠程對象技術(shù)的分布式科學(xué)數(shù)據(jù)計算框架研究[D];昆明理工大學(xué);2016年

，

本文編號：1414137