本文關(guān)鍵詞：天文大數(shù)據(jù)存儲(chǔ)管理關(guān)鍵技術(shù)研究

  更多相關(guān)文章： 陣列數(shù)據(jù) 分布式 并行化 CASA 天文

【摘要】：伴隨著信息爆炸,大數(shù)據(jù)時(shí)代已經(jīng)走入各行各業(yè),在諸如天文學(xué)、物理學(xué)、社會(huì)科學(xué)等行業(yè)中正源源不斷地產(chǎn)生著真正的海量大數(shù)據(jù)。然而在這些行業(yè)中,對(duì)大數(shù)據(jù)存儲(chǔ)、處理、分析的手段還相對(duì)落后。另一方面,Yahoo、Google等互聯(lián)網(wǎng)公司不斷推出處理大數(shù)據(jù)的新技術(shù),諸如分布式化、并行化的設(shè)計(jì)思想和技術(shù)被廣泛運(yùn)用。然而,當(dāng)今許多主流的科學(xué)軟件依然是串行化設(shè)計(jì),其性能低下,極大地影響了對(duì)科學(xué)大數(shù)據(jù)的高效處理。在天文科學(xué)界,隨著幾個(gè)國(guó)際合作的天文項(xiàng)目的籌建,先進(jìn)的觀測(cè)設(shè)備投入使用,獲取到的數(shù)據(jù)量如潮水般涌來(lái)。而常用的射電天文處理軟件CASA卻是集中式串行設(shè)計(jì)。雖然CASA提供了強(qiáng)大的天文陣列數(shù)據(jù)處理的功能,但現(xiàn)在卻無(wú)法快速實(shí)時(shí)的滿足當(dāng)前海量天文數(shù)據(jù)處理的需求。為了使CASA繼續(xù)發(fā)揮其在陣列數(shù)據(jù)處理上的優(yōu)勢(shì),又可以應(yīng)對(duì)海量數(shù)據(jù)的快速數(shù)據(jù)存取,本文對(duì)CASA底層數(shù)據(jù)存儲(chǔ)的分布式化,并且使其分布式底層可以適應(yīng)陣列數(shù)據(jù)進(jìn)行了研究。首先,論文闡述了海量陣列數(shù)據(jù)處理所面對(duì)的挑戰(zhàn)與重要意義,以及陣列數(shù)據(jù)的背景、特殊性和常用的處理方法。對(duì)海量數(shù)據(jù)處理的方法進(jìn)行了總結(jié)與歸納。介紹并分析了并行編程,分布式系統(tǒng),數(shù)據(jù)分配的發(fā)展歷程和當(dāng)前狀況�？偨Y(jié)了他們各自所取得的成就和不足之處。然后,論文對(duì)陣列數(shù)據(jù)處理模型進(jìn)行了詳細(xì)的總結(jié),其中包括陣列數(shù)據(jù)底層的存儲(chǔ)模型、CASA的體系架構(gòu)、數(shù)據(jù)流程和其底層數(shù)據(jù)讀寫實(shí)現(xiàn)。隨后,本文深入研究了適用于CASA的分布式底層的結(jié)構(gòu)設(shè)計(jì)和實(shí)現(xiàn)。其底層主要由數(shù)據(jù)劃分策略與數(shù)據(jù)分配策略、分布式的文件系統(tǒng)、DDSS_StMan的實(shí)現(xiàn)和整個(gè)數(shù)據(jù)導(dǎo)入導(dǎo)出流程設(shè)計(jì)四個(gè)方面組成。其中,數(shù)據(jù)劃分和數(shù)據(jù)分配策略的設(shè)計(jì)實(shí)現(xiàn)描述了對(duì)列存儲(chǔ)海量陣列數(shù)據(jù)采取混合分片和基于并行進(jìn)程的一致性哈希分配的方案；分布式的文件系統(tǒng)為CASA的分布式底層提供了支持,并且適應(yīng)之前數(shù)據(jù)劃分策略；DDSS_StMan重寫了CASA的數(shù)據(jù)讀寫方法,使其支持分布式化和并行化；數(shù)據(jù)導(dǎo)入導(dǎo)出流程從宏觀上展示了整個(gè)系統(tǒng)從指令查詢到返回結(jié)果的過(guò)程。最后,本文使用MWA天文項(xiàng)目的數(shù)據(jù)作為測(cè)試數(shù)據(jù)集,將上述的各項(xiàng)關(guān)鍵技術(shù)實(shí)現(xiàn),整合入CASA庫(kù),并且進(jìn)行性能驗(yàn)證。通過(guò)對(duì)相關(guān)技術(shù)的性能測(cè)試結(jié)果進(jìn)行對(duì)比分析,驗(yàn)證了本文所述內(nèi)容的正確性和有效性。在處理海量數(shù)據(jù)時(shí),實(shí)現(xiàn)了CASA的分布式化和并行化,并且顯著提升了CASA的數(shù)據(jù)讀寫能力。
【學(xué)位授予單位】：東華大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：TP311.13;TP333

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 文韜;;NetWorker使存儲(chǔ)管理無(wú)憂[J];每周電腦報(bào);1997年08期

2 葉梅,馬梅,楊大鍵,趙京偉;BEPC束測(cè)系統(tǒng)數(shù)據(jù)存儲(chǔ)管理模型[J];核電子學(xué)與探測(cè)技術(shù);2003年05期

3 陳金水;王];;非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)管理的實(shí)用化方法[J];計(jì)算機(jī)與現(xiàn)代化;2006年08期

4 田保軍;秦罡;秦婷;;實(shí)時(shí)數(shù)據(jù)存儲(chǔ)管理的研究與設(shè)計(jì)[J];內(nèi)蒙古工業(yè)大學(xué)學(xué)報(bào)(自然科學(xué)版);2010年03期

5 程智賓;林fx;;停車場(chǎng)控制器數(shù)據(jù)存儲(chǔ)管理[J];電子世界;2012年24期

6 曹剛;;大數(shù)據(jù)存儲(chǔ)管理系統(tǒng)面臨挑戰(zhàn)的探討[J];軟件產(chǎn)業(yè)與工程;2013年06期

7 尤曉剛;夏秀燕;;網(wǎng)格環(huán)境下的數(shù)據(jù)存儲(chǔ)管理[J];信息技術(shù);2007年09期

8 鄧成玉,王 超,賀 琪;XML數(shù)據(jù)存儲(chǔ)管理技術(shù)[J];燕山大學(xué)學(xué)報(bào);2002年02期

9 張虹;輕松部署設(shè)計(jì)SAN[J];中國(guó)計(jì)算機(jī)用戶;2003年43期

10 ;Oracle選用Mammoth[J];上海微型計(jì)算機(jī);1998年18期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前2條

1 章紅宇;;大規(guī)模數(shù)據(jù)存儲(chǔ)管理系統(tǒng)[A];第十屆全國(guó)核電子學(xué)與核探測(cè)技術(shù)學(xué)術(shù)年會(huì)論文集[C];2000年

2 張孝;周勝;王珊;;大對(duì)象數(shù)據(jù)存儲(chǔ)管理的一種實(shí)現(xiàn)——PBase/Easybase系統(tǒng)LONG管理器的存儲(chǔ)管理[A];第十六屆全國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集[C];1999年

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫(kù) 前7條

1 北京天科思諾信息技術(shù)有限公司 黃斌;“新聞出版業(yè)數(shù)據(jù)存儲(chǔ)管理系統(tǒng)解決方案”簡(jiǎn)介[N];中國(guó)計(jì)算機(jī)報(bào);2000年

2 ;EMC領(lǐng)導(dǎo)存儲(chǔ)軟件市場(chǎng)[N];人民郵電;2001年

3 記者 劉慧敏;萬(wàn)由電子研發(fā)技術(shù)實(shí)現(xiàn)新突破[N];寧波日?qǐng)?bào);2009年

4 ;構(gòu)建新數(shù)據(jù)結(jié)構(gòu)管理[N];計(jì)算機(jī)世界;2004年

5 薩文;構(gòu)建全新的數(shù)據(jù)結(jié)構(gòu)管理[N];國(guó)際商報(bào);2004年

6 宋家雨;存儲(chǔ)一體化關(guān)鍵在于“搜索”[N];網(wǎng)絡(luò)世界;2007年

7 記者 耿倩;“麒麟”占領(lǐng)云計(jì)算制高點(diǎn)[N];科學(xué)導(dǎo)報(bào);2014年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前7條

1 過(guò)匯卿;天文大數(shù)據(jù)存儲(chǔ)管理關(guān)鍵技術(shù)研究[D];東華大學(xué);2016年

2 陳潔;銀行數(shù)據(jù)中心數(shù)據(jù)存儲(chǔ)管理的實(shí)現(xiàn)與優(yōu)化[D];復(fù)旦大學(xué);2009年

3 羅時(shí)輝;XML數(shù)據(jù)存儲(chǔ)管理系統(tǒng)[D];南京理工大學(xué);2003年

4 盛豐;RFID中間件中數(shù)據(jù)存儲(chǔ)管理的關(guān)鍵技術(shù)研究[D];南京理工大學(xué);2012年

5 劉麗麗;一種新的XML數(shù)據(jù)存儲(chǔ)管理技術(shù)及其在電子商務(wù)中的應(yīng)用[D];四川大學(xué);2004年

6 王超;基于空間數(shù)據(jù)庫(kù)的柵格數(shù)據(jù)存儲(chǔ)管理關(guān)鍵技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2009年

7 朱曉潔;基于Hypertable的空間數(shù)據(jù)存取服務(wù)[D];北京郵電大學(xué);2014年

，

本文編號(hào)：1160058