發(fā)布時間：2017-11-09 03:15

  本文關鍵詞：天文大數據存儲管理關鍵技術研究

  更多相關文章： 陣列數據 分布式 并行化 CASA 天文

【摘要】：伴隨著信息爆炸,大數據時代已經走入各行各業(yè),在諸如天文學、物理學、社會科學等行業(yè)中正源源不斷地產生著真正的海量大數據。然而在這些行業(yè)中,對大數據存儲、處理、分析的手段還相對落后。另一方面,Yahoo、Google等互聯網公司不斷推出處理大數據的新技術,諸如分布式化、并行化的設計思想和技術被廣泛運用。然而,當今許多主流的科學軟件依然是串行化設計,其性能低下,極大地影響了對科學大數據的高效處理。在天文科學界,隨著幾個國際合作的天文項目的籌建,先進的觀測設備投入使用,獲取到的數據量如潮水般涌來。而常用的射電天文處理軟件CASA卻是集中式串行設計。雖然CASA提供了強大的天文陣列數據處理的功能,但現在卻無法快速實時的滿足當前海量天文數據處理的需求。為了使CASA繼續(xù)發(fā)揮其在陣列數據處理上的優(yōu)勢,又可以應對海量數據的快速數據存取,本文對CASA底層數據存儲的分布式化,并且使其分布式底層可以適應陣列數據進行了研究。首先,論文闡述了海量陣列數據處理所面對的挑戰(zhàn)與重要意義,以及陣列數據的背景、特殊性和常用的處理方法。對海量數據處理的方法進行了總結與歸納。介紹并分析了并行編程,分布式系統(tǒng),數據分配的發(fā)展歷程和當前狀況�？偨Y了他們各自所取得的成就和不足之處。然后,論文對陣列數據處理模型進行了詳細的總結,其中包括陣列數據底層的存儲模型、CASA的體系架構、數據流程和其底層數據讀寫實現。隨后,本文深入研究了適用于CASA的分布式底層的結構設計和實現。其底層主要由數據劃分策略與數據分配策略、分布式的文件系統(tǒng)、DDSS_StMan的實現和整個數據導入導出流程設計四個方面組成。其中,數據劃分和數據分配策略的設計實現描述了對列存儲海量陣列數據采取混合分片和基于并行進程的一致性哈希分配的方案；分布式的文件系統(tǒng)為CASA的分布式底層提供了支持,并且適應之前數據劃分策略；DDSS_StMan重寫了CASA的數據讀寫方法,使其支持分布式化和并行化；數據導入導出流程從宏觀上展示了整個系統(tǒng)從指令查詢到返回結果的過程。最后,本文使用MWA天文項目的數據作為測試數據集,將上述的各項關鍵技術實現,整合入CASA庫,并且進行性能驗證。通過對相關技術的性能測試結果進行對比分析,驗證了本文所述內容的正確性和有效性。在處理海量數據時,實現了CASA的分布式化和并行化,并且顯著提升了CASA的數據讀寫能力。
【學位授予單位】：東華大學
【學位級別】：碩士
【學位授予年份】：2016
【分類號】：TP311.13;TP333

【相似文獻】

中國期刊全文數據庫 前10條

1 文韜;;NetWorker使存儲管理無憂[J];每周電腦報;1997年08期

2 葉梅,馬梅,楊大鍵,趙京偉;BEPC束測系統(tǒng)數據存儲管理模型[J];核電子學與探測技術;2003年05期

3 陳金水;王];;非結構化數據存儲管理的實用化方法[J];計算機與現代化;2006年08期

4 田保軍;秦罡;秦婷;;實時數據存儲管理的研究與設計[J];內蒙古工業(yè)大學學報(自然科學版);2010年03期

5 程智賓;林fx;;停車場控制器數據存儲管理[J];電子世界;2012年24期

6 曹剛;;大數據存儲管理系統(tǒng)面臨挑戰(zhàn)的探討[J];軟件產業(yè)與工程;2013年06期

7 尤曉剛;夏秀燕;;網格環(huán)境下的數據存儲管理[J];信息技術;2007年09期

8 鄧成玉,王 超,賀 琪;XML數據存儲管理技術[J];燕山大學學報;2002年02期

9 張虹;輕松部署設計SAN[J];中國計算機用戶;2003年43期

10 ;Oracle選用Mammoth[J];上海微型計算機;1998年18期

中國重要會議論文全文數據庫 前2條

1 章紅宇;;大規(guī)模數據存儲管理系統(tǒng)[A];第十屆全國核電子學與核探測技術學術年會論文集[C];2000年

2 張孝;周勝;王珊;;大對象數據存儲管理的一種實現——PBase/Easybase系統(tǒng)LONG管理器的存儲管理[A];第十六屆全國數據庫學術會議論文集[C];1999年

中國重要報紙全文數據庫 前7條

1 北京天科思諾信息技術有限公司 黃斌;“新聞出版業(yè)數據存儲管理系統(tǒng)解決方案”簡介[N];中國計算機報;2000年

2 ;EMC領導存儲軟件市場[N];人民郵電;2001年

3 記者 劉慧敏;萬由電子研發(fā)技術實現新突破[N];寧波日報;2009年

4 ;構建新數據結構管理[N];計算機世界;2004年

5 薩文;構建全新的數據結構管理[N];國際商報;2004年

6 宋家雨;存儲一體化關鍵在于“搜索”[N];網絡世界;2007年

7 記者 耿倩;“麒麟”占領云計算制高點[N];科學導報;2014年

中國碩士學位論文全文數據庫 前7條

1 過匯卿;天文大數據存儲管理關鍵技術研究[D];東華大學;2016年

2 陳潔;銀行數據中心數據存儲管理的實現與優(yōu)化[D];復旦大學;2009年

3 羅時輝;XML數據存儲管理系統(tǒng)[D];南京理工大學;2003年

4 盛豐;RFID中間件中數據存儲管理的關鍵技術研究[D];南京理工大學;2012年

5 劉麗麗;一種新的XML數據存儲管理技術及其在電子商務中的應用[D];四川大學;2004年

6 王超;基于空間數據庫的柵格數據存儲管理關鍵技術研究[D];國防科學技術大學;2009年

7 朱曉潔;基于Hypertable的空間數據存取服務[D];北京郵電大學;2014年

，

本文編號：1160058