本文關(guān)鍵詞：太陽(yáng)望遠(yuǎn)鏡海量數(shù)據(jù)并行處理技術(shù)研究，，由筆耕文化傳播整理發(fā)布。

【摘要】：一米新真空太陽(yáng)望遠(yuǎn)鏡(New Vacuum Solar Telescope,NVST)是我國(guó)重要的地基大口徑太陽(yáng)望遠(yuǎn)鏡,主要目標(biāo)是使用多通道高分辨成像系統(tǒng),對(duì)太陽(yáng)光球與色球進(jìn)行高分辨成像觀測(cè)。目前投入使用的高分辨成像系統(tǒng)通道主要有色球Halpha,光球TiO與G-band。3通道以10幀/秒的速度同時(shí)獲取1024*1024像素或2560*2160像素圖像,每個(gè)觀測(cè)日產(chǎn)生至少7TB的海量數(shù)據(jù)。盡管數(shù)據(jù)存儲(chǔ)設(shè)備價(jià)格在持續(xù)下降,但是如此大的數(shù)據(jù)量仍然顯得難以傳輸和存儲(chǔ)。為提高太陽(yáng)觀測(cè)圖像的空間分辨率,需要對(duì)觀測(cè)數(shù)據(jù)進(jìn)行高分辨重建。NVST高分辨重建主要有2種,分別為選幀位移疊加(Level1)重建和斑點(diǎn)掩模(Level1+)重建,均采用100-200幀原始觀測(cè)圖像統(tǒng)計(jì)重建為1幀圖像。在單臺(tái)高端服務(wù)器上以串行方式重建1天單通道觀測(cè)數(shù)據(jù),Level1重建大概需要1天時(shí)間,Level1+重建大概至少需要3個(gè)月時(shí)間。處理速度極慢,遠(yuǎn)跟不上觀測(cè)的產(chǎn)出,極大地影響了望遠(yuǎn)鏡的運(yùn)行效率與科學(xué)產(chǎn)出。鑒于NVST高分辨重建數(shù)據(jù)密集和計(jì)算密集,迫切需要對(duì)其進(jìn)行并行加速。很明顯,實(shí)時(shí)/準(zhǔn)實(shí)時(shí)處理觀測(cè)數(shù)據(jù)可以從以下兩方面能夠快速提高太陽(yáng)望遠(yuǎn)鏡的運(yùn)行效率:(1)觀測(cè)數(shù)據(jù)總量將以至少100倍速度快速地精簡(jiǎn);(2)快速地縮短太陽(yáng)觀測(cè)與數(shù)據(jù)分析之間的時(shí)間�？焖俚挠�(jì)算機(jī)技術(shù)的發(fā)展,例如分布式并行計(jì)算技術(shù),使得實(shí)時(shí)重建海量太陽(yáng)觀測(cè)圖像成為可能。本論文研究使用分布式并行計(jì)算技術(shù),并行加速NVST高分辨太陽(yáng)圖像重建,具體研究工作如下:(1)研究并行算法設(shè)計(jì)的方法以及高分辨重建算法,調(diào)研并研究目前流行的幾種并行計(jì)算機(jī)以及并行編程模型,挖掘出適用于NVST高分辨圖像重建的幾種并行機(jī)與并行編程模型。(2)基于MPI選幀位移疊加(Level1)重建并行算法。針對(duì)NVST觀測(cè)數(shù)據(jù)量巨大,以及Level1重建速度較慢兩大特點(diǎn),本文利用高性能集群與MPI技術(shù)加速Level1重建,系統(tǒng)地設(shè)計(jì)與實(shí)現(xiàn)了基于MPI的Level1重建并行算法,并成功構(gòu)建一套Level1并行重建流水線系統(tǒng),滿足了Leve1實(shí)時(shí)重建迫切需求。Level1并行重建單幀1024*1024像素Halpha圖像,整個(gè)過(guò)程相比于以前IDL實(shí)現(xiàn)獲得23倍顯著加速,并對(duì)各處理模塊加速結(jié)果進(jìn)行分析,提出進(jìn)一步優(yōu)化并行算法的技術(shù)與方法。本文還對(duì)基于MPI的Level1重建并行算法進(jìn)行可擴(kuò)展性測(cè)試,實(shí)驗(yàn)結(jié)果表明,該并行算法具有較好的可擴(kuò)展性。(3)基于mpi斑點(diǎn)掩模(level1+)重建并行算法。針對(duì)nvst觀測(cè)數(shù)據(jù)量巨大,以及l(fā)evel1+重建速度極慢兩大特點(diǎn),本文利用研究工作2的研究成果與關(guān)鍵技術(shù),系統(tǒng)地設(shè)計(jì)與實(shí)現(xiàn)了基于mpi的level1+重建并行算法,并成功構(gòu)建一套level1+并行重建流水線系統(tǒng),滿足了leve1+實(shí)時(shí)重建迫切需求,目前重建實(shí)時(shí)性能在國(guó)際同行處于領(lǐng)先水平。level1+并行重建單幀2560*2160像素tio圖像,整個(gè)過(guò)程相比于以前idl實(shí)現(xiàn)獲得約122倍顯著加速,并對(duì)各處理模塊加速結(jié)果進(jìn)行分析,提出進(jìn)一步優(yōu)化并行算法的技術(shù)與方法。本文還對(duì)基于mpi的level1+重建并行算法進(jìn)行可擴(kuò)展性測(cè)試,實(shí)驗(yàn)結(jié)果表明,該并行算法具有較好的可擴(kuò)展性。(4)基于openmp的子塊圖像重建并行算法。研究工作3基于mpi的level1+并行重建已經(jīng)獲得實(shí)時(shí)/準(zhǔn)實(shí)時(shí)性能,但在相關(guān)硬件計(jì)算資源有限情況下,所有子塊圖像重建模塊占據(jù)相當(dāng)大時(shí)間比例,本文研究使用openmp多線程并行加速子塊圖像重建,系統(tǒng)地設(shè)計(jì)與實(shí)現(xiàn)了基于openmp的子塊圖像重建并行算法。本文使用openmp并行重建單幀tio通道256*256像素子塊圖像,相比于單線程cpu實(shí)現(xiàn),整個(gè)過(guò)程獲得約2.5倍明顯加速,體現(xiàn)了本研究的并行化方法具有良好的加速性能。隨著數(shù)據(jù)規(guī)模的增加,該并行算法表現(xiàn)出遞增加速比性能,對(duì)于大規(guī)模數(shù)據(jù)處理,該并行算法加速更加有效。本文還對(duì)基于openmp子塊圖像重建并行算法進(jìn)行可擴(kuò)展性測(cè)試,實(shí)驗(yàn)結(jié)果表明,該并行算法具有較好的可擴(kuò)展性。(5)基于mpi+openmp斑點(diǎn)掩模(level1+)重建并行算法。結(jié)合研究工作3與研究工作4的研究成果,將基于openmp子塊圖像重建并行算法移植至基于mpi的level1+重建并行算法。使用mpi+openmp混合編程模型,系統(tǒng)地設(shè)計(jì)與實(shí)現(xiàn)基于mpi+openmp的level1+重建并行算法,進(jìn)一步提升level1+重建并行算法的加速性能。本文對(duì)比了基于mpi+openmp與基于mpi的兩種不同編程模型的level1+重建時(shí)間結(jié)果。實(shí)驗(yàn)結(jié)果表明,在充足硬件計(jì)算資源情況下,基于mpi+openmp的level1+重建并行算法要快于基于純mpi的level1+重建并行算法。(6)基于cuda的子塊圖像重建并行算法。本文研究使用gpgpu新并行技術(shù)加速子塊圖像重建。本文提出了基于cuda的子塊圖像重建新的并行算法,并系統(tǒng)地設(shè)計(jì)與實(shí)現(xiàn)該并行算法。本文使用gpgpu并行重建單幀tio通道256*256像素子塊圖像,相比于單線程cpu實(shí)現(xiàn),整個(gè)過(guò)程獲得約6倍明顯加速,體現(xiàn)了本研究的并行化方法具有較好的加速性能。隨著數(shù)據(jù)規(guī)模的增加,該并行算法表現(xiàn)出遞增加速比性能,對(duì)于大規(guī)模數(shù)據(jù)處理,該并行算法加速更加有效。本論文系統(tǒng)地設(shè)計(jì)與實(shí)現(xiàn)了多套NVST高分辨重建并行算法,顯著地提升了處理速度,并在此基礎(chǔ)上,成功地構(gòu)建多套高分辨并行重建流水線系統(tǒng),滿足了NVST海量數(shù)據(jù)實(shí)時(shí)處理的迫切需求。我國(guó)NVST重建實(shí)時(shí)性能超過(guò)了當(dāng)前國(guó)際先進(jìn)太陽(yáng)望遠(yuǎn)鏡NST(New Solar Telescope)的重建準(zhǔn)實(shí)時(shí)性能。除此之外,本論文還優(yōu)化了NVST高分辨重建并行算法,進(jìn)一步提升了處理速度。本論文的研究成果不僅極大地提高NVST運(yùn)行效率和科學(xué)產(chǎn)出,而且為下一代太陽(yáng)望遠(yuǎn)鏡(如CGST等)的數(shù)據(jù)處理系統(tǒng)提供較好的技術(shù)借鑒。
【關(guān)鍵詞】：太陽(yáng)望遠(yuǎn)鏡 海量天文數(shù)據(jù) 高性能計(jì)算 高分辨重建
【學(xué)位授予單位】：中國(guó)科學(xué)院研究生院(云南天文臺(tái))
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2015
【分類(lèi)號(hào)】：P111.41
【目錄】：

• 摘要4-7
• ABSTRACT7-16
• 第1章 緒論16-29
• 1.1 研究背景17-19
• 1.2 NVST數(shù)據(jù)處理面臨的問(wèn)題19-20
• 1.3 國(guó)內(nèi)外研究現(xiàn)狀20-24
• 1.4 研究意義與應(yīng)用前景24
• 1.5 論文的特色與創(chuàng)新24-25
• 1.6 論文研究計(jì)劃25-29
• 1.6.1 研究目標(biāo)25-26
• 1.6.2 研究?jī)?nèi)容26-27
• 1.6.3 論文組織結(jié)構(gòu)27-29
• 第2章 并行算法與高分辨圖像重建29-44
• 2.1 并行算法29-39
• 2.1.1 并行算法概述29-30
• 2.1.2 并行算法性能評(píng)估30-33
• 2.1.3 并行編程模型33-39
• 2.2 高分辨圖像重建39-44
• 2.2.1 選幀位移疊加重建40-42
• 2.2.2 斑點(diǎn)掩模重建42-44
• 第3章 基于MPI選幀位移疊加重建并行算法44-59
• 3.1 引言44
• 3.2 基于MPI選幀位移疊加重建并行算法設(shè)計(jì)與實(shí)現(xiàn)44-51
• 3.3 算法性能分析51-57
• 3.4 本章小結(jié)57-59
• 第4章 基于MPI斑點(diǎn)掩模重建并行算法59-78
• 4.1 引言59
• 4.2 基于MPI斑點(diǎn)掩模重建并行算法設(shè)計(jì)與實(shí)現(xiàn)59-68
• 4.3 算法性能分析68-76
• 4.4 本章小結(jié)76-78
• 第5章 基于OPENMP子塊圖像重建并行算法78-87
• 5.1 引言78
• 5.2 基于OPENMP子塊圖像重建并行算法設(shè)計(jì)與實(shí)現(xiàn)78-82
• 5.3 算法性能分析82-85
• 5.4 本章小結(jié)85-87
• 第6章 基于MPI+OPENMP斑點(diǎn)掩模重建并行算法87-95
• 6.1 引言87
• 6.2 基于MPI+OPENMP斑點(diǎn)掩模重建并行算法設(shè)計(jì)與實(shí)現(xiàn)87-90
• 6.3 算法性能分析90-93
• 6.4 本章小結(jié)93-95
• 第7章 基于CUDA子塊圖像重建并行算法95-103
• 7.1 引言95
• 7.2 基于CUDA子塊圖像重建并行算法設(shè)計(jì)與實(shí)現(xiàn)95-99
• 7.3 算法性能分析99-101
• 7.4 本章小結(jié)101-103
• 第8章 總結(jié)與展望103-106
• 8.1 總結(jié)103-105
• 8.2 展望105-106
• 參考文獻(xiàn)106-113
• 附錄1 博士期間第一作者發(fā)表的論文113-114
• 致謝114

【參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 邱耀輝,劉忠,盧汝為,樓柯;天文斑點(diǎn)成像中的傅里葉模復(fù)原和像復(fù)原實(shí)驗(yàn)[J];光學(xué)學(xué)報(bào);2000年04期

2 劉忠,邱耀輝,樓柯,盧汝為;斑點(diǎn)掩模法中的相位復(fù)原實(shí)施方法和像復(fù)原實(shí)驗(yàn)[J];光學(xué)學(xué)報(bào);1999年07期

3 呂捷,張?zhí)煨?張必銀;MPI并行計(jì)算在圖像處理方面的應(yīng)用[J];紅外與激光工程;2004年05期

4 遲利華,劉杰,胡慶豐;數(shù)值并行計(jì)算可擴(kuò)展性評(píng)價(jià)與測(cè)試[J];計(jì)算機(jī)研究與發(fā)展;2005年06期

5 姚麗萍,王遠(yuǎn)飛;基于MPI的大氣污染擴(kuò)散模型的并行計(jì)算研究[J];計(jì)算機(jī)工程;2005年22期

6 李成華;張新訪;金海;向文;;MapReduce:新型的分布式并行計(jì)算編程模型[J];計(jì)算機(jī)工程與科學(xué);2011年03期

7 常珊;孔韌;李春華;陳慰祖;王存新;;基于MPI的分子對(duì)接并行算法[J];計(jì)算物理;2008年02期

8 周海芳;趙進(jìn);;基于GPU的遙感圖像配準(zhǔn)并行程序設(shè)計(jì)與存儲(chǔ)優(yōu)化[J];計(jì)算機(jī)研究與發(fā)展;2012年S1期

9 鄭裕民;高娜;劉梁;;基于GPU超級(jí)計(jì)算系統(tǒng)的天文科學(xué)應(yīng)用[J];科研信息化技術(shù)與應(yīng)用;2011年06期

10 王茂芝;郭科;徐文皙;;基于集群和GPU的高光譜遙感影像并行處理[J];紅外與激光工程;2013年11期

  本文關(guān)鍵詞：太陽(yáng)望遠(yuǎn)鏡海量數(shù)據(jù)并行處理技術(shù)研究，由筆耕文化傳播整理發(fā)布。

本文編號(hào)：451774