天文異常現(xiàn)象的在線檢測與離線挖掘系統(tǒng)設(shè)計與實現(xiàn)
發(fā)布時間:2022-01-25 05:44
天文觀測科學(xué)研究是國家重點發(fā)展戰(zhàn)略,展示大國自然科學(xué)研究水平。很多國家投入優(yōu)勢資源開發(fā)了著名的天文觀測系統(tǒng),如美國的大型綜合巡天望遠(yuǎn)鏡(Large Synoptic Survey Telescope,LSST)系統(tǒng)、中國的地面廣角相機陣(Ground Wide Angle Camera,GWAC)系統(tǒng)。同時,與之配套的天文大數(shù)據(jù)管理系統(tǒng)也越發(fā)重要,它們?yōu)樘煳挠^測系統(tǒng)產(chǎn)生的海量數(shù)據(jù)提供了數(shù)據(jù)管理和檢索功能,為科學(xué)發(fā)現(xiàn)和天文愛好者提供數(shù)據(jù)共享的平臺,如美國的斯隆數(shù)據(jù)庫為斯隆數(shù)字巡天(Sloan Digital Sky Survey,SDSS)系統(tǒng)提供海量天文數(shù)據(jù)的管理服務(wù)。我國國家天文臺自主研發(fā)的GWAC系統(tǒng)是目標(biāo)發(fā)現(xiàn)短時標(biāo)異常天文現(xiàn)象的光學(xué)望遠(yuǎn)鏡陣列。GWAC天文系統(tǒng)由40臺小口徑巡天望遠(yuǎn)鏡相機矩陣組成,相比其它巡天項目覆蓋更大的觀測視場,具有更高的時間采樣率。建立GWAC對應(yīng)的數(shù)據(jù)處理系統(tǒng),既要在鏡頭采樣區(qū)間內(nèi)實現(xiàn)快速的天文異常檢測,也要滿足長期存儲數(shù)據(jù)的可利用需求。基于十三五國家重點研發(fā)計劃項目背景,面向GWAC系統(tǒng)的數(shù)據(jù)處理需求,研發(fā)了一套具有實時天文異,F(xiàn)象檢測和長期數(shù)據(jù)管理與數(shù)...
【文章來源】:山東大學(xué)山東省 211工程院校 985工程院校 教育部直屬院校
【文章頁數(shù)】:99 頁
【學(xué)位級別】:碩士
【部分圖文】:
圖2-1系統(tǒng)概述示意圖??如圖2-1所示,本系統(tǒng)的構(gòu)成部件主要包括四個模塊:在線數(shù)據(jù)檢測、離線??、
?山東大學(xué)碩士學(xué)位論文???據(jù)流處理。??本模塊的用例圖如圖2-2所示。??大a;數(shù)據(jù)處埋仃務(wù)調(diào)度??資源巧)???includs>>????include??-?-??《include〉〉??從節(jié)??用戶? ̄^?一^??(^D〇cker951^\?_?-??點源識別)???iaclude???圖2-2天文數(shù)據(jù)處理任務(wù)調(diào)度用例圖??節(jié)點選取的剩余資源判斷功能的用例描述表如表2-4所示??表24剩余資源判斷用例描述表??用例名稱?|剩余資源判斷?|用例類型?|業(yè)務(wù)用例??主要業(yè)務(wù)參與f系統(tǒng)用戶???ll例描述?用戶登錄系統(tǒng),在各從節(jié)點選擇出剩余資源最多的節(jié)點?? ̄ ̄前置條件?"目前處理的觀測記錄在集群中不存在與之對應(yīng)的處理節(jié)點??_?1.進入剩余資源判斷功能??2.主節(jié)點向各從節(jié)點發(fā)送查看系統(tǒng)資源命令??}?3.從節(jié)點把本地的可用內(nèi)存大小發(fā)送給主節(jié)點進程??^?4.采用快速排序法對節(jié)點剩余資源數(shù)進行排序??5.返回剩余內(nèi)存資源最多的子節(jié)點機器名???6.用例終止???If展事件流—無??1置條件?"剩余資源判斷執(zhí)行成功??"實現(xiàn)約束和說明|完成操作后,數(shù)據(jù)處理流程運行無誤??檢測結(jié)果收集功能的用例描述表如表2-5所示。??表2-5檢測結(jié)果收集功能的用例描述??If]例名稱?|檢測結(jié)果收集?|用例類型?|業(yè)務(wù)用例??主耍業(yè)務(wù)參與f系統(tǒng)川戶???If]例描述?|主節(jié)點收集檢測出的灃常天文數(shù)據(jù)并匯總??15??
?山東大學(xué)碩士學(xué)位論文???茳線大文異常檢測???inciuds>>???iRclude???現(xiàn)象??用戶??<Unclude???(在線檢鍘?J??—?—??*■* ̄ ̄???stend>>??---*?■? ̄-- ̄??線異常檢^)??圖2-3在線天文異常檢測用例圖??組件安裝功能的用例描述表如表2-6所示。??表2-6組件安裝功能的用例描述??ll例名稱?|組件安裝?|用例類型?丨業(yè)務(wù)用例??主要業(yè)務(wù)參與f系統(tǒng)用戶??? ̄ ̄用例描述?^從節(jié)點上采用Docker搭建相關(guān)組件??前置條件?^從節(jié)點完成相關(guān)環(huán)境的配置??1.檢查Docker內(nèi)包含的組件種類??2.檢查機器可用空間??^?3.構(gòu)建各組件所需的依賴關(guān)系??4.按順序幵始軟件安裝??5.建立新Docker與主節(jié)點的通信???6.用例終止???If?展事件流?無??1§置條件?組件安裝執(zhí)行成功??^實現(xiàn)約束和說明|完成操作后,數(shù)據(jù)處理流程運行無誤??數(shù)據(jù)驅(qū)動在線異常檢測功能的用例描述表如下表所示。??表2-7數(shù)據(jù)驅(qū)動在線異常檢測功能的用例描述??IfH列名稱?|數(shù)據(jù)驅(qū)動在線異常檢測|用例類型?|業(yè)務(wù)用例??主要業(yè)備參與f系統(tǒng)用戶???3例描述? ̄采用數(shù)據(jù)驅(qū)動方法執(zhí)行在線異常檢測??Ijf罝條件?觀測數(shù)據(jù)傳輸?shù)皆诰異常檢測框架??—"1.提取數(shù)據(jù)流中的亮度值屬性所在的列??2.利用采樣數(shù)據(jù)構(gòu)建正態(tài)分布模型??3.當(dāng)前時刻亮度值與模型對比i十算:概率??幕本車件流??4.對于高于95%異常概率的亮度值數(shù)據(jù)認(rèn)定為異常??5.把異常數(shù)據(jù)記錄發(fā)送給主節(jié)點匯總???|?6.用例終止
【參考文獻】:
期刊論文
[1]基于WCS的FITS圖像天球定位綜述及通用可視化研究[J]. 宋文明,樊東衛(wèi),蘇麗穎,崔辰州. 天文學(xué)報. 2017(06)
[2]天文瞬變源快速自動識別系統(tǒng)的研究與實現(xiàn)[J]. 吳潮,馬冬,田?,李鄉(xiāng)儒,魏建彥. 自動化學(xué)報. 2017(12)
[3]天文大數(shù)據(jù)挑戰(zhàn)與實時處理技術(shù)[J]. 楊晨,翁祖建,孟小峰,任瑋,忻日輝,王春凱,都志輝,萬萌,魏建彥. 計算機研究與發(fā)展. 2017(02)
[4]大視場光學(xué)瞬變源認(rèn)證系統(tǒng)的設(shè)計與實現(xiàn)[J]. 馬冬,吳潮,田海俊,魏建彥. 天文研究與技術(shù). 2016(02)
[5]天文大數(shù)據(jù)管理工具的設(shè)計與實現(xiàn)[J]. 鐘守波,韓波,張彥霞,趙永恒,何勃亮. 天文研究與技術(shù). 2015(04)
[6]天文數(shù)據(jù)庫回顧與展望[J]. 李建,崔辰州,何勃亮,趙永恒,曹子皇,樊東衛(wèi),李長華,諶悅. 天文學(xué)進展. 2013(01)
[7]地球衛(wèi)星運動中坐標(biāo)系附加攝動與參考系選擇問題[J]. 劉林,湯靖師. 空間科學(xué)學(xué)報. 2008(02)
本文編號:3607993
【文章來源】:山東大學(xué)山東省 211工程院校 985工程院校 教育部直屬院校
【文章頁數(shù)】:99 頁
【學(xué)位級別】:碩士
【部分圖文】:
圖2-1系統(tǒng)概述示意圖??如圖2-1所示,本系統(tǒng)的構(gòu)成部件主要包括四個模塊:在線數(shù)據(jù)檢測、離線??、
?山東大學(xué)碩士學(xué)位論文???據(jù)流處理。??本模塊的用例圖如圖2-2所示。??大a;數(shù)據(jù)處埋仃務(wù)調(diào)度??資源巧)???includs>>????include??-?-??《include〉〉??從節(jié)??用戶? ̄^?一^??(^D〇cker951^\?_?-??點源識別)???iaclude???圖2-2天文數(shù)據(jù)處理任務(wù)調(diào)度用例圖??節(jié)點選取的剩余資源判斷功能的用例描述表如表2-4所示??表24剩余資源判斷用例描述表??用例名稱?|剩余資源判斷?|用例類型?|業(yè)務(wù)用例??主要業(yè)務(wù)參與f系統(tǒng)用戶???ll例描述?用戶登錄系統(tǒng),在各從節(jié)點選擇出剩余資源最多的節(jié)點?? ̄ ̄前置條件?"目前處理的觀測記錄在集群中不存在與之對應(yīng)的處理節(jié)點??_?1.進入剩余資源判斷功能??2.主節(jié)點向各從節(jié)點發(fā)送查看系統(tǒng)資源命令??}?3.從節(jié)點把本地的可用內(nèi)存大小發(fā)送給主節(jié)點進程??^?4.采用快速排序法對節(jié)點剩余資源數(shù)進行排序??5.返回剩余內(nèi)存資源最多的子節(jié)點機器名???6.用例終止???If展事件流—無??1置條件?"剩余資源判斷執(zhí)行成功??"實現(xiàn)約束和說明|完成操作后,數(shù)據(jù)處理流程運行無誤??檢測結(jié)果收集功能的用例描述表如表2-5所示。??表2-5檢測結(jié)果收集功能的用例描述??If]例名稱?|檢測結(jié)果收集?|用例類型?|業(yè)務(wù)用例??主耍業(yè)務(wù)參與f系統(tǒng)川戶???If]例描述?|主節(jié)點收集檢測出的灃常天文數(shù)據(jù)并匯總??15??
?山東大學(xué)碩士學(xué)位論文???茳線大文異常檢測???inciuds>>???iRclude???現(xiàn)象??用戶??<Unclude???(在線檢鍘?J??—?—??*■* ̄ ̄???stend>>??---*?■? ̄-- ̄??線異常檢^)??圖2-3在線天文異常檢測用例圖??組件安裝功能的用例描述表如表2-6所示。??表2-6組件安裝功能的用例描述??ll例名稱?|組件安裝?|用例類型?丨業(yè)務(wù)用例??主要業(yè)務(wù)參與f系統(tǒng)用戶??? ̄ ̄用例描述?^從節(jié)點上采用Docker搭建相關(guān)組件??前置條件?^從節(jié)點完成相關(guān)環(huán)境的配置??1.檢查Docker內(nèi)包含的組件種類??2.檢查機器可用空間??^?3.構(gòu)建各組件所需的依賴關(guān)系??4.按順序幵始軟件安裝??5.建立新Docker與主節(jié)點的通信???6.用例終止???If?展事件流?無??1§置條件?組件安裝執(zhí)行成功??^實現(xiàn)約束和說明|完成操作后,數(shù)據(jù)處理流程運行無誤??數(shù)據(jù)驅(qū)動在線異常檢測功能的用例描述表如下表所示。??表2-7數(shù)據(jù)驅(qū)動在線異常檢測功能的用例描述??IfH列名稱?|數(shù)據(jù)驅(qū)動在線異常檢測|用例類型?|業(yè)務(wù)用例??主要業(yè)備參與f系統(tǒng)用戶???3例描述? ̄采用數(shù)據(jù)驅(qū)動方法執(zhí)行在線異常檢測??Ijf罝條件?觀測數(shù)據(jù)傳輸?shù)皆诰異常檢測框架??—"1.提取數(shù)據(jù)流中的亮度值屬性所在的列??2.利用采樣數(shù)據(jù)構(gòu)建正態(tài)分布模型??3.當(dāng)前時刻亮度值與模型對比i十算:概率??幕本車件流??4.對于高于95%異常概率的亮度值數(shù)據(jù)認(rèn)定為異常??5.把異常數(shù)據(jù)記錄發(fā)送給主節(jié)點匯總???|?6.用例終止
【參考文獻】:
期刊論文
[1]基于WCS的FITS圖像天球定位綜述及通用可視化研究[J]. 宋文明,樊東衛(wèi),蘇麗穎,崔辰州. 天文學(xué)報. 2017(06)
[2]天文瞬變源快速自動識別系統(tǒng)的研究與實現(xiàn)[J]. 吳潮,馬冬,田?,李鄉(xiāng)儒,魏建彥. 自動化學(xué)報. 2017(12)
[3]天文大數(shù)據(jù)挑戰(zhàn)與實時處理技術(shù)[J]. 楊晨,翁祖建,孟小峰,任瑋,忻日輝,王春凱,都志輝,萬萌,魏建彥. 計算機研究與發(fā)展. 2017(02)
[4]大視場光學(xué)瞬變源認(rèn)證系統(tǒng)的設(shè)計與實現(xiàn)[J]. 馬冬,吳潮,田海俊,魏建彥. 天文研究與技術(shù). 2016(02)
[5]天文大數(shù)據(jù)管理工具的設(shè)計與實現(xiàn)[J]. 鐘守波,韓波,張彥霞,趙永恒,何勃亮. 天文研究與技術(shù). 2015(04)
[6]天文數(shù)據(jù)庫回顧與展望[J]. 李建,崔辰州,何勃亮,趙永恒,曹子皇,樊東衛(wèi),李長華,諶悅. 天文學(xué)進展. 2013(01)
[7]地球衛(wèi)星運動中坐標(biāo)系附加攝動與參考系選擇問題[J]. 劉林,湯靖師. 空間科學(xué)學(xué)報. 2008(02)
本文編號:3607993
本文鏈接:http://sikaile.net/shoufeilunwen/benkebiyelunwen/3607993.html
最近更新
教材專著