一種基于Map/Reduce分布式計算的恒星光譜分類方法
發(fā)布時間：2021-02-21 19:55
天體光譜中蘊含著非常豐富的天體物理信息,通過對光譜的分析,可以得到天體的物理信息、化學成分以及天體的大氣參數等。隨著LAMOST和SDSS等大規(guī)模巡天望遠鏡的實施,將會產生海量的光譜數據,尤其是LAMOST正式運行后,每個觀測夜產生大約24萬條光譜數據。如此海量的光譜數據對光譜的快速有效的處理提出了更高的要求。恒星光譜的自動分類是光譜處理的一項基本內容,該研究主要工作就是研究海量恒星光譜的自動分類技術。Lick線指數是在天體光譜上定義的一組用以描述光譜中譜線強度的標準指數,代表光譜的物理特性,以每個線指數最突出的吸收線命名,是一個相對較寬的光譜特征。研究了基于Lick線指數的貝葉斯光譜分類方法,對F,G,K三類恒星進行分類。首先,計算各類光譜的Lick線指數作為特征向量,然后利用貝葉斯分類算法對三類恒星進行分類。針對海量光譜的情況,基于Hadoop平臺實現了Lick線指數的計算,以及利用貝葉斯決策進行光譜分類的方法。利用HadoopHDFS高吞吐率和高容錯性的特點,結合Hadoop MapReduce編程模型的并行優(yōu)勢,提高了對大規(guī)模光譜數據的分析和處理效率。該研...
【文章來源】：光譜學與光譜分析. 2016,36(08)北大核心
【文章頁數】：4 頁
【部分圖文】：
圖１三種類型光譜在不同核窗寬度下的??貝葉斯分類準確率比較??
ｅｎ窗法對類條件概率密度進行估計時，窗寬和?單機模式?４?４８５??核函數的選擇會對估計效果有影響。由于高斯核函數（又稱?集群＾式?＾???為正態(tài)分布函數）具有連續(xù)性，利用Ｐａｒｚｅｎ窗法計算概率密??度函數時是通過對高斯麵細加和翻的，因此計算出來??的概率密度函數也具有連續(xù)性，相應的概率密度曲線也更光Ｍ會對估計效果街影響。本文在［〇．丄’２．０］范圍內’以０＿?１??滑，因此本文選擇高臟函數作為核函數?Ｍ長’對不同＿寬進行了分類實驗’?＿的分類正＿??，?，?如圖１所示。??ＫＵ）?＝７ｌｆＸＰ（—（５）?０．９２＾??本節(jié)使用的實驗數據是由ＳＤＳＳ發(fā)布的ＤＲ８恒星光譜?穿〇＃＞、一＾二一??數據，選�。�，?Ｇ，?Ｋ三種星型的光譜數據。其中，�。旁氡�?｜?ａ８６＿??為１００的４６６０條光譜數據作為訓練樣本，信噪比大于２０的?■?〇．８４＿??２８４?８７５條光譜數據作為測試樣本。根據第２節(jié)介紹的方法?Ｉ??分別計算出訓練樣本和測試樣本的Ｌｉｃｋ線指數作為本次實?｜Ｑ７８＿?／??驗的輸人數據。?Ｕ?０．７６－?＾??實驗的目標是基于ＭａｐＲｅｄｕｃｅ計算模型實現貝葉斯分?°＇７４�。�?〇：２?〇：４?０：６?０：８?１．０?１：２?１：４?１．６?１：８￣７〇??類，由于對每個測試樣本進行貝葉斯分類的過程是獨立的計?＊??算過程，與其他測試樣本不存在計算順序上的相關性，根據?圖１三種類型光譜在不同核窗寬度下的??ＨＤＦＳ和ＭａｐＲｅｄｕｃｅ計算模型的分布式原理，可以將測試樣?貝葉斯分類準確率比較??本分割后分布在多個節(jié)點上進行貝葉斯決策的計算過程。測?Ｆｉｇ．?１?Ｂａｙｅｓ
ｅｎ窗法對類條件概率密度進行估計時，窗寬和?單機模式?４?４８５??核函數的選擇會對估計效果有影響。由于高斯核函數（又稱?集群＾式?＾???為正態(tài)分布函數）具有連續(xù)性，利用Ｐａｒｚｅｎ窗法計算概率密??度函數時是通過對高斯麵細加和翻的，因此計算出來??的概率密度函數也具有連續(xù)性，相應的概率密度曲線也更光Ｍ會對估計效果街影響。本文在［〇．丄’２．０］范圍內’以０＿?１??滑，因此本文選擇高臟函數作為核函數?Ｍ長’對不同＿寬進行了分類實驗’?＿的分類正＿??，?，?如圖１所示。??ＫＵ）?＝７ｌｆＸＰ（—（５）?０．９２＾??本節(jié)使用的實驗數據是由ＳＤＳＳ發(fā)布的ＤＲ８恒星光譜?穿〇＃＞、一＾二一??數據，選�。�，?Ｇ，?Ｋ三種星型的光譜數據。其中，�。旁氡�?｜?ａ８６＿??為１００的４６６０條光譜數據作為訓練樣本，信噪比大于２０的?■?〇．８４＿??２８４?８７５條光譜數據作為測試樣本。根據第２節(jié)介紹的方法?Ｉ??分別計算出訓練樣本和測試樣本的Ｌｉｃｋ線指數作為本次實?｜Ｑ７８＿?／??驗的輸人數據。?Ｕ?０．７６－?＾??實驗的目標是基于ＭａｐＲｅｄｕｃｅ計算模型實現貝葉斯分?°＇７４�。�?〇：２?〇：４?０：６?０：８?１．０?１：２?１：４?１．６?１：８￣７〇??類，由于對每個測試樣本進行貝葉斯分類的過程是獨立的計?＊??算過程，與其他測試樣本不存在計算順序上的相關性，根據?圖１三種類型光譜在不同核窗寬度下的??ＨＤＦＳ和ＭａｐＲｅｄｕｃｅ計算模型的分布式原理，可以將測試樣?貝葉斯分類準確率比較??本分割后分布在多個節(jié)點上進行貝葉斯決策的計算過程。測?Ｆｉｇ．?１?Ｂａｙｅｓ
【參考文獻】：
期刊論文
[1]Search for carbon stars and DZ white dwarfs in SDSS spectra survey through machine learning[J]. SI JianMin,LUO ALi,LI YinBi,ZHANG JianNan,WEI Peng,WU YiHong,WU FuChao,ZHAO YongHeng. Science China（Physics,Mechanics & Astronomy）. 2014(01)
[2]The Large Sky Area Multi-Object Fiber Spectroscopic Telescope （LAMOST）[J]. Xiang-Qun Cui2, Yong-Heng Zhao1, Yao-Quan Chu3, Guo-Ping Li2, Qi Li1, Li-Ping Zhang2, Hong-Jun Su1, Zheng-Qiu Yao2, Ya-Nan Wang2, Xiao-Zheng Xing3, Xin-Nan Li2, Yong-Tian Zhu2, Gang Wang1, Bo-Zhong Gu2, A-Li Luo1, Xin-Qi Xu2, Zhen-Chao Zhang2, Gen-Rong Liu2, Hao-Tong Zhang1, De-Hua Yang2, Shu-Yun Cao1, Hai-Yuan Chen2, Jian-Jun Chen1, Kun-Xin Chen2, Ying Chen1, Jia-Ru Chu3, Lei Feng1, Xue-Fei Gong2, Yong-Hui Hou2, Hong-Zhuan Hu3, Ning-Sheng Hu2, Zhong-Wen Hu2, Lei Jia1, Fang-Hua Jiang2, Xiang Jiang2, Zi-Bo Jiang2, Ge Jin3, Ai-Hua Li2, Yan Li4, Ye-Ping Li2, Guan-Qun Liu2, Zhi-Gang Liu3, Wen-Zhi Lu2, Yin-Dun Mao4, Li Men1, Yong-Jun Qi2, Zhao-Xiang Qi4, Huo-Ming Shi1, Zheng-Hong Tang4, Qing-Sheng Tao2, Da-Qi Wang1, Dan Wang1, Guo-Min Wang2, Hai Wang2, Jia-Ning Wang2, Jian Wang3, Jian-Ling Wang1, Jian-Ping Wang3, Lei Wang2, Shu-Qing Wang1, You Wang2, Yue-Fei Wang2, Ling-Zhe Xu2, Yan Xu1, Shi-Hai Yang2, Yong Yu4, Hui Yuan1, Xiang-Yan Yuan2, Chao Zhai3, Jing Zhang5, Yan-Xia Zhang1, Yong Zhang2, Ming Zhao4, Fang Zhou2, Guo-Hua Zhou2, Jie Zhu2 and Si-Cheng Zou1 1 National Astronomical Observatories, Chinese Academy of Sciences, Beijing 100012, China; 2 Nanjing Institute of Astronomical Optics and Technology, National Astronomical Observatories, Chinese Academy of Sciences, Nanjing 210042, China 3 University of Science and Technology of China, Hefei 230026, China 4 Shanghai Astronomical Observatory, Chinese Academy of Sciences, Shanghai 200030, China 5 Institute of Architecture Design and Research, Chinese Academy of Sciences, Beijing 100190, China. Research in Astronomy and Astrophysics. 2012(09)
[3]LAMOST Experiment for Galactic Understanding and Exploration （LEGUE）——The survey’s science plan[J]. Heidi Jo Newberg,Jeffrey L. Carlin,Timothy C. Beers,Norbert Christlieb,Carl J. Grillmair,Puragra Guhathakurta,Hsu-Tai Lee,Sbastien Lpine,J. A. Sellwood,Brian Yanny. Research in Astronomy and Astrophysics. 2012(07)
本文編號：3044839
【文章來源】：光譜學與光譜分析. 2016,36(08)北大核心
【文章頁數】：4 頁
【部分圖文】：
圖１三種類型光譜在不同核窗寬度下的??貝葉斯分類準確率比較??
ｅｎ窗法對類條件概率密度進行估計時，窗寬和?單機模式?４?４８５??核函數的選擇會對估計效果有影響。由于高斯核函數（又稱?集群＾式?＾???為正態(tài)分布函數）具有連續(xù)性，利用Ｐａｒｚｅｎ窗法計算概率密??度函數時是通過對高斯麵細加和翻的，因此計算出來??的概率密度函數也具有連續(xù)性，相應的概率密度曲線也更光Ｍ會對估計效果街影響。本文在［〇．丄’２．０］范圍內’以０＿?１??滑，因此本文選擇高臟函數作為核函數?Ｍ長’對不同＿寬進行了分類實驗’?＿的分類正＿??，?，?如圖１所示。??ＫＵ）?＝７ｌｆＸＰ（—（５）?０．９２＾??本節(jié)使用的實驗數據是由ＳＤＳＳ發(fā)布的ＤＲ８恒星光譜?穿〇＃＞、一＾二一??數據，選�。�，?Ｇ，?Ｋ三種星型的光譜數據。其中，�。旁氡�?｜?ａ８６＿??為１００的４６６０條光譜數據作為訓練樣本，信噪比大于２０的?■?〇．８４＿??２８４?８７５條光譜數據作為測試樣本。根據第２節(jié)介紹的方法?Ｉ??分別計算出訓練樣本和測試樣本的Ｌｉｃｋ線指數作為本次實?｜Ｑ７８＿?／??驗的輸人數據。?Ｕ?０．７６－?＾??實驗的目標是基于ＭａｐＲｅｄｕｃｅ計算模型實現貝葉斯分?°＇７４�。�?〇：２?〇：４?０：６?０：８?１．０?１：２?１：４?１．６?１：８￣７〇??類，由于對每個測試樣本進行貝葉斯分類的過程是獨立的計?＊??算過程，與其他測試樣本不存在計算順序上的相關性，根據?圖１三種類型光譜在不同核窗寬度下的??ＨＤＦＳ和ＭａｐＲｅｄｕｃｅ計算模型的分布式原理，可以將測試樣?貝葉斯分類準確率比較??本分割后分布在多個節(jié)點上進行貝葉斯決策的計算過程。測?Ｆｉｇ．?１?Ｂａｙｅｓ
ｅｎ窗法對類條件概率密度進行估計時，窗寬和?單機模式?４?４８５??核函數的選擇會對估計效果有影響。由于高斯核函數（又稱?集群＾式?＾???為正態(tài)分布函數）具有連續(xù)性，利用Ｐａｒｚｅｎ窗法計算概率密??度函數時是通過對高斯麵細加和翻的，因此計算出來??的概率密度函數也具有連續(xù)性，相應的概率密度曲線也更光Ｍ會對估計效果街影響。本文在［〇．丄’２．０］范圍內’以０＿?１??滑，因此本文選擇高臟函數作為核函數?Ｍ長’對不同＿寬進行了分類實驗’?＿的分類正＿??，?，?如圖１所示。??ＫＵ）?＝７ｌｆＸＰ（—（５）?０．９２＾??本節(jié)使用的實驗數據是由ＳＤＳＳ發(fā)布的ＤＲ８恒星光譜?穿〇＃＞、一＾二一??數據，選�。�，?Ｇ，?Ｋ三種星型的光譜數據。其中，�。旁氡�?｜?ａ８６＿??為１００的４６６０條光譜數據作為訓練樣本，信噪比大于２０的?■?〇．８４＿??２８４?８７５條光譜數據作為測試樣本。根據第２節(jié)介紹的方法?Ｉ??分別計算出訓練樣本和測試樣本的Ｌｉｃｋ線指數作為本次實?｜Ｑ７８＿?／??驗的輸人數據。?Ｕ?０．７６－?＾??實驗的目標是基于ＭａｐＲｅｄｕｃｅ計算模型實現貝葉斯分?°＇７４�。�?〇：２?〇：４?０：６?０：８?１．０?１：２?１：４?１．６?１：８￣７〇??類，由于對每個測試樣本進行貝葉斯分類的過程是獨立的計?＊??算過程，與其他測試樣本不存在計算順序上的相關性，根據?圖１三種類型光譜在不同核窗寬度下的??ＨＤＦＳ和ＭａｐＲｅｄｕｃｅ計算模型的分布式原理，可以將測試樣?貝葉斯分類準確率比較??本分割后分布在多個節(jié)點上進行貝葉斯決策的計算過程。測?Ｆｉｇ．?１?Ｂａｙｅｓ
【參考文獻】：
期刊論文
[1]Search for carbon stars and DZ white dwarfs in SDSS spectra survey through machine learning[J]. SI JianMin,LUO ALi,LI YinBi,ZHANG JianNan,WEI Peng,WU YiHong,WU FuChao,ZHAO YongHeng. Science China（Physics,Mechanics & Astronomy）. 2014(01)
[2]The Large Sky Area Multi-Object Fiber Spectroscopic Telescope （LAMOST）[J]. Xiang-Qun Cui2, Yong-Heng Zhao1, Yao-Quan Chu3, Guo-Ping Li2, Qi Li1, Li-Ping Zhang2, Hong-Jun Su1, Zheng-Qiu Yao2, Ya-Nan Wang2, Xiao-Zheng Xing3, Xin-Nan Li2, Yong-Tian Zhu2, Gang Wang1, Bo-Zhong Gu2, A-Li Luo1, Xin-Qi Xu2, Zhen-Chao Zhang2, Gen-Rong Liu2, Hao-Tong Zhang1, De-Hua Yang2, Shu-Yun Cao1, Hai-Yuan Chen2, Jian-Jun Chen1, Kun-Xin Chen2, Ying Chen1, Jia-Ru Chu3, Lei Feng1, Xue-Fei Gong2, Yong-Hui Hou2, Hong-Zhuan Hu3, Ning-Sheng Hu2, Zhong-Wen Hu2, Lei Jia1, Fang-Hua Jiang2, Xiang Jiang2, Zi-Bo Jiang2, Ge Jin3, Ai-Hua Li2, Yan Li4, Ye-Ping Li2, Guan-Qun Liu2, Zhi-Gang Liu3, Wen-Zhi Lu2, Yin-Dun Mao4, Li Men1, Yong-Jun Qi2, Zhao-Xiang Qi4, Huo-Ming Shi1, Zheng-Hong Tang4, Qing-Sheng Tao2, Da-Qi Wang1, Dan Wang1, Guo-Min Wang2, Hai Wang2, Jia-Ning Wang2, Jian Wang3, Jian-Ling Wang1, Jian-Ping Wang3, Lei Wang2, Shu-Qing Wang1, You Wang2, Yue-Fei Wang2, Ling-Zhe Xu2, Yan Xu1, Shi-Hai Yang2, Yong Yu4, Hui Yuan1, Xiang-Yan Yuan2, Chao Zhai3, Jing Zhang5, Yan-Xia Zhang1, Yong Zhang2, Ming Zhao4, Fang Zhou2, Guo-Hua Zhou2, Jie Zhu2 and Si-Cheng Zou1 1 National Astronomical Observatories, Chinese Academy of Sciences, Beijing 100012, China; 2 Nanjing Institute of Astronomical Optics and Technology, National Astronomical Observatories, Chinese Academy of Sciences, Nanjing 210042, China 3 University of Science and Technology of China, Hefei 230026, China 4 Shanghai Astronomical Observatory, Chinese Academy of Sciences, Shanghai 200030, China 5 Institute of Architecture Design and Research, Chinese Academy of Sciences, Beijing 100190, China. Research in Astronomy and Astrophysics. 2012(09)
[3]LAMOST Experiment for Galactic Understanding and Exploration （LEGUE）——The survey’s science plan[J]. Heidi Jo Newberg,Jeffrey L. Carlin,Timothy C. Beers,Norbert Christlieb,Carl J. Grillmair,Puragra Guhathakurta,Hsu-Tai Lee,Sbastien Lpine,J. A. Sellwood,Brian Yanny. Research in Astronomy and Astrophysics. 2012(07)
本文編號：3044839
本文鏈接：http://sikaile.net/kejilunwen/tianwen/3044839.html
