一種基于Map/Reduce分布式計(jì)算的恒星光譜分類方法
發(fā)布時間：2021-02-21 19:55
天體光譜中蘊(yùn)含著非常豐富的天體物理信息,通過對光譜的分析,可以得到天體的物理信息、化學(xué)成分以及天體的大氣參數(shù)等。隨著LAMOST和SDSS等大規(guī)模巡天望遠(yuǎn)鏡的實(shí)施,將會產(chǎn)生海量的光譜數(shù)據(jù),尤其是LAMOST正式運(yùn)行后,每個觀測夜產(chǎn)生大約24萬條光譜數(shù)據(jù)。如此海量的光譜數(shù)據(jù)對光譜的快速有效的處理提出了更高的要求。恒星光譜的自動分類是光譜處理的一項(xiàng)基本內(nèi)容,該研究主要工作就是研究海量恒星光譜的自動分類技術(shù)。Lick線指數(shù)是在天體光譜上定義的一組用以描述光譜中譜線強(qiáng)度的標(biāo)準(zhǔn)指數(shù),代表光譜的物理特性,以每個線指數(shù)最突出的吸收線命名,是一個相對較寬的光譜特征。研究了基于Lick線指數(shù)的貝葉斯光譜分類方法,對F,G,K三類恒星進(jìn)行分類。首先,計(jì)算各類光譜的Lick線指數(shù)作為特征向量,然后利用貝葉斯分類算法對三類恒星進(jìn)行分類。針對海量光譜的情況,基于Hadoop平臺實(shí)現(xiàn)了Lick線指數(shù)的計(jì)算,以及利用貝葉斯決策進(jìn)行光譜分類的方法。利用HadoopHDFS高吞吐率和高容錯性的特點(diǎn),結(jié)合Hadoop MapReduce編程模型的并行優(yōu)勢,提高了對大規(guī)模光譜數(shù)據(jù)的分析和處理效率。該研...
【文章來源】：光譜學(xué)與光譜分析. 2016,36(08)北大核心
【文章頁數(shù)】：4 頁
【部分圖文】：
圖１三種類型光譜在不同核窗寬度下的??貝葉斯分類準(zhǔn)確率比較??
ｅｎ窗法對類條件概率密度進(jìn)行估計(jì)時，窗寬和?單機(jī)模式?４?４８５??核函數(shù)的選擇會對估計(jì)效果有影響。由于高斯核函數(shù)（又稱?集群＾式?＾???為正態(tài)分布函數(shù)）具有連續(xù)性，利用Ｐａｒｚｅｎ窗法計(jì)算概率密??度函數(shù)時是通過對高斯麵細(xì)加和翻的，因此計(jì)算出來??的概率密度函數(shù)也具有連續(xù)性，相應(yīng)的概率密度曲線也更光Ｍ會對估計(jì)效果街影響。本文在［〇．丄’２．０］范圍內(nèi)’以０＿?１??滑，因此本文選擇高臟函數(shù)作為核函數(shù)?Ｍ長’對不同＿寬進(jìn)行了分類實(shí)驗(yàn)’?＿的分類正＿??，?，?如圖１所示。??ＫＵ）?＝７ｌｆＸＰ（—（５）?０．９２＾??本節(jié)使用的實(shí)驗(yàn)數(shù)據(jù)是由ＳＤＳＳ發(fā)布的ＤＲ８恒星光譜?穿〇＃＞、一＾二一??數(shù)據(jù)，選�。疲�?Ｇ，?Ｋ三種星型的光譜數(shù)據(jù)。其中，取＇信噪比?｜?ａ８６＿??為１００的４６６０條光譜數(shù)據(jù)作為訓(xùn)練樣本，信噪比大于２０的?■?〇．８４＿??２８４?８７５條光譜數(shù)據(jù)作為測試樣本。根據(jù)第２節(jié)介紹的方法?Ｉ??分別計(jì)算出訓(xùn)練樣本和測試樣本的Ｌｉｃｋ線指數(shù)作為本次實(shí)?｜Ｑ７８＿?／??驗(yàn)的輸人數(shù)據(jù)。?Ｕ?０．７６－?＾??實(shí)驗(yàn)的目標(biāo)是基于ＭａｐＲｅｄｕｃｅ計(jì)算模型實(shí)現(xiàn)貝葉斯分?°＇７４！）?〇：２?〇：４?０：６?０：８?１．０?１：２?１：４?１．６?１：８￣７〇??類，由于對每個測試樣本進(jìn)行貝葉斯分類的過程是獨(dú)立的計(jì)?＊??算過程，與其他測試樣本不存在計(jì)算順序上的相關(guān)性，根據(jù)?圖１三種類型光譜在不同核窗寬度下的??ＨＤＦＳ和ＭａｐＲｅｄｕｃｅ計(jì)算模型的分布式原理，可以將測試樣?貝葉斯分類準(zhǔn)確率比較??本分割后分布在多個節(jié)點(diǎn)上進(jìn)行貝葉斯決策的計(jì)算過程。測?Ｆｉｇ．?１?Ｂａｙｅｓ
ｅｎ窗法對類條件概率密度進(jìn)行估計(jì)時，窗寬和?單機(jī)模式?４?４８５??核函數(shù)的選擇會對估計(jì)效果有影響。由于高斯核函數(shù)（又稱?集群＾式?＾???為正態(tài)分布函數(shù)）具有連續(xù)性，利用Ｐａｒｚｅｎ窗法計(jì)算概率密??度函數(shù)時是通過對高斯麵細(xì)加和翻的，因此計(jì)算出來??的概率密度函數(shù)也具有連續(xù)性，相應(yīng)的概率密度曲線也更光Ｍ會對估計(jì)效果街影響。本文在［〇．丄’２．０］范圍內(nèi)’以０＿?１??滑，因此本文選擇高臟函數(shù)作為核函數(shù)?Ｍ長’對不同＿寬進(jìn)行了分類實(shí)驗(yàn)’?＿的分類正＿??，?，?如圖１所示。??ＫＵ）?＝７ｌｆＸＰ（—（５）?０．９２＾??本節(jié)使用的實(shí)驗(yàn)數(shù)據(jù)是由ＳＤＳＳ發(fā)布的ＤＲ８恒星光譜?穿〇＃＞、一＾二一??數(shù)據(jù)，選取Ｆ，?Ｇ，?Ｋ三種星型的光譜數(shù)據(jù)。其中，�。旁氡�?｜?ａ８６＿??為１００的４６６０條光譜數(shù)據(jù)作為訓(xùn)練樣本，信噪比大于２０的?■?〇．８４＿??２８４?８７５條光譜數(shù)據(jù)作為測試樣本。根據(jù)第２節(jié)介紹的方法?Ｉ??分別計(jì)算出訓(xùn)練樣本和測試樣本的Ｌｉｃｋ線指數(shù)作為本次實(shí)?｜Ｑ７８＿?／??驗(yàn)的輸人數(shù)據(jù)。?Ｕ?０．７６－?＾??實(shí)驗(yàn)的目標(biāo)是基于ＭａｐＲｅｄｕｃｅ計(jì)算模型實(shí)現(xiàn)貝葉斯分?°＇７４�。�?〇：２?〇：４?０：６?０：８?１．０?１：２?１：４?１．６?１：８￣７〇??類，由于對每個測試樣本進(jìn)行貝葉斯分類的過程是獨(dú)立的計(jì)?＊??算過程，與其他測試樣本不存在計(jì)算順序上的相關(guān)性，根據(jù)?圖１三種類型光譜在不同核窗寬度下的??ＨＤＦＳ和ＭａｐＲｅｄｕｃｅ計(jì)算模型的分布式原理，可以將測試樣?貝葉斯分類準(zhǔn)確率比較??本分割后分布在多個節(jié)點(diǎn)上進(jìn)行貝葉斯決策的計(jì)算過程。測?Ｆｉｇ．?１?Ｂａｙｅｓ
【參考文獻(xiàn)】：
期刊論文
[1]Search for carbon stars and DZ white dwarfs in SDSS spectra survey through machine learning[J]. SI JianMin,LUO ALi,LI YinBi,ZHANG JianNan,WEI Peng,WU YiHong,WU FuChao,ZHAO YongHeng. Science China（Physics,Mechanics & Astronomy）. 2014(01)
[2]The Large Sky Area Multi-Object Fiber Spectroscopic Telescope （LAMOST）[J]. Xiang-Qun Cui2, Yong-Heng Zhao1, Yao-Quan Chu3, Guo-Ping Li2, Qi Li1, Li-Ping Zhang2, Hong-Jun Su1, Zheng-Qiu Yao2, Ya-Nan Wang2, Xiao-Zheng Xing3, Xin-Nan Li2, Yong-Tian Zhu2, Gang Wang1, Bo-Zhong Gu2, A-Li Luo1, Xin-Qi Xu2, Zhen-Chao Zhang2, Gen-Rong Liu2, Hao-Tong Zhang1, De-Hua Yang2, Shu-Yun Cao1, Hai-Yuan Chen2, Jian-Jun Chen1, Kun-Xin Chen2, Ying Chen1, Jia-Ru Chu3, Lei Feng1, Xue-Fei Gong2, Yong-Hui Hou2, Hong-Zhuan Hu3, Ning-Sheng Hu2, Zhong-Wen Hu2, Lei Jia1, Fang-Hua Jiang2, Xiang Jiang2, Zi-Bo Jiang2, Ge Jin3, Ai-Hua Li2, Yan Li4, Ye-Ping Li2, Guan-Qun Liu2, Zhi-Gang Liu3, Wen-Zhi Lu2, Yin-Dun Mao4, Li Men1, Yong-Jun Qi2, Zhao-Xiang Qi4, Huo-Ming Shi1, Zheng-Hong Tang4, Qing-Sheng Tao2, Da-Qi Wang1, Dan Wang1, Guo-Min Wang2, Hai Wang2, Jia-Ning Wang2, Jian Wang3, Jian-Ling Wang1, Jian-Ping Wang3, Lei Wang2, Shu-Qing Wang1, You Wang2, Yue-Fei Wang2, Ling-Zhe Xu2, Yan Xu1, Shi-Hai Yang2, Yong Yu4, Hui Yuan1, Xiang-Yan Yuan2, Chao Zhai3, Jing Zhang5, Yan-Xia Zhang1, Yong Zhang2, Ming Zhao4, Fang Zhou2, Guo-Hua Zhou2, Jie Zhu2 and Si-Cheng Zou1 1 National Astronomical Observatories, Chinese Academy of Sciences, Beijing 100012, China; 2 Nanjing Institute of Astronomical Optics and Technology, National Astronomical Observatories, Chinese Academy of Sciences, Nanjing 210042, China 3 University of Science and Technology of China, Hefei 230026, China 4 Shanghai Astronomical Observatory, Chinese Academy of Sciences, Shanghai 200030, China 5 Institute of Architecture Design and Research, Chinese Academy of Sciences, Beijing 100190, China. Research in Astronomy and Astrophysics. 2012(09)
[3]LAMOST Experiment for Galactic Understanding and Exploration （LEGUE）——The survey’s science plan[J]. Heidi Jo Newberg,Jeffrey L. Carlin,Timothy C. Beers,Norbert Christlieb,Carl J. Grillmair,Puragra Guhathakurta,Hsu-Tai Lee,Sbastien Lpine,J. A. Sellwood,Brian Yanny. Research in Astronomy and Astrophysics. 2012(07)
本文編號：3044839
【文章來源】：光譜學(xué)與光譜分析. 2016,36(08)北大核心
【文章頁數(shù)】：4 頁
【部分圖文】：
圖１三種類型光譜在不同核窗寬度下的??貝葉斯分類準(zhǔn)確率比較??
ｅｎ窗法對類條件概率密度進(jìn)行估計(jì)時，窗寬和?單機(jī)模式?４?４８５??核函數(shù)的選擇會對估計(jì)效果有影響。由于高斯核函數(shù)（又稱?集群＾式?＾???為正態(tài)分布函數(shù)）具有連續(xù)性，利用Ｐａｒｚｅｎ窗法計(jì)算概率密??度函數(shù)時是通過對高斯麵細(xì)加和翻的，因此計(jì)算出來??的概率密度函數(shù)也具有連續(xù)性，相應(yīng)的概率密度曲線也更光Ｍ會對估計(jì)效果街影響。本文在［〇．丄’２．０］范圍內(nèi)’以０＿?１??滑，因此本文選擇高臟函數(shù)作為核函數(shù)?Ｍ長’對不同＿寬進(jìn)行了分類實(shí)驗(yàn)’?＿的分類正＿??，?，?如圖１所示。??ＫＵ）?＝７ｌｆＸＰ（—（５）?０．９２＾??本節(jié)使用的實(shí)驗(yàn)數(shù)據(jù)是由ＳＤＳＳ發(fā)布的ＤＲ８恒星光譜?穿〇＃＞、一＾二一??數(shù)據(jù)，選�。疲�?Ｇ，?Ｋ三種星型的光譜數(shù)據(jù)。其中，取＇信噪比?｜?ａ８６＿??為１００的４６６０條光譜數(shù)據(jù)作為訓(xùn)練樣本，信噪比大于２０的?■?〇．８４＿??２８４?８７５條光譜數(shù)據(jù)作為測試樣本。根據(jù)第２節(jié)介紹的方法?Ｉ??分別計(jì)算出訓(xùn)練樣本和測試樣本的Ｌｉｃｋ線指數(shù)作為本次實(shí)?｜Ｑ７８＿?／??驗(yàn)的輸人數(shù)據(jù)。?Ｕ?０．７６－?＾??實(shí)驗(yàn)的目標(biāo)是基于ＭａｐＲｅｄｕｃｅ計(jì)算模型實(shí)現(xiàn)貝葉斯分?°＇７４！）?〇：２?〇：４?０：６?０：８?１．０?１：２?１：４?１．６?１：８￣７〇??類，由于對每個測試樣本進(jìn)行貝葉斯分類的過程是獨(dú)立的計(jì)?＊??算過程，與其他測試樣本不存在計(jì)算順序上的相關(guān)性，根據(jù)?圖１三種類型光譜在不同核窗寬度下的??ＨＤＦＳ和ＭａｐＲｅｄｕｃｅ計(jì)算模型的分布式原理，可以將測試樣?貝葉斯分類準(zhǔn)確率比較??本分割后分布在多個節(jié)點(diǎn)上進(jìn)行貝葉斯決策的計(jì)算過程。測?Ｆｉｇ．?１?Ｂａｙｅｓ
ｅｎ窗法對類條件概率密度進(jìn)行估計(jì)時，窗寬和?單機(jī)模式?４?４８５??核函數(shù)的選擇會對估計(jì)效果有影響。由于高斯核函數(shù)（又稱?集群＾式?＾???為正態(tài)分布函數(shù)）具有連續(xù)性，利用Ｐａｒｚｅｎ窗法計(jì)算概率密??度函數(shù)時是通過對高斯麵細(xì)加和翻的，因此計(jì)算出來??的概率密度函數(shù)也具有連續(xù)性，相應(yīng)的概率密度曲線也更光Ｍ會對估計(jì)效果街影響。本文在［〇．丄’２．０］范圍內(nèi)’以０＿?１??滑，因此本文選擇高臟函數(shù)作為核函數(shù)?Ｍ長’對不同＿寬進(jìn)行了分類實(shí)驗(yàn)’?＿的分類正＿??，?，?如圖１所示。??ＫＵ）?＝７ｌｆＸＰ（—（５）?０．９２＾??本節(jié)使用的實(shí)驗(yàn)數(shù)據(jù)是由ＳＤＳＳ發(fā)布的ＤＲ８恒星光譜?穿〇＃＞、一＾二一??數(shù)據(jù)，選取Ｆ，?Ｇ，?Ｋ三種星型的光譜數(shù)據(jù)。其中，�。旁氡�?｜?ａ８６＿??為１００的４６６０條光譜數(shù)據(jù)作為訓(xùn)練樣本，信噪比大于２０的?■?〇．８４＿??２８４?８７５條光譜數(shù)據(jù)作為測試樣本。根據(jù)第２節(jié)介紹的方法?Ｉ??分別計(jì)算出訓(xùn)練樣本和測試樣本的Ｌｉｃｋ線指數(shù)作為本次實(shí)?｜Ｑ７８＿?／??驗(yàn)的輸人數(shù)據(jù)。?Ｕ?０．７６－?＾??實(shí)驗(yàn)的目標(biāo)是基于ＭａｐＲｅｄｕｃｅ計(jì)算模型實(shí)現(xiàn)貝葉斯分?°＇７４�。�?〇：２?〇：４?０：６?０：８?１．０?１：２?１：４?１．６?１：８￣７〇??類，由于對每個測試樣本進(jìn)行貝葉斯分類的過程是獨(dú)立的計(jì)?＊??算過程，與其他測試樣本不存在計(jì)算順序上的相關(guān)性，根據(jù)?圖１三種類型光譜在不同核窗寬度下的??ＨＤＦＳ和ＭａｐＲｅｄｕｃｅ計(jì)算模型的分布式原理，可以將測試樣?貝葉斯分類準(zhǔn)確率比較??本分割后分布在多個節(jié)點(diǎn)上進(jìn)行貝葉斯決策的計(jì)算過程。測?Ｆｉｇ．?１?Ｂａｙｅｓ
【參考文獻(xiàn)】：
期刊論文
[1]Search for carbon stars and DZ white dwarfs in SDSS spectra survey through machine learning[J]. SI JianMin,LUO ALi,LI YinBi,ZHANG JianNan,WEI Peng,WU YiHong,WU FuChao,ZHAO YongHeng. Science China（Physics,Mechanics & Astronomy）. 2014(01)
[2]The Large Sky Area Multi-Object Fiber Spectroscopic Telescope （LAMOST）[J]. Xiang-Qun Cui2, Yong-Heng Zhao1, Yao-Quan Chu3, Guo-Ping Li2, Qi Li1, Li-Ping Zhang2, Hong-Jun Su1, Zheng-Qiu Yao2, Ya-Nan Wang2, Xiao-Zheng Xing3, Xin-Nan Li2, Yong-Tian Zhu2, Gang Wang1, Bo-Zhong Gu2, A-Li Luo1, Xin-Qi Xu2, Zhen-Chao Zhang2, Gen-Rong Liu2, Hao-Tong Zhang1, De-Hua Yang2, Shu-Yun Cao1, Hai-Yuan Chen2, Jian-Jun Chen1, Kun-Xin Chen2, Ying Chen1, Jia-Ru Chu3, Lei Feng1, Xue-Fei Gong2, Yong-Hui Hou2, Hong-Zhuan Hu3, Ning-Sheng Hu2, Zhong-Wen Hu2, Lei Jia1, Fang-Hua Jiang2, Xiang Jiang2, Zi-Bo Jiang2, Ge Jin3, Ai-Hua Li2, Yan Li4, Ye-Ping Li2, Guan-Qun Liu2, Zhi-Gang Liu3, Wen-Zhi Lu2, Yin-Dun Mao4, Li Men1, Yong-Jun Qi2, Zhao-Xiang Qi4, Huo-Ming Shi1, Zheng-Hong Tang4, Qing-Sheng Tao2, Da-Qi Wang1, Dan Wang1, Guo-Min Wang2, Hai Wang2, Jia-Ning Wang2, Jian Wang3, Jian-Ling Wang1, Jian-Ping Wang3, Lei Wang2, Shu-Qing Wang1, You Wang2, Yue-Fei Wang2, Ling-Zhe Xu2, Yan Xu1, Shi-Hai Yang2, Yong Yu4, Hui Yuan1, Xiang-Yan Yuan2, Chao Zhai3, Jing Zhang5, Yan-Xia Zhang1, Yong Zhang2, Ming Zhao4, Fang Zhou2, Guo-Hua Zhou2, Jie Zhu2 and Si-Cheng Zou1 1 National Astronomical Observatories, Chinese Academy of Sciences, Beijing 100012, China; 2 Nanjing Institute of Astronomical Optics and Technology, National Astronomical Observatories, Chinese Academy of Sciences, Nanjing 210042, China 3 University of Science and Technology of China, Hefei 230026, China 4 Shanghai Astronomical Observatory, Chinese Academy of Sciences, Shanghai 200030, China 5 Institute of Architecture Design and Research, Chinese Academy of Sciences, Beijing 100190, China. Research in Astronomy and Astrophysics. 2012(09)
[3]LAMOST Experiment for Galactic Understanding and Exploration （LEGUE）——The survey’s science plan[J]. Heidi Jo Newberg,Jeffrey L. Carlin,Timothy C. Beers,Norbert Christlieb,Carl J. Grillmair,Puragra Guhathakurta,Hsu-Tai Lee,Sbastien Lpine,J. A. Sellwood,Brian Yanny. Research in Astronomy and Astrophysics. 2012(07)
本文編號：3044839
本文鏈接：http://sikaile.net/kejilunwen/tianwen/3044839.html
教材專著
