基于DenseNet的天體光譜分類方法
發(fā)布時(shí)間:2021-08-15 04:38
天體光譜數(shù)據(jù)的智能處理正由傳統(tǒng)機(jī)器學(xué)習(xí)方法逐步轉(zhuǎn)向深度學(xué)習(xí),主要采用基于計(jì)算機(jī)視覺的技術(shù)手段。基于計(jì)算機(jī)視覺領(lǐng)域廣泛應(yīng)用的DenseNet網(wǎng)絡(luò)結(jié)構(gòu),針對(duì)光譜數(shù)據(jù)進(jìn)行修改,建立了適用于光譜數(shù)據(jù)的一維卷積神經(jīng)網(wǎng)絡(luò)模型,解決天體光譜數(shù)據(jù)分類任務(wù)。在驗(yàn)證數(shù)據(jù)集上,恒星、星系、類星體的F1分?jǐn)?shù)達(dá)到了0.998 7、0.912 7、0.914 7,高于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)。光譜分類關(guān)注區(qū)域的可視化結(jié)果表明,本文模型可以學(xué)習(xí)到各類天體對(duì)應(yīng)的特征譜線,具有較強(qiáng)的可解釋性。本文方法被用于阿里云天池天文數(shù)據(jù)挖掘大賽——天體光譜智能分類,并在843支參賽隊(duì)伍的3次數(shù)據(jù)評(píng)比中獲得了2次第一、1次第三的成績(jī),證明了該模型在保證分類精度的同時(shí),具有極強(qiáng)的魯棒性、泛化性,適用于光譜的自動(dòng)分類。
【文章來(lái)源】:天文研究與技術(shù). 2020,17(01)CSCD
【文章頁(yè)數(shù)】:11 頁(yè)
【部分圖文】:
本文使用的深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。
除最后一個(gè)密集模塊外,所有密集模塊后連接一個(gè)卷積層和一個(gè)池化層。二者的目的都是為了減少計(jì)算量,卷積層從數(shù)據(jù)維度上降低計(jì)算量,池化層從數(shù)據(jù)尺度上降低計(jì)算量,這兩層的連接記為過(guò)渡模塊。但是池化層通過(guò)將兩個(gè)相鄰的數(shù)據(jù)點(diǎn)平均成一個(gè)數(shù)據(jù)點(diǎn),將原始數(shù)據(jù)的尺度變成了原來(lái)的一半,使得不同尺度下密集模塊間不能再進(jìn)行密集型的連接。為了進(jìn)一步增強(qiáng)不同尺度下特征的聯(lián)系和重用,對(duì)原DenseNet結(jié)構(gòu)進(jìn)行改進(jìn),在兩個(gè)過(guò)渡模塊間增加了額外的過(guò)渡模塊跨層連接,如圖2。密集模塊通過(guò)卷積模塊(Conv Block)密集型連接構(gòu)成,如圖3。密集型連接使得在同一個(gè)密集模塊中,所有卷積層的輸入來(lái)源于前面所有層的輸出,加強(qiáng)了不同特征間的聯(lián)系,也緩解了深度神經(jīng)網(wǎng)絡(luò)在訓(xùn)練時(shí)遇到的梯度彌散問題。試驗(yàn)中使用2個(gè)卷積模塊連接。更少的卷積模塊使分類精度下降,更多的卷積模塊不僅不會(huì)帶來(lái)更高的精度提升,而且使計(jì)算量急劇增加。
卷積模塊作為具體的特征提取結(jié)構(gòu),需要對(duì)輸入數(shù)據(jù)進(jìn)行針對(duì)性的構(gòu)建。本文使用的天體光譜數(shù)據(jù)具有發(fā)射線、吸收線等物理特征,由于這些元素的譜線寬度、位置不確定,使用多個(gè)卷積步長(zhǎng)(1、11、25、41)的卷積層分別對(duì)輸入的數(shù)據(jù)進(jìn)行卷積,將得到的不同卷積尺度下的卷積結(jié)果合并到一起后,使用卷積步長(zhǎng)為1的卷積層進(jìn)行不同卷積尺度下的整合,如圖4,使得神經(jīng)網(wǎng)絡(luò)模型可以對(duì)元素譜線進(jìn)行更好的適應(yīng)與學(xué)習(xí)。其中批歸一化(Batch normalization)[6] -特征重標(biāo)定結(jié)構(gòu)(Squeeze-and-Excitation block)[7] -修正線性單元(Rectified Linear Unit)[8]依次連接的處理加在每一次卷積層前。批歸一化和修正線性單元都是為了進(jìn)一步緩解深度神經(jīng)網(wǎng)絡(luò)在訓(xùn)練時(shí)遇到的梯度彌散問題。卷積層前的特征重標(biāo)定結(jié)構(gòu)使神經(jīng)網(wǎng)絡(luò)模型對(duì)產(chǎn)生的新特征進(jìn)行再次選擇。這個(gè)選擇的過(guò)程通過(guò)對(duì)原始特征賦權(quán)重實(shí)現(xiàn)。通過(guò)學(xué)習(xí)的方式自動(dòng)獲取每個(gè)特征的重要程度,然后依照這個(gè)重要程度提升有用的特征,并抑制對(duì)光譜分類任務(wù)用處不大的特征。具體的實(shí)現(xiàn)方式如圖5。原始特征圖通過(guò)全局平局池化轉(zhuǎn)換為點(diǎn)向量,隨后通過(guò)全連接層,輸出每個(gè)特征圖對(duì)應(yīng)的權(quán)重,最后將原始特征圖與該權(quán)重相乘,輸出加權(quán)后的新特征圖。
【參考文獻(xiàn)】:
期刊論文
[1]基于LeNet-5卷積神經(jīng)網(wǎng)絡(luò)的太陽(yáng)黑子檢測(cè)方法[J]. 付小娜,廖成武,白先勇,梁波,馮松,楊洪娟,楊云飛. 天文研究與技術(shù). 2018(03)
[2]基于深度信念網(wǎng)絡(luò)的天體光譜自動(dòng)分類研究[J]. 劉真祥,榮容,許婷婷,周衛(wèi)紅. 云南民族大學(xué)學(xué)報(bào)(自然科學(xué)版). 2017(02)
[3]基于BP神經(jīng)網(wǎng)絡(luò)(自編碼)的恒星大氣物理參數(shù)估計(jì)[J]. 韓帥,李悅. 自動(dòng)化與儀器儀表. 2016(09)
[4]基于深度學(xué)習(xí)技術(shù)的恒星大氣物理參數(shù)自動(dòng)估計(jì)[J]. 潘儒揚(yáng),李鄉(xiāng)儒. 天文學(xué)報(bào). 2016(04)
本文編號(hào):3343868
【文章來(lái)源】:天文研究與技術(shù). 2020,17(01)CSCD
【文章頁(yè)數(shù)】:11 頁(yè)
【部分圖文】:
本文使用的深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。
除最后一個(gè)密集模塊外,所有密集模塊后連接一個(gè)卷積層和一個(gè)池化層。二者的目的都是為了減少計(jì)算量,卷積層從數(shù)據(jù)維度上降低計(jì)算量,池化層從數(shù)據(jù)尺度上降低計(jì)算量,這兩層的連接記為過(guò)渡模塊。但是池化層通過(guò)將兩個(gè)相鄰的數(shù)據(jù)點(diǎn)平均成一個(gè)數(shù)據(jù)點(diǎn),將原始數(shù)據(jù)的尺度變成了原來(lái)的一半,使得不同尺度下密集模塊間不能再進(jìn)行密集型的連接。為了進(jìn)一步增強(qiáng)不同尺度下特征的聯(lián)系和重用,對(duì)原DenseNet結(jié)構(gòu)進(jìn)行改進(jìn),在兩個(gè)過(guò)渡模塊間增加了額外的過(guò)渡模塊跨層連接,如圖2。密集模塊通過(guò)卷積模塊(Conv Block)密集型連接構(gòu)成,如圖3。密集型連接使得在同一個(gè)密集模塊中,所有卷積層的輸入來(lái)源于前面所有層的輸出,加強(qiáng)了不同特征間的聯(lián)系,也緩解了深度神經(jīng)網(wǎng)絡(luò)在訓(xùn)練時(shí)遇到的梯度彌散問題。試驗(yàn)中使用2個(gè)卷積模塊連接。更少的卷積模塊使分類精度下降,更多的卷積模塊不僅不會(huì)帶來(lái)更高的精度提升,而且使計(jì)算量急劇增加。
卷積模塊作為具體的特征提取結(jié)構(gòu),需要對(duì)輸入數(shù)據(jù)進(jìn)行針對(duì)性的構(gòu)建。本文使用的天體光譜數(shù)據(jù)具有發(fā)射線、吸收線等物理特征,由于這些元素的譜線寬度、位置不確定,使用多個(gè)卷積步長(zhǎng)(1、11、25、41)的卷積層分別對(duì)輸入的數(shù)據(jù)進(jìn)行卷積,將得到的不同卷積尺度下的卷積結(jié)果合并到一起后,使用卷積步長(zhǎng)為1的卷積層進(jìn)行不同卷積尺度下的整合,如圖4,使得神經(jīng)網(wǎng)絡(luò)模型可以對(duì)元素譜線進(jìn)行更好的適應(yīng)與學(xué)習(xí)。其中批歸一化(Batch normalization)[6] -特征重標(biāo)定結(jié)構(gòu)(Squeeze-and-Excitation block)[7] -修正線性單元(Rectified Linear Unit)[8]依次連接的處理加在每一次卷積層前。批歸一化和修正線性單元都是為了進(jìn)一步緩解深度神經(jīng)網(wǎng)絡(luò)在訓(xùn)練時(shí)遇到的梯度彌散問題。卷積層前的特征重標(biāo)定結(jié)構(gòu)使神經(jīng)網(wǎng)絡(luò)模型對(duì)產(chǎn)生的新特征進(jìn)行再次選擇。這個(gè)選擇的過(guò)程通過(guò)對(duì)原始特征賦權(quán)重實(shí)現(xiàn)。通過(guò)學(xué)習(xí)的方式自動(dòng)獲取每個(gè)特征的重要程度,然后依照這個(gè)重要程度提升有用的特征,并抑制對(duì)光譜分類任務(wù)用處不大的特征。具體的實(shí)現(xiàn)方式如圖5。原始特征圖通過(guò)全局平局池化轉(zhuǎn)換為點(diǎn)向量,隨后通過(guò)全連接層,輸出每個(gè)特征圖對(duì)應(yīng)的權(quán)重,最后將原始特征圖與該權(quán)重相乘,輸出加權(quán)后的新特征圖。
【參考文獻(xiàn)】:
期刊論文
[1]基于LeNet-5卷積神經(jīng)網(wǎng)絡(luò)的太陽(yáng)黑子檢測(cè)方法[J]. 付小娜,廖成武,白先勇,梁波,馮松,楊洪娟,楊云飛. 天文研究與技術(shù). 2018(03)
[2]基于深度信念網(wǎng)絡(luò)的天體光譜自動(dòng)分類研究[J]. 劉真祥,榮容,許婷婷,周衛(wèi)紅. 云南民族大學(xué)學(xué)報(bào)(自然科學(xué)版). 2017(02)
[3]基于BP神經(jīng)網(wǎng)絡(luò)(自編碼)的恒星大氣物理參數(shù)估計(jì)[J]. 韓帥,李悅. 自動(dòng)化與儀器儀表. 2016(09)
[4]基于深度學(xué)習(xí)技術(shù)的恒星大氣物理參數(shù)自動(dòng)估計(jì)[J]. 潘儒揚(yáng),李鄉(xiāng)儒. 天文學(xué)報(bào). 2016(04)
本文編號(hào):3343868
本文鏈接:http://sikaile.net/kejilunwen/tianwen/3343868.html
最近更新
教材專著