深度自編碼器的近紅外光譜轉(zhuǎn)移研究
發(fā)布時間:2021-10-16 03:44
近紅外光譜分析中多變量校準模型的建立依賴于校準建模的光譜樣本。然而,近紅外光譜測量環(huán)境的變化會導(dǎo)致同一被測物的光譜樣本的偏移。為了削減光譜偏移后重新建立校準模型的成本,提出一種基于深度自編碼器(DAE)的非線性光譜轉(zhuǎn)移方法,以端到端的形式實現(xiàn)不同測量環(huán)境之間的光譜轉(zhuǎn)移,避免已有的線性光譜轉(zhuǎn)移方法在非線性偏移光譜時效果不佳的情況。該方法在操作前不需要對光譜進行預(yù)處理和特征提取等操作,可以實現(xiàn)原始光譜之間的轉(zhuǎn)移,是首個端到端的非線性光譜轉(zhuǎn)移方法。為了實現(xiàn)光譜空間的有效轉(zhuǎn)移,設(shè)計了一種基于條件概率和參數(shù)最大似然法的誤差函數(shù)懲罰項,結(jié)合梯度反向傳播算法優(yōu)化深度自編碼的網(wǎng)絡(luò)參數(shù)。為了驗證該方法的有效性,引入兩個公共的近紅外光譜數(shù)據(jù)集,分別是藥片數(shù)據(jù)集和玉米數(shù)據(jù)集。利用本方法進行光譜轉(zhuǎn)移的過程主要有:根據(jù)Kennard-Stone(KS)算法分別將兩個數(shù)據(jù)集劃分為校準集、驗證集和測試集;用校準集中的光譜樣本輸入深度自編碼器,根據(jù)設(shè)計的誤差函數(shù)求出誤差,并用反向傳播法迭代訓(xùn)練網(wǎng)絡(luò)參數(shù),直至模型最優(yōu);將預(yù)測集樣本輸入訓(xùn)練好的DAE轉(zhuǎn)移模型,可以發(fā)現(xiàn)轉(zhuǎn)移后的光譜與相應(yīng)的目標(biāo)光譜譜線基本重合,這說明該設(shè)計...
【文章來源】:光譜學(xué)與光譜分析. 2020,40(07)北大核心EISCICSCD
【文章頁數(shù)】:6 頁
【部分圖文】:
具有三層隱藏層的深度自編碼器
針對藥片數(shù)據(jù)集和玉米數(shù)據(jù)集, 我們分別設(shè)計了兩個編碼器層數(shù)為四層的深度自編碼器網(wǎng)絡(luò), 結(jié)構(gòu)分別的[597 400 200 100 200 400 597]和[700 350 175 80 175 350 700]。 因此, 輸入的儀器一的藥片光譜維度, 經(jīng)過編碼器從597逐步變?yōu)?00, 200, 100, 再經(jīng)過對稱的解碼器, 從維度100逐步變?yōu)?00, 400, 597的輸出光譜, 輸出的維度為597的光譜即為我們所需的符合儀器二樣本分布空間的光譜。 自編碼器的損失函數(shù)和參數(shù)優(yōu)化方式根據(jù)式(8)和式(9)獲得。 進行藥片數(shù)據(jù)集光譜轉(zhuǎn)移的自編碼器網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。 玉米數(shù)據(jù)集的樣本也同上進行光譜的轉(zhuǎn)移。我們使用sigmoid激活函數(shù)來限制每層神經(jīng)元的輸出接近于0。 經(jīng)過多次代碼的運行, 確定將式(8)中的懲罰系數(shù)λ設(shè)置為0.01, 將式(9)中的學(xué)習(xí)率α設(shè)置為0.001, 迭代訓(xùn)練5 000個回合后, 模型收斂, 并達到最佳的轉(zhuǎn)移光譜的效果。
進行光譜轉(zhuǎn)移是為了將偏移的光譜進行轉(zhuǎn)移后, 直接應(yīng)用于已建立的多變量校準模型中, 來獲得有效的定性定量分析結(jié)果。 因此, 為了進一步研究本方法的有效性, 將本方法與經(jīng)典的線性轉(zhuǎn)移方法PDS和SST算法中得到的轉(zhuǎn)移光譜分別作為測試樣本輸入已建立的多變量校準模型, 通過比較多變量模型輸出的均方根誤差(RMSEP)來驗證轉(zhuǎn)移的效果。 多變量校準模型通過經(jīng)典的偏最小二乘法(PLS)算法建立[18]。 通過7次交叉驗證, 確定了PLS模型中潛在變量(nLV)的最優(yōu)數(shù)量。 如表1和表2所示, 顯然, 當(dāng)用一臺儀器的校準集光譜建立的模型直接預(yù)測另一臺儀器的光譜, 效果很差。 但當(dāng)三種方法得到的轉(zhuǎn)移光譜被預(yù)測時, RMSEP顯著降低。 通過對三種方法的比較, 本方法得到的轉(zhuǎn)移光譜在原校準模型中的表現(xiàn)略優(yōu)于常用的SST和PDS方法。 不管是哪兩臺光譜儀之間的相互轉(zhuǎn)移, 均得到了類似的結(jié)果。表1 藥片數(shù)據(jù)集進行光譜轉(zhuǎn)移后, 轉(zhuǎn)移光譜 在多變量校準模型中的RMSEPTable 1 RMSEP of transferred tablet spectrum in a multivariate calibration model 建模光譜 驗證光譜 參數(shù) RMSEP A1 A1 nLV=8 2.893 3 A2 nLV=8 8.875 A2 to A1(PDS) w=15, nLV=6 3.712 2 A2 to A1(SST) nPC=4 3.654 4 A2 to A1(DAE) λ=0.01, α=0.001 3.472 9 A2 A2 nLV=9 2.971 4 A1 nLV=9 6.068 7 A1 to A2(PDS) w=15, nLV=6 3.764 9 A1 to A2(SST) nPC=4 3.861 7 A1 to A2(DAE) λ=0.01, α=0.001 3.578 1 注: nLV: 偏最小二乘法(PLS)的潛變量個數(shù); w: PDS中選用的窗口尺寸; nPC: SST算法中選取的主成分個數(shù)Note: nLV: Number of latent variables in PLS; w: Window size used in PDS; nPC: Number of principal components in SST
本文編號:3439080
【文章來源】:光譜學(xué)與光譜分析. 2020,40(07)北大核心EISCICSCD
【文章頁數(shù)】:6 頁
【部分圖文】:
具有三層隱藏層的深度自編碼器
針對藥片數(shù)據(jù)集和玉米數(shù)據(jù)集, 我們分別設(shè)計了兩個編碼器層數(shù)為四層的深度自編碼器網(wǎng)絡(luò), 結(jié)構(gòu)分別的[597 400 200 100 200 400 597]和[700 350 175 80 175 350 700]。 因此, 輸入的儀器一的藥片光譜維度, 經(jīng)過編碼器從597逐步變?yōu)?00, 200, 100, 再經(jīng)過對稱的解碼器, 從維度100逐步變?yōu)?00, 400, 597的輸出光譜, 輸出的維度為597的光譜即為我們所需的符合儀器二樣本分布空間的光譜。 自編碼器的損失函數(shù)和參數(shù)優(yōu)化方式根據(jù)式(8)和式(9)獲得。 進行藥片數(shù)據(jù)集光譜轉(zhuǎn)移的自編碼器網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。 玉米數(shù)據(jù)集的樣本也同上進行光譜的轉(zhuǎn)移。我們使用sigmoid激活函數(shù)來限制每層神經(jīng)元的輸出接近于0。 經(jīng)過多次代碼的運行, 確定將式(8)中的懲罰系數(shù)λ設(shè)置為0.01, 將式(9)中的學(xué)習(xí)率α設(shè)置為0.001, 迭代訓(xùn)練5 000個回合后, 模型收斂, 并達到最佳的轉(zhuǎn)移光譜的效果。
進行光譜轉(zhuǎn)移是為了將偏移的光譜進行轉(zhuǎn)移后, 直接應(yīng)用于已建立的多變量校準模型中, 來獲得有效的定性定量分析結(jié)果。 因此, 為了進一步研究本方法的有效性, 將本方法與經(jīng)典的線性轉(zhuǎn)移方法PDS和SST算法中得到的轉(zhuǎn)移光譜分別作為測試樣本輸入已建立的多變量校準模型, 通過比較多變量模型輸出的均方根誤差(RMSEP)來驗證轉(zhuǎn)移的效果。 多變量校準模型通過經(jīng)典的偏最小二乘法(PLS)算法建立[18]。 通過7次交叉驗證, 確定了PLS模型中潛在變量(nLV)的最優(yōu)數(shù)量。 如表1和表2所示, 顯然, 當(dāng)用一臺儀器的校準集光譜建立的模型直接預(yù)測另一臺儀器的光譜, 效果很差。 但當(dāng)三種方法得到的轉(zhuǎn)移光譜被預(yù)測時, RMSEP顯著降低。 通過對三種方法的比較, 本方法得到的轉(zhuǎn)移光譜在原校準模型中的表現(xiàn)略優(yōu)于常用的SST和PDS方法。 不管是哪兩臺光譜儀之間的相互轉(zhuǎn)移, 均得到了類似的結(jié)果。表1 藥片數(shù)據(jù)集進行光譜轉(zhuǎn)移后, 轉(zhuǎn)移光譜 在多變量校準模型中的RMSEPTable 1 RMSEP of transferred tablet spectrum in a multivariate calibration model 建模光譜 驗證光譜 參數(shù) RMSEP A1 A1 nLV=8 2.893 3 A2 nLV=8 8.875 A2 to A1(PDS) w=15, nLV=6 3.712 2 A2 to A1(SST) nPC=4 3.654 4 A2 to A1(DAE) λ=0.01, α=0.001 3.472 9 A2 A2 nLV=9 2.971 4 A1 nLV=9 6.068 7 A1 to A2(PDS) w=15, nLV=6 3.764 9 A1 to A2(SST) nPC=4 3.861 7 A1 to A2(DAE) λ=0.01, α=0.001 3.578 1 注: nLV: 偏最小二乘法(PLS)的潛變量個數(shù); w: PDS中選用的窗口尺寸; nPC: SST算法中選取的主成分個數(shù)Note: nLV: Number of latent variables in PLS; w: Window size used in PDS; nPC: Number of principal components in SST
本文編號:3439080
本文鏈接:http://sikaile.net/kejilunwen/dianzigongchenglunwen/3439080.html
最近更新
教材專著