【摘要】：光譜測量是一種常用的物質(zhì)檢測技術(shù),特點是分析速率高、無損耗、綠色低成本且容易實時在線分析。根據(jù)其自身的優(yōu)勢,光譜測量技術(shù)已經(jīng)被廣泛應(yīng)用于醫(yī)藥、農(nóng)業(yè)、化工業(yè)等科學(xué)領(lǐng)域。然而,通過光譜測量得到的數(shù)據(jù)一般具有“高維度、低樣本”的特征,并且譜帶間存在嚴重的重疊問題,使得光譜數(shù)據(jù)較為復(fù)雜,難以直觀地做出分析與判斷�；谶@一問題,本文使用近紅外光譜測量技術(shù),面向多組分分析,重點研究化學(xué)計量學(xué)中的多元回歸方法,利用不同的算法進行建模分析并比較實驗結(jié)果。偏最小二乘是近紅外光譜分析中應(yīng)用最為廣泛的一種算法,它能夠有效克服高維光譜數(shù)據(jù)中的多重相關(guān)性問題,提取有效信息,降低模型中的變量維度。但究其本質(zhì),偏最小二乘算法中的隱變量是原自變量的線性組合,它將所有的原始變量都帶入模型進行預(yù)測分析,從而可能存在無關(guān)或者冗余的變量信息,使得模型相對于原始變量并沒有實現(xiàn)變量選擇,變量信息無法解釋,因此需要引入稀疏化方法,從真正意義上達到變量選擇的效果。本文的研究工作著手于模型稀疏化,從協(xié)方差估計、重加權(quán)和閾值約束三個方面達到對光譜數(shù)據(jù)的波長選擇,除此以外還對樣本進行選擇,利用波長選擇的思想處理樣本選擇問題。主要工作如下:1.本文提出基于稀疏矩陣變換(SMT)的協(xié)方差估計方法,通過具有高度相關(guān)性的變量之間的坐標(biāo)轉(zhuǎn)換達到剔除部分無效或冗余變量的效果,使得變量之間相互獨立,提高協(xié)方差估計的穩(wěn)定性和準(zhǔn)確性。將SMT估計加入偏最小二乘算法中,并繼續(xù)對偏最小二乘建模過程中進行重加權(quán)處理,得到稀疏化的偏最小二乘(SPLS)方法,最后將PLS和SMT-PLS以及SMT-SPLS這三種回歸方法進行分析對比。2.提出基于框架的稀疏化學(xué)習(xí)方法,其本質(zhì)思想是對多元回歸方法計算得到的回歸系數(shù)值再次進行函數(shù)處理,設(shè)定閾值從而剔除部分無效變量,該框架算法的優(yōu)勢在于迭代多次進行稀疏化變量選擇。同時,將框架與稀疏化的偏最小二乘方法相集成(IRLS-SPLS),達到不僅能在框架中使用不同的函數(shù)對自變量進行加權(quán)懲罰,還能循環(huán)多次處理回歸系數(shù)。最后通過軟件程序?qū)崿F(xiàn)并將結(jié)果與其他多元回歸方法相比較。3.借鑒變量選擇的思想用于樣本選擇,利用非線性的偏最小二乘方法對樣本進行自動選擇,再加入權(quán)重值對結(jié)果再次稀疏,或者結(jié)合稀疏化迭代框架的設(shè)計對樣本進行迭代選擇。在本設(shè)計點中針對于大樣本量的數(shù)據(jù),如果樣本量過少則不適用于稀疏化方法,否則會使得模型欠擬合。
【圖文】：

對食品、農(nóng)業(yè)、醫(yī)藥中的試驗試劑進行樣品分析、醫(yī)藥化學(xué)中分子設(shè)計、新藥及結(jié)構(gòu)性能研宄等等。逡逑代光譜分析儀器為我們提供了數(shù)以千記甚至更多的波長數(shù)據(jù)，這些光譜數(shù)據(jù)反收的頻率信息，其中可能存在各成分的譜帶嚴重重疊、特征吸收不明顯等問題。際分析中與目標(biāo)相關(guān)的自變量個數(shù)有限，龐大的變量數(shù)會影響到模型的預(yù)測能過擬合問題。因此需要對高維度的變量進行降維處理，，它不僅能夠便于計算處釋，而且其更深層次的意義在于可以提取有效的信息和擯棄無用的噪聲數(shù)據(jù)［１高維光譜數(shù)據(jù)的處理分為兩類，即波長選擇和樣本選擇，其中都包含特征提取技術(shù)［１５］。波長選擇［１６’邋１７］的目的是通過一些方法能夠找到對目標(biāo)有顯著影響的者綜合變量，減少無關(guān)信息對目標(biāo)測定的影響。樣本選擇［１８］則是從光譜測量樣本中進行選擇，樣本選擇可以剔除異常樣本點對建模的影響，但如果校正樣合適，那么模型建立的再好也不適用于未知數(shù)據(jù)的分析，使得建模沒有意義。了數(shù)據(jù)降維兩類方法的不同，從圖形上看，左圖將ａ到ｅ的五個變量揉合為ｈ變量，而右圖只是選擇出ｂ和ｄ兩個變量作為新的分析變量。逡逑３邐．邐３逡逑

圖４．２標(biāo)準(zhǔn)化處理后玉米近紅外光譜圖逡逑驗分析逡逑米數(shù)據(jù)集中，變量維度遠大于樣本個數(shù)，并且變量之間存在嚴重的多重樣本協(xié)方差的真實計算值，首先可以直接利用ＭＡＴＬＡＢ程序計算樣本的求特征值與特征向量，但是其特征值結(jié)果比較復(fù)雜，為了驗證該計算是次對該協(xié)方差的逆矩陣進行求解，發(fā)現(xiàn)ＭＡＴＬＡＢ自帶的求逆矩陣函數(shù)提示異矩陣，其計算結(jié)果可能不準(zhǔn)確，結(jié)合在特征值對角矩陣中出現(xiàn)的很多異展示中也顯得差異較大這一情況判斷該樣本并不適合直接計算其協(xié)方差中深藍色代表樣本的真實計算特征值，部分缺失是因為該部分特征值算結(jié)果中發(fā)現(xiàn)絕大部分特征值為復(fù)數(shù)，在變量個數(shù)為７０之后其計算差
【學(xué)位授予單位】：揚州大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2018
【分類號】：O433.1

【參考文獻】

相關(guān)期刊論文 前10條

1 李仲達;林建浩;王美今;;大數(shù)據(jù)時代的高維統(tǒng)計:稀疏建模的發(fā)展及其應(yīng)用[J];統(tǒng)計研究;2015年10期

2 劉柳;陶大程;;Lasso問題的最新算法研究[J];數(shù)據(jù)采集與處理;2015年01期

3 劉建偉;崔立鵬;劉澤宇;羅雄麟;;正則化稀疏模型[J];計算機學(xué)報;2015年07期

4 褚小立;陸婉珍;;近五年我國近紅外光譜分析技術(shù)研究與應(yīng)用進展[J];光譜學(xué)與光譜分析;2014年10期

5 劉偉;趙眾;袁洪福;宋春風(fēng);李效玉;;光譜多元分析校正集和驗證集樣本分布優(yōu)選方法研究[J];光譜學(xué)與光譜分析;2014年04期

6 殷弘;汪寶彬;;懲罰的偏最小二乘(英文)[J];數(shù)學(xué)雜志;2013年01期

7 劉緒平;胡昌勤;田克仁;鐘瑞建;;近紅外光譜定量分析樣本選擇理論研究進展[J];藥物分析雜志;2010年07期

8 柳艷云;胡昌勤;;近紅外分析中光譜波長選擇方法進展與應(yīng)用[J];藥物分析雜志;2010年05期

9 褚小立,袁洪福,陸婉珍;近紅外分析中光譜預(yù)處理及波長選擇方法進展與應(yīng)用[J];化學(xué)進展;2004年04期

10 褚小立,袁洪福,王艷斌,陸婉珍;遺傳算法用于偏最小二乘方法建模中的變量篩選[J];分析化學(xué);2001年04期

相關(guān)博士學(xué)位論文 前1條

1 曾雪強;偏最小二乘降維方法的研究與應(yīng)用[D];上海大學(xué);2009年

相關(guān)碩士學(xué)位論文 前2條

1 郭婷婷;偏最小二乘及稀疏偏最小二乘回歸的應(yīng)用研究[D];昆明理工大學(xué);2015年

2 范永東;模型選擇中的交叉驗證方法綜述[D];山西大學(xué);2013年

本文編號：2646367