【摘要】：光譜測量是一種常用的物質(zhì)檢測技術(shù),特點(diǎn)是分析速率高、無損耗、綠色低成本且容易實(shí)時(shí)在線分析。根據(jù)其自身的優(yōu)勢,光譜測量技術(shù)已經(jīng)被廣泛應(yīng)用于醫(yī)藥、農(nóng)業(yè)、化工業(yè)等科學(xué)領(lǐng)域。然而,通過光譜測量得到的數(shù)據(jù)一般具有“高維度、低樣本”的特征,并且譜帶間存在嚴(yán)重的重疊問題,使得光譜數(shù)據(jù)較為復(fù)雜,難以直觀地做出分析與判斷�；谶@一問題,本文使用近紅外光譜測量技術(shù),面向多組分分析,重點(diǎn)研究化學(xué)計(jì)量學(xué)中的多元回歸方法,利用不同的算法進(jìn)行建模分析并比較實(shí)驗(yàn)結(jié)果。偏最小二乘是近紅外光譜分析中應(yīng)用最為廣泛的一種算法,它能夠有效克服高維光譜數(shù)據(jù)中的多重相關(guān)性問題,提取有效信息,降低模型中的變量維度。但究其本質(zhì),偏最小二乘算法中的隱變量是原自變量的線性組合,它將所有的原始變量都帶入模型進(jìn)行預(yù)測分析,從而可能存在無關(guān)或者冗余的變量信息,使得模型相對(duì)于原始變量并沒有實(shí)現(xiàn)變量選擇,變量信息無法解釋,因此需要引入稀疏化方法,從真正意義上達(dá)到變量選擇的效果。本文的研究工作著手于模型稀疏化,從協(xié)方差估計(jì)、重加權(quán)和閾值約束三個(gè)方面達(dá)到對(duì)光譜數(shù)據(jù)的波長選擇,除此以外還對(duì)樣本進(jìn)行選擇,利用波長選擇的思想處理樣本選擇問題。主要工作如下:1.本文提出基于稀疏矩陣變換(SMT)的協(xié)方差估計(jì)方法,通過具有高度相關(guān)性的變量之間的坐標(biāo)轉(zhuǎn)換達(dá)到剔除部分無效或冗余變量的效果,使得變量之間相互獨(dú)立,提高協(xié)方差估計(jì)的穩(wěn)定性和準(zhǔn)確性。將SMT估計(jì)加入偏最小二乘算法中,并繼續(xù)對(duì)偏最小二乘建模過程中進(jìn)行重加權(quán)處理,得到稀疏化的偏最小二乘(SPLS)方法,最后將PLS和SMT-PLS以及SMT-SPLS這三種回歸方法進(jìn)行分析對(duì)比。2.提出基于框架的稀疏化學(xué)習(xí)方法,其本質(zhì)思想是對(duì)多元回歸方法計(jì)算得到的回歸系數(shù)值再次進(jìn)行函數(shù)處理,設(shè)定閾值從而剔除部分無效變量,該框架算法的優(yōu)勢在于迭代多次進(jìn)行稀疏化變量選擇。同時(shí),將框架與稀疏化的偏最小二乘方法相集成(IRLS-SPLS),達(dá)到不僅能在框架中使用不同的函數(shù)對(duì)自變量進(jìn)行加權(quán)懲罰,還能循環(huán)多次處理回歸系數(shù)。最后通過軟件程序?qū)崿F(xiàn)并將結(jié)果與其他多元回歸方法相比較。3.借鑒變量選擇的思想用于樣本選擇,利用非線性的偏最小二乘方法對(duì)樣本進(jìn)行自動(dòng)選擇,再加入權(quán)重值對(duì)結(jié)果再次稀疏,或者結(jié)合稀疏化迭代框架的設(shè)計(jì)對(duì)樣本進(jìn)行迭代選擇。在本設(shè)計(jì)點(diǎn)中針對(duì)于大樣本量的數(shù)據(jù),如果樣本量過少則不適用于稀疏化方法,否則會(huì)使得模型欠擬合。
【圖文】：

對(duì)食品、農(nóng)業(yè)、醫(yī)藥中的試驗(yàn)試劑進(jìn)行樣品分析、醫(yī)藥化學(xué)中分子設(shè)計(jì)、新藥及結(jié)構(gòu)性能研宄等等。逡逑代光譜分析儀器為我們提供了數(shù)以千記甚至更多的波長數(shù)據(jù)，這些光譜數(shù)據(jù)反收的頻率信息，其中可能存在各成分的譜帶嚴(yán)重重疊、特征吸收不明顯等問題。際分析中與目標(biāo)相關(guān)的自變量個(gè)數(shù)有限，龐大的變量數(shù)會(huì)影響到模型的預(yù)測能過擬合問題。因此需要對(duì)高維度的變量進(jìn)行降維處理，，它不僅能夠便于計(jì)算處釋，而且其更深層次的意義在于可以提取有效的信息和擯棄無用的噪聲數(shù)據(jù)［１高維光譜數(shù)據(jù)的處理分為兩類，即波長選擇和樣本選擇，其中都包含特征提取技術(shù)［１５］。波長選擇［１６’邋１７］的目的是通過一些方法能夠找到對(duì)目標(biāo)有顯著影響的者綜合變量，減少無關(guān)信息對(duì)目標(biāo)測定的影響。樣本選擇［１８］則是從光譜測量樣本中進(jìn)行選擇，樣本選擇可以剔除異常樣本點(diǎn)對(duì)建模的影響，但如果校正樣合適，那么模型建立的再好也不適用于未知數(shù)據(jù)的分析，使得建模沒有意義。了數(shù)據(jù)降維兩類方法的不同，從圖形上看，左圖將ａ到ｅ的五個(gè)變量揉合為ｈ變量，而右圖只是選擇出ｂ和ｄ兩個(gè)變量作為新的分析變量。逡逑３邐．邐３逡逑

圖４．２標(biāo)準(zhǔn)化處理后玉米近紅外光譜圖逡逑驗(yàn)分析逡逑米數(shù)據(jù)集中，變量維度遠(yuǎn)大于樣本個(gè)數(shù)，并且變量之間存在嚴(yán)重的多重樣本協(xié)方差的真實(shí)計(jì)算值，首先可以直接利用ＭＡＴＬＡＢ程序計(jì)算樣本的求特征值與特征向量，但是其特征值結(jié)果比較復(fù)雜，為了驗(yàn)證該計(jì)算是次對(duì)該協(xié)方差的逆矩陣進(jìn)行求解，發(fā)現(xiàn)ＭＡＴＬＡＢ自帶的求逆矩陣函數(shù)提示異矩陣，其計(jì)算結(jié)果可能不準(zhǔn)確，結(jié)合在特征值對(duì)角矩陣中出現(xiàn)的很多異展示中也顯得差異較大這一情況判斷該樣本并不適合直接計(jì)算其協(xié)方差中深藍(lán)色代表樣本的真實(shí)計(jì)算特征值，部分缺失是因?yàn)樵摬糠痔卣髦邓憬Y(jié)果中發(fā)現(xiàn)絕大部分特征值為復(fù)數(shù)，在變量個(gè)數(shù)為７０之后其計(jì)算差
【學(xué)位授予單位】：揚(yáng)州大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2018
【分類號(hào)】：O433.1

【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 李仲達(dá);林建浩;王美今;;大數(shù)據(jù)時(shí)代的高維統(tǒng)計(jì):稀疏建模的發(fā)展及其應(yīng)用[J];統(tǒng)計(jì)研究;2015年10期

2 劉柳;陶大程;;Lasso問題的最新算法研究[J];數(shù)據(jù)采集與處理;2015年01期

3 劉建偉;崔立鵬;劉澤宇;羅雄麟;;正則化稀疏模型[J];計(jì)算機(jī)學(xué)報(bào);2015年07期

4 褚小立;陸婉珍;;近五年我國近紅外光譜分析技術(shù)研究與應(yīng)用進(jìn)展[J];光譜學(xué)與光譜分析;2014年10期

5 劉偉;趙眾;袁洪福;宋春風(fēng);李效玉;;光譜多元分析校正集和驗(yàn)證集樣本分布優(yōu)選方法研究[J];光譜學(xué)與光譜分析;2014年04期

6 殷弘;汪寶彬;;懲罰的偏最小二乘(英文)[J];數(shù)學(xué)雜志;2013年01期

7 劉緒平;胡昌勤;田克仁;鐘瑞建;;近紅外光譜定量分析樣本選擇理論研究進(jìn)展[J];藥物分析雜志;2010年07期

8 柳艷云;胡昌勤;;近紅外分析中光譜波長選擇方法進(jìn)展與應(yīng)用[J];藥物分析雜志;2010年05期

9 褚小立,袁洪福,陸婉珍;近紅外分析中光譜預(yù)處理及波長選擇方法進(jìn)展與應(yīng)用[J];化學(xué)進(jìn)展;2004年04期

10 褚小立,袁洪福,王艷斌,陸婉珍;遺傳算法用于偏最小二乘方法建模中的變量篩選[J];分析化學(xué);2001年04期

相關(guān)博士學(xué)位論文 前1條

1 曾雪強(qiáng);偏最小二乘降維方法的研究與應(yīng)用[D];上海大學(xué);2009年

相關(guān)碩士學(xué)位論文 前2條

1 郭婷婷;偏最小二乘及稀疏偏最小二乘回歸的應(yīng)用研究[D];昆明理工大學(xué);2015年

2 范永東;模型選擇中的交叉驗(yàn)證方法綜述[D];山西大學(xué);2013年

本文編號(hào)：2646367