近紅外光譜分析技術(shù)屬于一種間接的分析技術(shù),它的原理是利用近紅外光譜與化學(xué)值之間的相關(guān)性建立預(yù)測模型,而奇異樣本的存在會使近紅外光譜圖和化學(xué)值之間的相關(guān)性降低,使模型的預(yù)測性能受到嚴(yán)重干擾甚至是破壞。因此,對奇異樣本進(jìn)行判別和處理對于建立一個穩(wěn)健的模型來說是尤為重要和基礎(chǔ)的。造成奇異樣本的原因很多,可能是由于總體條件的突然變化或者某個未知因素的出現(xiàn);可能是由于數(shù)據(jù)本身存在的量測誤差;也可能是由于性質(zhì)截然不同于總體的樣本存在。當(dāng)建模樣本中出現(xiàn)比較多的奇異樣本時,正常樣本、對模型有壞影響的奇異樣本和對模型有強(qiáng)影響的好樣本不能被很好地區(qū)分,經(jīng)常出現(xiàn)將對模型有強(qiáng)影響的好樣本誤判成奇異樣本的情況,所以至今奇異樣本的識別與篩選仍是研究的熱點(diǎn)問題之一。為了解決該問題,本文分析了常用的奇異樣本識別方法的不足,改進(jìn)了基于蒙特卡洛交叉驗(yàn)證(Monte Carlo Cross Validation,MCCV)識別奇異樣本的方法,在MCCV方法的基礎(chǔ)上增加了結(jié)合T檢驗(yàn)的計(jì)算策略。首先,通過MCCV大量建模,根據(jù)樣本在小預(yù)測殘差平方和(PRESS)模型中的累計(jì)出現(xiàn)頻率,對奇異樣本進(jìn)行初步地篩選。接下來,將剔除可疑奇異樣本的模型預(yù)測均方根誤差(RMSEP)值與隨機(jī)剔除樣本的模型RMSEP值做T檢驗(yàn),根據(jù)T檢驗(yàn)結(jié)果和RMSEP值對可疑的奇異樣本進(jìn)行識別,區(qū)分出正常樣本、強(qiáng)影響好樣本和壞影響奇異樣本,在一定程度上減少了剔除正常樣本的可能性,對異常樣本的剔除更為準(zhǔn)確。通過理論分析和實(shí)驗(yàn)對比(與光譜殘差比、馬氏距離、MCCV均值方差等方法對比)的方法驗(yàn)證了改進(jìn)后的算法的有效性,證明了基于MCCV結(jié)合T檢驗(yàn)的奇異樣本識別方法對奇異樣本的識別效果更好,識別的準(zhǔn)確率更高。本文分別從不同樣本數(shù)量和不同光譜預(yù)處理兩個方面,分析了 MCCV結(jié)合T檢驗(yàn)的奇異樣本識別方法的適用性,實(shí)驗(yàn)結(jié)果表明MCCV結(jié)合T檢驗(yàn)的奇異樣本識別方法不受樣本數(shù)量和光譜預(yù)處理的影響,適用性較好。從MCCV中的校正集所占比例、T檢驗(yàn)中隨機(jī)剔除樣本的模型RMSEP數(shù)量兩個方面驗(yàn)證了穩(wěn)健性。
【學(xué)位單位】：北方工業(yè)大學(xué)
【學(xué)位級別】：碩士
【學(xué)位年份】：2018
【中圖分類】：O433.4
【部分圖文】：

波長／ｎｍ??圖３－２原始樣本光譜圖??接下來找到這些異常光譜數(shù)據(jù)的樣本序號，如圖３－３所示，這些樣本為４９５、??５５９、８０６、１１６２、１２１２、１２８２、１４７８?號樣本。??光譜數(shù)據(jù)圖??１．４?Ｉ?Ｉ?！?＂！?＇?：?＇?：?Ｉ??１２?Ｔ?－??１Ｘ：?４９５??丨?Ｙ：?１．２４??１－??Ｉ??｜??０．８「??Ｉ?Ｘ：?５５９?Ｘ：?１２８２??Ｓ?〇６［?Ｙ?０５７６９?Ｘ：Ｈ６２?／：〇５８１，５?」??■?Ｙ．?０．４８３１?＂?■??￣?＿?Ｘ：?１４７８??０．４－?｜＿?Ｙ；?０?５６０４?－??——、■丨丨??＿Ｑ?２?Ｉ?ｉ?｜?１?｜?］?｜????＇０?２００?４００?６００?８００?１０００?１２００?１４００?１６００?１８００??樣本序號??圖３－３原始光譜樣本數(shù)據(jù)圖??除了光譜數(shù)據(jù)之外也對化學(xué)值數(shù)據(jù)進(jìn)行了觀察篩選，如圖３－４所示，從圖中??方框處可以看到有一些樣本的化學(xué)值為０

９００?１０００?１１００?１２００?１３００?１４００?１５００?１６００?１７００??波長／ｎｍ??圖３－２原始樣本光譜圖??接下來找到這些異常光譜數(shù)據(jù)的樣本序號，如圖３－３所示，這些樣本為４９５、??５５９、８０６、１１６２、１２１２、１２８２、１４７８?號樣本。??光譜數(shù)據(jù)圖??１．４?Ｉ?Ｉ?！?＂！?＇?：?＇?：?Ｉ??１２?Ｔ?－??１Ｘ：?４９５??丨?Ｙ：?１．２４??１－??Ｉ??｜??０．８「??Ｉ?Ｘ：?５５９?Ｘ：?１２８２??Ｓ?〇６［?Ｙ?０５７６９?Ｘ：Ｈ６２?／：〇５８１，５?」??■?Ｙ．?０．４８３１?＂?■??￣?＿?Ｘ：?１４７８??０．４－?｜＿?Ｙ；?０?５６０４?－??——、■丨丨??＿Ｑ?２?Ｉ?ｉ?｜?１?｜?］?｜????＇０?２００?４００?６００?８００?１０００?１２００?１４００?１６００?１８００??樣本序號??圖３－３原始光譜樣本數(shù)據(jù)圖??除了光譜數(shù)據(jù)之外也對化學(xué)值數(shù)據(jù)進(jìn)行了觀察篩選，如圖３－４所示，從圖中??方框處可以看到有一些樣本的化學(xué)值為０

圖３＞４原始樣本化學(xué)值數(shù)據(jù)圖??接下來將光譜中的異常樣本與化學(xué)值是〇的十六個很明顯異常的個樣本去??除掉，去掉之后的樣本光譜圖如圖３－５所示。之后將剩下的１７４２個樣本作為實(shí)??驗(yàn)分析研究的樣本。??光譜數(shù)據(jù)圖??〇．?３１?Ｉ?■?Ｉ?Ｉ?■?Ｉ?Ｉ??－０．１－??－０．１５－??〇?２?Ｉ?Ｉ?Ｉ?ｉ?Ｉ?ｉ?Ｉ???＂９００?１０００?１１００?１２００?１３００?１４００?１５００?１６００?１７００??波長／ｎｍ??圖３－５實(shí)驗(yàn)樣本光譜數(shù)據(jù)圖??實(shí)驗(yàn)樣本光譜的吸光度均值如圖３－６所示。??２５??
【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 王蕾;王輝;黃品高;林闖;鄭悅;魏月;郭欣;李光林;;下肢截肢者行走意圖識別方法研究進(jìn)展[J];自動化學(xué)報(bào);年期

2 何湘東;朱亦寧;;網(wǎng)絡(luò)謠言識別方法及展望[J];網(wǎng)絡(luò)空間安全;2016年Z2期

3 肖清旺;王錦華;朱易翔;;物聯(lián)網(wǎng)智能終端設(shè)備識別方法[J];電信科學(xué);2017年02期

4 閔衛(wèi)東;石杰;韓清;王瑋;;一種分布式人臉識別方法及性能優(yōu)化[J];光學(xué)精密工程;2017年03期

5 張海龍;任波;常占河;李環(huán);;振動目標(biāo)產(chǎn)生的瑞雷波的識別方法研究[J];沈陽理工大學(xué)學(xué)報(bào);2017年02期

6 崔德旺;;松遼盆地二氧化碳?xì)鈱愉浘R別方法[J];石化技術(shù);2017年10期

7 翟冠;孟華東;孫秀志;王希勤;;用于機(jī)動目標(biāo)跟蹤的分段機(jī)動識別方法[J];電波科學(xué)學(xué)報(bào);2015年01期

8 徐永軍;;“特殊的平行四邊形”易錯點(diǎn)剖析[J];初中生世界;2017年15期

9 董澤萬;;試分析基于區(qū)域生長的道路和橋梁識別方法的研究[J];科技創(chuàng)業(yè)家;2014年01期

10 高春庚;孫建國;;基于統(tǒng)計(jì)的人臉識別方法綜述[J];安陽工學(xué)院學(xué)報(bào);2012年04期

相關(guān)博士學(xué)位論文 前10條

1 賴韜;線彈性結(jié)構(gòu)時域動態(tài)荷載識別方法研究[D];大連理工大學(xué);2017年

2 邰穎;基于表示學(xué)習(xí)及回歸模型的穩(wěn)健人臉識別方法研究[D];南京理工大學(xué);2017年

3 呂江靖;非限定環(huán)境下的人臉識別方法研究[D];中國科學(xué)院大學(xué)(中國科學(xué)院重慶綠色智能技術(shù)研究院);2017年

4 徐藝哲;超音速流場中多波系干擾結(jié)構(gòu)識別方法與應(yīng)用研究[D];清華大學(xué);2016年

5 張莉莉;競優(yōu)特征的群識別方法及其應(yīng)用[D];東北大學(xué);2010年

6 陳綿書;計(jì)算機(jī)人臉識別方法研究[D];吉林大學(xué);2004年

7 張永梅;基于融合的人臉識別方法研究[D];中北大學(xué);2005年

8 陳浜;基于視覺計(jì)算的煤巖識別方法研究[D];中國礦業(yè)大學(xué)(北京);2018年

9 周昌軍;基于圖像重構(gòu)和特征融合的人臉識別方法研究[D];大連理工大學(xué);2008年

10 何光輝;四種人臉識別方法研究[D];重慶大學(xué);2010年

相關(guān)碩士學(xué)位論文 前10條

1 李澤龍;信息物理融合環(huán)境下電網(wǎng)惡性數(shù)據(jù)鏈識別方法研究[D];東北電力大學(xué);2018年

2 喬治;道路監(jiān)控場景下行人再識別方法研究[D];北方工業(yè)大學(xué);2018年

3 楊新雨;基于監(jiān)控場景的行人重識別方法的研究與應(yīng)用[D];電子科技大學(xué);2018年

4 高源;模糊車牌的分割與識別方法研究[D];廈門大學(xué);2017年

5 王震;基于深度學(xué)習(xí)的人臉識別方法的研究[D];蘭州理工大學(xué);2018年

6 付昊天;基于多特征深度學(xué)習(xí)的建筑物識別方法[D];北方工業(yè)大學(xué);2018年

7 蔡子嫣;基于MCCV結(jié)合T檢驗(yàn)的奇異樣本識別方法研究[D];北方工業(yè)大學(xué);2018年

8 郭玉龍;運(yùn)用中級特征的人臉識別方法研究[D];湖南大學(xué);2017年

9 盧薇冰;基于CNN的陸空通話語義識別方法[D];中國民航大學(xué);2017年

10 黃琳;基于深層神經(jīng)網(wǎng)絡(luò)的交通標(biāo)志識別方法研究[D];江蘇科技大學(xué);2015年

本文編號：2856445