近紅外光譜分析技術屬于一種間接的分析技術,它的原理是利用近紅外光譜與化學值之間的相關性建立預測模型,而奇異樣本的存在會使近紅外光譜圖和化學值之間的相關性降低,使模型的預測性能受到嚴重干擾甚至是破壞。因此,對奇異樣本進行判別和處理對于建立一個穩(wěn)健的模型來說是尤為重要和基礎的。造成奇異樣本的原因很多,可能是由于總體條件的突然變化或者某個未知因素的出現(xiàn);可能是由于數(shù)據(jù)本身存在的量測誤差;也可能是由于性質截然不同于總體的樣本存在。當建模樣本中出現(xiàn)比較多的奇異樣本時,正常樣本、對模型有壞影響的奇異樣本和對模型有強影響的好樣本不能被很好地區(qū)分,經(jīng)常出現(xiàn)將對模型有強影響的好樣本誤判成奇異樣本的情況,所以至今奇異樣本的識別與篩選仍是研究的熱點問題之一。為了解決該問題,本文分析了常用的奇異樣本識別方法的不足,改進了基于蒙特卡洛交叉驗證(Monte Carlo Cross Validation,MCCV)識別奇異樣本的方法,在MCCV方法的基礎上增加了結合T檢驗的計算策略。首先,通過MCCV大量建模,根據(jù)樣本在小預測殘差平方和(PRESS)模型中的累計出現(xiàn)頻率,對奇異樣本進行初步地篩選。接下來,將剔除可疑奇異樣本的模型預測均方根誤差(RMSEP)值與隨機剔除樣本的模型RMSEP值做T檢驗,根據(jù)T檢驗結果和RMSEP值對可疑的奇異樣本進行識別,區(qū)分出正常樣本、強影響好樣本和壞影響奇異樣本,在一定程度上減少了剔除正常樣本的可能性,對異常樣本的剔除更為準確。通過理論分析和實驗對比(與光譜殘差比、馬氏距離、MCCV均值方差等方法對比)的方法驗證了改進后的算法的有效性,證明了基于MCCV結合T檢驗的奇異樣本識別方法對奇異樣本的識別效果更好,識別的準確率更高。本文分別從不同樣本數(shù)量和不同光譜預處理兩個方面,分析了 MCCV結合T檢驗的奇異樣本識別方法的適用性,實驗結果表明MCCV結合T檢驗的奇異樣本識別方法不受樣本數(shù)量和光譜預處理的影響,適用性較好。從MCCV中的校正集所占比例、T檢驗中隨機剔除樣本的模型RMSEP數(shù)量兩個方面驗證了穩(wěn)健性。
【學位單位】：北方工業(yè)大學
【學位級別】：碩士
【學位年份】：2018
【中圖分類】：O433.4
【部分圖文】：

波長／ｎｍ??圖３－２原始樣本光譜圖??接下來找到這些異常光譜數(shù)據(jù)的樣本序號，如圖３－３所示，這些樣本為４９５、??５５９、８０６、１１６２、１２１２、１２８２、１４７８?號樣本。??光譜數(shù)據(jù)圖??１．４?Ｉ?Ｉ?！?＂！?＇?：?＇?：?Ｉ??１２?Ｔ?－??１Ｘ：?４９５??丨?Ｙ：?１．２４??１－??Ｉ??｜??０．８「??Ｉ?Ｘ：?５５９?Ｘ：?１２８２??Ｓ?〇６［?Ｙ?０５７６９?Ｘ：Ｈ６２?／：〇５８１，５?」??■?Ｙ．?０．４８３１?＂?■??￣?＿?Ｘ：?１４７８??０．４－?｜＿?Ｙ；?０?５６０４?－??——、■丨丨??＿Ｑ?２?Ｉ?ｉ?｜?１?｜?］?｜????＇０?２００?４００?６００?８００?１０００?１２００?１４００?１６００?１８００??樣本序號??圖３－３原始光譜樣本數(shù)據(jù)圖??除了光譜數(shù)據(jù)之外也對化學值數(shù)據(jù)進行了觀察篩選，如圖３－４所示，從圖中??方框處可以看到有一些樣本的化學值為０

９００?１０００?１１００?１２００?１３００?１４００?１５００?１６００?１７００??波長／ｎｍ??圖３－２原始樣本光譜圖??接下來找到這些異常光譜數(shù)據(jù)的樣本序號，如圖３－３所示，這些樣本為４９５、??５５９、８０６、１１６２、１２１２、１２８２、１４７８?號樣本。??光譜數(shù)據(jù)圖??１．４?Ｉ?Ｉ?！?＂！?＇?：?＇?：?Ｉ??１２?Ｔ?－??１Ｘ：?４９５??丨?Ｙ：?１．２４??１－??Ｉ??｜??０．８「??Ｉ?Ｘ：?５５９?Ｘ：?１２８２??Ｓ?〇６［?Ｙ?０５７６９?Ｘ：Ｈ６２?／：〇５８１，５?」??■?Ｙ．?０．４８３１?＂?■??￣?＿?Ｘ：?１４７８??０．４－?｜＿?Ｙ；?０?５６０４?－??——、■丨丨??＿Ｑ?２?Ｉ?ｉ?｜?１?｜?］?｜????＇０?２００?４００?６００?８００?１０００?１２００?１４００?１６００?１８００??樣本序號??圖３－３原始光譜樣本數(shù)據(jù)圖??除了光譜數(shù)據(jù)之外也對化學值數(shù)據(jù)進行了觀察篩選，如圖３－４所示，從圖中??方框處可以看到有一些樣本的化學值為０

圖３＞４原始樣本化學值數(shù)據(jù)圖??接下來將光譜中的異常樣本與化學值是〇的十六個很明顯異常的個樣本去??除掉，去掉之后的樣本光譜圖如圖３－５所示。之后將剩下的１７４２個樣本作為實??驗分析研究的樣本。??光譜數(shù)據(jù)圖??〇．?３１?Ｉ?■?Ｉ?Ｉ?■?Ｉ?Ｉ??－０．１－??－０．１５－??〇?２?Ｉ?Ｉ?Ｉ?ｉ?Ｉ?ｉ?Ｉ???＂９００?１０００?１１００?１２００?１３００?１４００?１５００?１６００?１７００??波長／ｎｍ??圖３－５實驗樣本光譜數(shù)據(jù)圖??實驗樣本光譜的吸光度均值如圖３－６所示。??２５??
【相似文獻】

相關期刊論文 前10條

1 王蕾;王輝;黃品高;林闖;鄭悅;魏月;郭欣;李光林;;下肢截肢者行走意圖識別方法研究進展[J];自動化學報;年期

2 何湘東;朱亦寧;;網(wǎng)絡謠言識別方法及展望[J];網(wǎng)絡空間安全;2016年Z2期

3 肖清旺;王錦華;朱易翔;;物聯(lián)網(wǎng)智能終端設備識別方法[J];電信科學;2017年02期

4 閔衛(wèi)東;石杰;韓清;王瑋;;一種分布式人臉識別方法及性能優(yōu)化[J];光學精密工程;2017年03期

5 張海龍;任波;常占河;李環(huán);;振動目標產(chǎn)生的瑞雷波的識別方法研究[J];沈陽理工大學學報;2017年02期

6 崔德旺;;松遼盆地二氧化碳氣層錄井識別方法[J];石化技術;2017年10期

7 翟冠;孟華東;孫秀志;王希勤;;用于機動目標跟蹤的分段機動識別方法[J];電波科學學報;2015年01期

8 徐永軍;;“特殊的平行四邊形”易錯點剖析[J];初中生世界;2017年15期

9 董澤萬;;試分析基于區(qū)域生長的道路和橋梁識別方法的研究[J];科技創(chuàng)業(yè)家;2014年01期

10 高春庚;孫建國;;基于統(tǒng)計的人臉識別方法綜述[J];安陽工學院學報;2012年04期

相關博士學位論文 前10條

1 賴韜;線彈性結構時域動態(tài)荷載識別方法研究[D];大連理工大學;2017年

2 邰穎;基于表示學習及回歸模型的穩(wěn)健人臉識別方法研究[D];南京理工大學;2017年

3 呂江靖;非限定環(huán)境下的人臉識別方法研究[D];中國科學院大學(中國科學院重慶綠色智能技術研究院);2017年

4 徐藝哲;超音速流場中多波系干擾結構識別方法與應用研究[D];清華大學;2016年

5 張莉莉;競優(yōu)特征的群識別方法及其應用[D];東北大學;2010年

6 陳綿書;計算機人臉識別方法研究[D];吉林大學;2004年

7 張永梅;基于融合的人臉識別方法研究[D];中北大學;2005年

8 陳浜;基于視覺計算的煤巖識別方法研究[D];中國礦業(yè)大學(北京);2018年

9 周昌軍;基于圖像重構和特征融合的人臉識別方法研究[D];大連理工大學;2008年

10 何光輝;四種人臉識別方法研究[D];重慶大學;2010年

相關碩士學位論文 前10條

1 李澤龍;信息物理融合環(huán)境下電網(wǎng)惡性數(shù)據(jù)鏈識別方法研究[D];東北電力大學;2018年

2 喬治;道路監(jiān)控場景下行人再識別方法研究[D];北方工業(yè)大學;2018年

3 楊新雨;基于監(jiān)控場景的行人重識別方法的研究與應用[D];電子科技大學;2018年

4 高源;模糊車牌的分割與識別方法研究[D];廈門大學;2017年

5 王震;基于深度學習的人臉識別方法的研究[D];蘭州理工大學;2018年

6 付昊天;基于多特征深度學習的建筑物識別方法[D];北方工業(yè)大學;2018年

7 蔡子嫣;基于MCCV結合T檢驗的奇異樣本識別方法研究[D];北方工業(yè)大學;2018年

8 郭玉龍;運用中級特征的人臉識別方法研究[D];湖南大學;2017年

9 盧薇冰;基于CNN的陸空通話語義識別方法[D];中國民航大學;2017年

10 黃琳;基于深層神經(jīng)網(wǎng)絡的交通標志識別方法研究[D];江蘇科技大學;2015年

本文編號：2856445