發(fā)布時(shí)間：2017-12-25 04:07

  本文關(guān)鍵詞：農(nóng)業(yè)數(shù)據(jù)處理中的異常檢測(cè)方法研究　出處：《中國農(nóng)業(yè)大學(xué)》2016年博士論文　論文類型：學(xué)位論文

  更多相關(guān)文章： 異常檢測(cè) 數(shù)據(jù)流 傳感器 近紅外光譜 數(shù)據(jù)處理

【摘要】：隨著物聯(lián)網(wǎng)等信息技術(shù)的發(fā)展,在農(nóng)業(yè)生產(chǎn)領(lǐng)域產(chǎn)生和積累了大量的數(shù)據(jù),為農(nóng)業(yè)數(shù)據(jù)處理提供了豐富的數(shù)據(jù)來源。然而,由于受農(nóng)業(yè)生產(chǎn)成本和復(fù)雜的農(nóng)業(yè)生產(chǎn)環(huán)境等因素的影響,數(shù)據(jù)中也包含了大量的劣質(zhì)數(shù)據(jù),極大降低了數(shù)據(jù)的可用性。如何發(fā)現(xiàn)海量數(shù)據(jù)中的異常數(shù)據(jù)是農(nóng)業(yè)數(shù)據(jù)處理過程中首先要解決的問題。本文從農(nóng)業(yè)數(shù)據(jù)處理中對(duì)數(shù)據(jù)預(yù)處理的需求出發(fā),研究了農(nóng)業(yè)傳感器數(shù)據(jù)和近紅外光譜數(shù)據(jù)的異常檢測(cè)方法。主要研究內(nèi)容包括：(1)在單傳感器數(shù)據(jù)異常檢測(cè)方法研究的基礎(chǔ)上著重研究了多傳感器數(shù)據(jù)的異常檢測(cè)方法。傳感器數(shù)據(jù)除具有無限、快速等典型的數(shù)據(jù)流特征外,還具有時(shí)間相關(guān)性和空間相關(guān)性等特點(diǎn)。針對(duì)傳感器數(shù)據(jù)的特點(diǎn),本文在研究單傳感器數(shù)據(jù)異常檢測(cè)方法的基礎(chǔ)上,針對(duì)傳感器數(shù)據(jù)的時(shí)間相關(guān)性和空間性等特點(diǎn),研究了多傳感器數(shù)據(jù)的異常檢測(cè)方法。提出了一種多傳感器數(shù)據(jù)的異常檢測(cè)框架,框架包括在線異常檢測(cè)和離線異常源識(shí)別兩個(gè)階段。為方便對(duì)異常點(diǎn)來源的識(shí)別,在傳統(tǒng)異常點(diǎn)分類方法的基礎(chǔ)上提出了一種新的分類方法�；谝陨涎芯�,設(shè)計(jì)了基于鄰差和聚類相結(jié)合的多傳感器異常檢測(cè)算法和基于相關(guān)關(guān)系的異常源識(shí)別算法,并通過實(shí)驗(yàn)進(jìn)行驗(yàn)證。實(shí)驗(yàn)結(jié)果表明,本文提出的算法可有效實(shí)現(xiàn)對(duì)多傳感器數(shù)據(jù)中異常點(diǎn)的檢測(cè)及異常點(diǎn)來源的識(shí)別。在實(shí)驗(yàn)數(shù)據(jù)集中,異常點(diǎn)來源的識(shí)別準(zhǔn)確率達(dá)95.8%。(2)研究了近紅外光譜定量分析中異常樣本的檢測(cè)方法。近紅外光譜分析由于其快速、無損等特點(diǎn),已廣泛應(yīng)用于農(nóng)產(chǎn)品的品質(zhì)檢測(cè)、土壤元素含量檢測(cè)等領(lǐng)域。但另一方面近紅外光譜具有信噪比低、易受測(cè)量環(huán)境干擾等問題,異常樣本的存在進(jìn)一步影響了預(yù)測(cè)模型的準(zhǔn)確性。與常規(guī)的數(shù)據(jù)不同,近紅外光譜數(shù)據(jù)具有典型的高維特征,且各維屬性之間具有明顯的關(guān)聯(lián)關(guān)系。本文通過理論推導(dǎo)得到近紅外光譜定量分析中的光譜距離和化學(xué)值之間的關(guān)系,并基于該結(jié)論設(shè)計(jì)了一種基于XY變量聯(lián)合的ODXY異常檢測(cè)算法。通過實(shí)驗(yàn)結(jié)果表明,ODXY算法相對(duì)于傳統(tǒng)的異常檢測(cè)方法具有對(duì)異常樣本具有更好的檢測(cè)能力和更好的泛化能力。根據(jù)NIR光譜的疊加性,在ODXY算法的基礎(chǔ)上經(jīng)理論進(jìn)一步推導(dǎo)得到近紅外光譜多組分分析時(shí)光譜距離和所有樣本的化學(xué)值之間的關(guān)系,并提出一種專門用于近紅外光譜多組分分析的異常樣本檢測(cè)算法。經(jīng)實(shí)驗(yàn)證明：在NIR光譜多組分定量分析中,MODXY法相對(duì)于其他方法具有更好的異常樣本識(shí)別能力。同時(shí)經(jīng)實(shí)驗(yàn)表明：ODXY法和MODXY法具有一定的適用范圍,它們更適合于待測(cè)組分的含量值相對(duì)標(biāo)準(zhǔn)偏差較大的情況。
【學(xué)位授予單位】：中國農(nóng)業(yè)大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2016
【分類號(hào)】：S126

【相似文獻(xiàn)】

相關(guān)期刊論文 前1條

1 沈逸,李小昱,雷廷武,王為;電容式水流泥沙含量傳感器數(shù)據(jù)融合的研究[J];華中農(nóng)業(yè)大學(xué)學(xué)報(bào);2004年04期

相關(guān)會(huì)議論文 前4條

1 劉榮利;文傳博;文成林;;傳感器數(shù)據(jù)存在隨機(jī)一步延遲的線性無偏估計(jì)[A];第25屆中國控制會(huì)議論文集（中冊(cè)）[C];2006年

2 宋紹民;張振飛;王耀南;;傳感器數(shù)據(jù)的精確重構(gòu)方法及其性能研究[A];第二十九屆中國控制會(huì)議論文集[C];2010年

3 宋國民;張為公;翟羽健;;基于模糊推理誤差模型的傳感器數(shù)據(jù)分析[A];2000全國力學(xué)量傳感器及測(cè)試、計(jì)量學(xué)術(shù)交流會(huì)論文集[C];2000年

4 向堅(jiān);俞堅(jiān);葉綠;;一種基于RFID的新傳感器數(shù)據(jù)流在線清理框架[A];第六屆全國信息獲取與處理學(xué)術(shù)會(huì)議論文集（3）[C];2008年

相關(guān)博士學(xué)位論文 前2條

1 尹寶全;農(nóng)業(yè)數(shù)據(jù)處理中的異常檢測(cè)方法研究[D];中國農(nóng)業(yè)大學(xué);2016年

2 唐雅娟;發(fā)動(dòng)機(jī)試驗(yàn)傳感器數(shù)據(jù)證實(shí)的軟計(jì)算方法與系統(tǒng)實(shí)現(xiàn)研究[D];國防科學(xué)技術(shù)大學(xué);2007年

相關(guān)碩士學(xué)位論文 前10條

1 陳冬;基于手機(jī)傳感器數(shù)據(jù)的道路擁擠程度分析[D];西南交通大學(xué);2015年

2 姜天宇;基于多MEMS傳感器數(shù)據(jù)融合的組合測(cè)姿系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];東南大學(xué);2015年

3 唐遠(yuǎn)洋;基于智能手機(jī)流量與傳感器數(shù)據(jù)的用戶基礎(chǔ)屬性研究[D];電子科技大學(xué);2016年

4 朱小蘭;傳感器數(shù)據(jù)融合中的魯棒性研究[D];重慶師范大學(xué);2016年

5 羅瀟;傳感器數(shù)據(jù)補(bǔ)償算法的設(shè)計(jì)與實(shí)現(xiàn)[D];華中科技大學(xué);2011年

6 韓秋廷;基于粒子濾波的能量高效傳感器數(shù)據(jù)查詢處理技術(shù)[D];南京航空航天大學(xué);2012年

7 徐濤;基于發(fā)布/訂閱機(jī)制的傳感器數(shù)據(jù)分發(fā)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2011年

8 譚偉;多源信息融合技術(shù)在水上交通中的應(yīng)用研究[D];重慶交通大學(xué);2011年

9 張英杰;基于時(shí)間序列分析的隧道傳感器數(shù)據(jù)預(yù)測(cè)研究[D];西安電子科技大學(xué);2011年

10 周文雯;基于圖語法的多媒體傳感器數(shù)據(jù)融合[D];重慶郵電大學(xué);2015年

，

本文編號(hào)：1331266