本文關(guān)鍵詞：農(nóng)業(yè)數(shù)據(jù)處理中的異常檢測方法研究　出處：《中國農(nóng)業(yè)大學(xué)》2016年博士論文　論文類型：學(xué)位論文

  更多相關(guān)文章： 異常檢測 數(shù)據(jù)流 傳感器 近紅外光譜 數(shù)據(jù)處理

【摘要】：隨著物聯(lián)網(wǎng)等信息技術(shù)的發(fā)展,在農(nóng)業(yè)生產(chǎn)領(lǐng)域產(chǎn)生和積累了大量的數(shù)據(jù),為農(nóng)業(yè)數(shù)據(jù)處理提供了豐富的數(shù)據(jù)來源。然而,由于受農(nóng)業(yè)生產(chǎn)成本和復(fù)雜的農(nóng)業(yè)生產(chǎn)環(huán)境等因素的影響,數(shù)據(jù)中也包含了大量的劣質(zhì)數(shù)據(jù),極大降低了數(shù)據(jù)的可用性。如何發(fā)現(xiàn)海量數(shù)據(jù)中的異常數(shù)據(jù)是農(nóng)業(yè)數(shù)據(jù)處理過程中首先要解決的問題。本文從農(nóng)業(yè)數(shù)據(jù)處理中對數(shù)據(jù)預(yù)處理的需求出發(fā),研究了農(nóng)業(yè)傳感器數(shù)據(jù)和近紅外光譜數(shù)據(jù)的異常檢測方法。主要研究內(nèi)容包括：(1)在單傳感器數(shù)據(jù)異常檢測方法研究的基礎(chǔ)上著重研究了多傳感器數(shù)據(jù)的異常檢測方法。傳感器數(shù)據(jù)除具有無限、快速等典型的數(shù)據(jù)流特征外,還具有時間相關(guān)性和空間相關(guān)性等特點。針對傳感器數(shù)據(jù)的特點,本文在研究單傳感器數(shù)據(jù)異常檢測方法的基礎(chǔ)上,針對傳感器數(shù)據(jù)的時間相關(guān)性和空間性等特點,研究了多傳感器數(shù)據(jù)的異常檢測方法。提出了一種多傳感器數(shù)據(jù)的異常檢測框架,框架包括在線異常檢測和離線異常源識別兩個階段。為方便對異常點來源的識別,在傳統(tǒng)異常點分類方法的基礎(chǔ)上提出了一種新的分類方法�；谝陨涎芯�,設(shè)計了基于鄰差和聚類相結(jié)合的多傳感器異常檢測算法和基于相關(guān)關(guān)系的異常源識別算法,并通過實驗進行驗證。實驗結(jié)果表明,本文提出的算法可有效實現(xiàn)對多傳感器數(shù)據(jù)中異常點的檢測及異常點來源的識別。在實驗數(shù)據(jù)集中,異常點來源的識別準確率達95.8%。(2)研究了近紅外光譜定量分析中異常樣本的檢測方法。近紅外光譜分析由于其快速、無損等特點,已廣泛應(yīng)用于農(nóng)產(chǎn)品的品質(zhì)檢測、土壤元素含量檢測等領(lǐng)域。但另一方面近紅外光譜具有信噪比低、易受測量環(huán)境干擾等問題,異常樣本的存在進一步影響了預(yù)測模型的準確性。與常規(guī)的數(shù)據(jù)不同,近紅外光譜數(shù)據(jù)具有典型的高維特征,且各維屬性之間具有明顯的關(guān)聯(lián)關(guān)系。本文通過理論推導(dǎo)得到近紅外光譜定量分析中的光譜距離和化學(xué)值之間的關(guān)系,并基于該結(jié)論設(shè)計了一種基于XY變量聯(lián)合的ODXY異常檢測算法。通過實驗結(jié)果表明,ODXY算法相對于傳統(tǒng)的異常檢測方法具有對異常樣本具有更好的檢測能力和更好的泛化能力。根據(jù)NIR光譜的疊加性,在ODXY算法的基礎(chǔ)上經(jīng)理論進一步推導(dǎo)得到近紅外光譜多組分分析時光譜距離和所有樣本的化學(xué)值之間的關(guān)系,并提出一種專門用于近紅外光譜多組分分析的異常樣本檢測算法。經(jīng)實驗證明：在NIR光譜多組分定量分析中,MODXY法相對于其他方法具有更好的異常樣本識別能力。同時經(jīng)實驗表明：ODXY法和MODXY法具有一定的適用范圍,它們更適合于待測組分的含量值相對標準偏差較大的情況。
【學(xué)位授予單位】：中國農(nóng)業(yè)大學(xué)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2016
【分類號】：S126

【相似文獻】

相關(guān)期刊論文 前1條

1 沈逸,李小昱,雷廷武,王為;電容式水流泥沙含量傳感器數(shù)據(jù)融合的研究[J];華中農(nóng)業(yè)大學(xué)學(xué)報;2004年04期

相關(guān)會議論文 前4條

1 劉榮利;文傳博;文成林;;傳感器數(shù)據(jù)存在隨機一步延遲的線性無偏估計[A];第25屆中國控制會議論文集（中冊）[C];2006年

2 宋紹民;張振飛;王耀南;;傳感器數(shù)據(jù)的精確重構(gòu)方法及其性能研究[A];第二十九屆中國控制會議論文集[C];2010年

3 宋國民;張為公;翟羽健;;基于模糊推理誤差模型的傳感器數(shù)據(jù)分析[A];2000全國力學(xué)量傳感器及測試、計量學(xué)術(shù)交流會論文集[C];2000年

4 向堅;俞堅;葉綠;;一種基于RFID的新傳感器數(shù)據(jù)流在線清理框架[A];第六屆全國信息獲取與處理學(xué)術(shù)會議論文集（3）[C];2008年

相關(guān)博士學(xué)位論文 前2條

1 尹寶全;農(nóng)業(yè)數(shù)據(jù)處理中的異常檢測方法研究[D];中國農(nóng)業(yè)大學(xué);2016年

2 唐雅娟;發(fā)動機試驗傳感器數(shù)據(jù)證實的軟計算方法與系統(tǒng)實現(xiàn)研究[D];國防科學(xué)技術(shù)大學(xué);2007年

相關(guān)碩士學(xué)位論文 前10條

1 陳冬;基于手機傳感器數(shù)據(jù)的道路擁擠程度分析[D];西南交通大學(xué);2015年

2 姜天宇;基于多MEMS傳感器數(shù)據(jù)融合的組合測姿系統(tǒng)的設(shè)計與實現(xiàn)[D];東南大學(xué);2015年

3 唐遠洋;基于智能手機流量與傳感器數(shù)據(jù)的用戶基礎(chǔ)屬性研究[D];電子科技大學(xué);2016年

4 朱小蘭;傳感器數(shù)據(jù)融合中的魯棒性研究[D];重慶師范大學(xué);2016年

5 羅瀟;傳感器數(shù)據(jù)補償算法的設(shè)計與實現(xiàn)[D];華中科技大學(xué);2011年

6 韓秋廷;基于粒子濾波的能量高效傳感器數(shù)據(jù)查詢處理技術(shù)[D];南京航空航天大學(xué);2012年

7 徐濤;基于發(fā)布/訂閱機制的傳感器數(shù)據(jù)分發(fā)系統(tǒng)的設(shè)計與實現(xiàn)[D];電子科技大學(xué);2011年

8 譚偉;多源信息融合技術(shù)在水上交通中的應(yīng)用研究[D];重慶交通大學(xué);2011年

9 張英杰;基于時間序列分析的隧道傳感器數(shù)據(jù)預(yù)測研究[D];西安電子科技大學(xué);2011年

10 周文雯;基于圖語法的多媒體傳感器數(shù)據(jù)融合[D];重慶郵電大學(xué);2015年

，

本文編號：1331266