隨著信息化進程的推進,大數(shù)據(jù)時代到來,如何有效地從海量數(shù)據(jù)中獲取信息成為當(dāng)前學(xué)術(shù)探討的熱點。數(shù)據(jù)挖掘作為一種獲得信息的手段被廣泛關(guān)注的同時,數(shù)據(jù)清洗逐步成為一個新的研究熱點。本文對基于約束的數(shù)據(jù)清洗方法進行研究。針對異常點的檢測問題進行研究,提出了一種基于動態(tài)規(guī)則約束的異常點檢測算法,該算法采用雙窗口限流的策略,將整個待修復(fù)序列和待預(yù)測序列的全局最優(yōu)問題分別轉(zhuǎn)化為檢測窗口和預(yù)測窗口的局部最優(yōu)問題,從而實現(xiàn)在線清洗的功能。在動態(tài)規(guī)則約束求解的過程中,對機器學(xué)習(xí)中的ELM算法進行優(yōu)化,運用優(yōu)化后的算法對速度變化率進行預(yù)測,根據(jù)引入的誤差系數(shù)θ求解動態(tài)規(guī)則。以動態(tài)規(guī)則和最小改變原則兩個約束條件,對異常點進行檢測。針對異常點的修復(fù)問題進行研究,提出了一種基于中值定理的異常點修復(fù)方法,該方法針對不同的異常點情況,擁有不同的修復(fù)策略。在針對間斷異常點的修復(fù)時,遵循中值定理和最小改變原則,將最優(yōu)修復(fù)方案轉(zhuǎn)化成尋找中間點的問題,并證明了該中間點的修復(fù)方案就是最優(yōu)修復(fù)方案;針對連續(xù)異常點的修復(fù)時,若異常點位于真實數(shù)據(jù)的上方,則采用間斷異常點修復(fù)算法的下邊界作為修復(fù)值,反之則采用上邊界作為修復(fù)值。經(jīng)過實驗... 

【文章來源】：沈陽航空航天大學(xué)遼寧省

【文章頁數(shù)】：61 頁

【學(xué)位級別】：碩士

【部分圖文】：

參數(shù)設(shè)置模塊系統(tǒng)界面圖

圖 6.3 參數(shù)設(shè)置模塊系統(tǒng)界面圖據(jù)預(yù)處理模塊處理模塊主要是完成數(shù)據(jù)格式的轉(zhuǎn)化問題。用戶將其要清洗的數(shù)數(shù)據(jù)是不斷到來的，只要將其更新到文件中即可。數(shù)據(jù)處理功能處理，分別生成清洗文件和預(yù)測文件，這個兩個文件的參數(shù)來源口的設(shè)定。預(yù)測文件的生成過程比較復(fù)雜，首先要求出速度變化算出數(shù)據(jù)集的周期性，將速度變化率和該數(shù)據(jù)集的周期性寫入文占比和預(yù)測窗口大小，對其進行分割，最終形成兩個預(yù)測文件。理結(jié)果保存的位置。數(shù)據(jù)預(yù)處理模塊界面如圖 6.4 所示：

沈陽航空航天大學(xué)碩士學(xué)位論文3) 數(shù)據(jù)清洗模塊據(jù)清洗模塊是整個系統(tǒng)的核心模塊，該模塊中的開始按鈕是清洗算法執(zhí)行清洗算法是連續(xù)執(zhí)行，直到用戶點擊停止按鈕，系統(tǒng)才會停止計算。這個要是為了實現(xiàn)對不斷到來的新數(shù)據(jù)，本系統(tǒng)可以做到自動更新獲取，真正計算功能。而且該模塊還支持用戶設(shè)置清洗結(jié)果保存路徑和保存文件的前據(jù)是不斷到來的，所以清洗結(jié)果也是不斷產(chǎn)生的，因此，執(zhí)行算法每生成文件，系統(tǒng)就會按照用戶提供的路徑和文件前綴名，對其進行保存。數(shù)據(jù)如圖 6.5 所示：


本文編號：3352894