基于二元人工魚群算法的屬性選擇與集成剪枝及應(yīng)用研究

發(fā)布時間：2020-03-23 14:55

【摘要】：數(shù)據(jù)預(yù)處理與數(shù)據(jù)挖掘技術(shù)是挖掘復(fù)雜數(shù)據(jù)中有價值的知識和信息的關(guān)鍵環(huán)節(jié),其中屬性選擇是數(shù)據(jù)預(yù)處理環(huán)節(jié)中的重要技術(shù)之一,集成學(xué)習(xí)也是數(shù)據(jù)挖掘環(huán)節(jié)中的關(guān)鍵技術(shù)之一。屬性選擇可以在保持原始數(shù)據(jù)信息不丟失的條件下,保留原始數(shù)據(jù)中關(guān)鍵屬性,約簡冗余、不相關(guān)的屬性,避免數(shù)據(jù)挖掘過程中出現(xiàn)維數(shù)災(zāi)難,從而提高數(shù)據(jù)處理的效率。集成學(xué)習(xí)是機器學(xué)習(xí)中的一種范式,其通過某種規(guī)則組合多個基分類器,從而獲得比單個分類器分類性能更優(yōu)的集成分類器,有效地解決數(shù)據(jù)挖掘中的分類預(yù)測問題。集成學(xué)習(xí)被廣泛應(yīng)用在諸多領(lǐng)域,但隨著基分類器數(shù)目和分類預(yù)測問題數(shù)據(jù)規(guī)模的快速增長,帶來了大量的計算開銷。為了有效地解決上述缺陷,學(xué)者們提出了集成剪枝技術(shù),并且進一步提升了集成分類器性能。屬性選擇主要包括四個方面:屬性子集評估度量準則、搜索策略、終止條件和驗證過程,其中評估度量準則和搜索策略的選取是兩個關(guān)鍵問題。針對屬性子集評估度量準則的選擇問題,需要尋找一種較為有效的準則,發(fā)現(xiàn)原始數(shù)據(jù)中的本質(zhì)特征,使得所選擇的屬性子集與原始數(shù)據(jù)集保持極大的相似性,提高數(shù)據(jù)集的分類效果,提升數(shù)據(jù)處理的效率;針對搜索策略的選取問題,搜索策略需要具有易實現(xiàn)、魯棒性強和搜索能力強等特點。鑒于上述特點,本文選擇分形理論作為屬性子集評估度量準則,二元人工魚群算法作為搜索策略,求解屬性選擇問題;本文針對二元人工魚群算法中存在的缺陷,進行了一系列的改進,并結(jié)合分形理論應(yīng)用于求解屬性選擇問題中。集成剪枝旨在從集成系統(tǒng)中選取基分類器最優(yōu)子集合,并采用某種規(guī)則進行集成,以提高集成分類器的性能,同時大幅減少計算開銷。目前國內(nèi)外主流的集成剪枝方法通常單獨采用差異性測度或者啟發(fā)式搜索算法,進行集成剪枝�；诓町愋詼y度的集成剪枝方法,輔以不同的策略,難以準確地找到集成系統(tǒng)中的最優(yōu)子集成;基于啟發(fā)式搜索算法的集成剪枝方法,無法對數(shù)目龐大基分類器子集合進行窮盡搜索,難以搜索到最優(yōu)子集成。為了克服上述缺陷,本文提出了融合差異性測度和啟發(fā)式搜索算法的集成剪枝思想,其先采用差異性測度對集成系統(tǒng)中的基分類器進行預(yù)剪枝,大幅降低集成剪枝問題的計算復(fù)雜度,再運用啟發(fā)式搜索算法進行二次剪枝。考慮到雙錯測度在衡量基分類器差異性方面的突出性能,以及二元人工魚群算法在搜索效率方面的優(yōu)勢,將二者結(jié)合起來,應(yīng)用于集成剪枝問題中。本文的主要研究工作和成果總結(jié)如下:(1)將一種位置更新策略引入人工魚群算法中,并改進其聚群、覓食行為,同時引入跳出局部最優(yōu)策略和并行機制,避免算法陷入局部最優(yōu),并增加種群多樣性,提高算法的收斂速度和精度,提出了并行二元人工魚群算法,然后結(jié)合分形維數(shù),對霧霾數(shù)據(jù)集中的屬性進行選擇,保留關(guān)鍵屬性,大幅降低霧霾數(shù)據(jù)集的維數(shù),提高霧霾數(shù)據(jù)集的處理效率。在北京、上海和廣州三地區(qū)的霧霾數(shù)據(jù)上進行測試,結(jié)果表明了該方法的有效性和可行性。(2)采用佳點集初始化人工魚群算法的種群,使其均勻分布在二元解空間中,并賦予每條人工魚一定的游速,使其更加符合自然界魚類的行為,同時引入種群間的競爭和合作機制,增加種群的多樣性,提高算法的搜索效率,提出了協(xié)同進化二元人工魚群算法,結(jié)合多重分形維數(shù),對霧霾數(shù)據(jù)集進行約簡,避免了維數(shù)災(zāi)難,節(jié)約了大量的資源,并使用極限學(xué)習(xí)機對約簡后的霧霾數(shù)據(jù)集進行預(yù)測。在北京、上海和廣州三地區(qū)霧霾數(shù)據(jù)集進行實驗,實驗結(jié)果表明了所提出方法的有效性和可信性。(3)計算已構(gòu)建的基分類器池中基分類器的雙錯測度,并得出整體平均值,剔除雙錯測度大于平均值的基分類器,實現(xiàn)基分類器池的預(yù)剪枝,降低集成剪枝的計算復(fù)雜度;改進人工魚的移動方式,引入種群內(nèi)的競爭和協(xié)作機制,提升了算法的搜索效率,提出了改進二元人工魚群算法;運用改進二元人工魚群算法對預(yù)剪枝后的基分類器進行二次剪枝,以達到集成剪枝的目的。在16個UCI數(shù)據(jù)集上的實驗結(jié)果驗證了該方法的穩(wěn)定性和有效性,并應(yīng)用于北京、上海和廣州地區(qū)的霧霾預(yù)測中。(4)先計算基分類器池中每一個基分類器的雙錯測度,并保留前25個雙錯測度較小的基分類器,完成基分類器池的預(yù)剪枝過程,大幅降低集成剪枝的計算開銷;改進人工魚的移動方式,引入反向搜索行為、競爭行為和跳躍行為,增加了種群的多樣性,避免算法陷入局部最優(yōu),提出了反向二元人工魚算法;采用二元人工魚群算法對預(yù)剪枝后剩余的25個基分類器進行二次剪枝,以達到精確剪枝的目的。在25個UCI數(shù)據(jù)上的實驗結(jié)果驗證了方法的有效性和顯著性,并應(yīng)用于北京、上海和廣州地區(qū)的霧霾預(yù)測中。
【圖文】：

人工魚群算法,預(yù)測問題,屬性選擇,論文

邐第一章緒論邐逡逑論文提出了協(xié)同進化二元人工魚群算法，增加了種群多樣性，提高了算法收斂速逡逑度和精度。結(jié)合多重分形維數(shù)，進行求解屬性選擇問題，并應(yīng)用于北京、上海和逡逑廣州地區(qū)霧霾數(shù)據(jù)集中，并使用極限學(xué)習(xí)機進行霧霾預(yù)測，表明了該方法的有效逡逑性和可信性。為霧霾數(shù)據(jù)的屬性選擇和預(yù)測問題提供了一種新的方法；逡逑３、針對目前主流集成剪枝方法難以搜索到較優(yōu)的子集成等問題，論文提出了逡逑基于改進二元人工魚群算法和雙錯測度的集成剪枝方法，先采用雙錯測度預(yù)剪枝逡逑雙錯測度大于均值的基分類器；再運用改進二元人工魚群算法進行二次剪枝。在逡逑１６個ＵＣＩ數(shù)據(jù)集上進行性能測試后，應(yīng)用于北京、上海和廣州地區(qū)的霧霾預(yù)測問逡逑題中。為霧霾預(yù)測問題提供了一種重要的方法；逡逑４、針對目前主流集成剪枝方法無法實現(xiàn)精確剪枝等問題，論文提出了基于反逡逑向二元人工魚算法和雙錯測度的集成剪枝方法，先采用雙錯測度保留了前２５個雙逡逑錯測度較小的基分類器；再采用反向二元人工魚群算法進行精確剪枝。在２５個逡逑ＵＣ丨數(shù)據(jù)上進行性能測試后，應(yīng)用于北京、上海和廣州地區(qū)的霧霾預(yù)測問題中。逡逑為霧霾預(yù)測問題提供了一種新穎的解決思路。逡逑

人工魚群算法,屬性選擇,方法,參數(shù)