發(fā)布時(shí)間：2017-12-22 08:32

  本文關(guān)鍵詞：自適應(yīng)模糊聚類算法及其在入侵檢測中的應(yīng)用研究　出處：《山東師范大學(xué)》2017年博士論文　論文類型：學(xué)位論文

  更多相關(guān)文章： 模糊C均值算法 特征選擇 聚類有效性 模糊指標(biāo) 特征加權(quán) 入侵檢測

【摘要】：無監(jiān)督聚類算法常用來分析未加類別標(biāo)識(shí)的入侵檢測樣本數(shù)據(jù),然后根據(jù)數(shù)據(jù)特性判斷被檢測數(shù)據(jù)是正常行為還是異常行為。然而,隨著新的攻擊類型的不斷涌現(xiàn)以及信息量的爆炸式增長,傳統(tǒng)的聚類算法已經(jīng)不能適應(yīng)入侵檢測系統(tǒng)的需要,亟需進(jìn)一步豐富和完善聚類的理論和方法。模糊C均值算法(Fuzzy C-means,FCM)是對帶約束的非線性規(guī)劃問題的優(yōu)化求解過程。該算法實(shí)現(xiàn)簡單,收斂速度快,易于擴(kuò)展,被廣泛應(yīng)用于入侵檢測領(lǐng)域。但是FCM算法還存在很多不足,具體表現(xiàn)在如下幾個(gè)方面:(1)FCM算法在低維空間能夠獲得良好的聚類效果,但是受“維度效應(yīng)”影響無法有效對高維數(shù)據(jù)聚類。實(shí)際上,在數(shù)據(jù)的眾多特征中,有大量不相關(guān)或者冗余的特征,對聚類不能或只能提供少量信息,因此選出最優(yōu)特征子集是聚類分析的必要前提。(2)FCM算法需要預(yù)先確定算法的參數(shù),例如聚類數(shù)目和模糊指標(biāo),這些參數(shù)與數(shù)據(jù)集的特點(diǎn)密切相關(guān),直接影響最終的聚類結(jié)果。如果借助于實(shí)驗(yàn)或者專家經(jīng)驗(yàn)進(jìn)行人工設(shè)置,必將使得聚類結(jié)果帶有一定的片面性和主觀性,有可能降低算法的性能。(3)FCM算法假設(shè)所有特征對聚類的貢獻(xiàn)是均衡的,而實(shí)際應(yīng)用中并非如此。并且,如果特征貢獻(xiàn)度指定不合理,會(huì)導(dǎo)致聚類結(jié)果的偏差非常大。(4)FCM算法適用于連續(xù)數(shù)據(jù)的聚類分析,而入侵檢測數(shù)據(jù)集中既有連續(xù)型特征也有離散型特征,如果不加改進(jìn)直接應(yīng)用會(huì)降低聚類的準(zhǔn)確率。以上不足使得FCM算法在入侵檢測中的應(yīng)用具有很大的局限性,因此本文以FCM算法作為研究對象,針對上述問題展開研究,主要研究內(nèi)容如下:(1)研究特征選擇技術(shù),解決高維數(shù)據(jù)空間的聚類問題最優(yōu)特征子集可以減少聚類算法的計(jì)算開銷,有效改善聚類結(jié)果的可理解性和準(zhǔn)確性,因此提出了一種基于鄰域粗糙集和遺傳算法的特征選擇算法。鄰域粗糙集模型將離散空間的等價(jià)關(guān)系擴(kuò)展到連續(xù)空間,但是鄰域參數(shù)一般都是人工設(shè)置的,所以首先提出了決策屬性集的類平均距離概念,根據(jù)數(shù)據(jù)集本身特性自動(dòng)計(jì)算出鄰域大小。其次,鄰域粗糙集模型的屬性重要度僅考慮了單個(gè)屬性對決策的影響程度,忽略了屬性與其它屬性的依賴關(guān)系對決策產(chǎn)生的影響,所以對其進(jìn)行改進(jìn)。然后,利用改進(jìn)的屬性重要度構(gòu)造遺傳算法的適應(yīng)度函數(shù),使得決策屬性集的平均屬性重要度較大,而屬性個(gè)數(shù)盡可能少,同時(shí)利用特征被選中的頻率計(jì)算交叉率,利用改進(jìn)的屬性重要度計(jì)算變異率,最終利用遺傳算法完成最優(yōu)特征子集的搜索。為了驗(yàn)證算法的可行性,在KDD CUP 99數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn),結(jié)果表明,本文提出的特征選擇算法選取的特征子集能確保FCM算法獲得較高的聚類準(zhǔn)確率。(2)研究聚類數(shù)目的自適應(yīng)獲取方法,解決參數(shù)難以預(yù)先確定的問題聚類有效性問題可以自動(dòng)確定出最佳聚類數(shù)目,其核心環(huán)節(jié)是搜索上界和聚類有效性指標(biāo)的選擇。因此,根據(jù)聚類中心局部密度較高且相距較遠(yuǎn)的特點(diǎn),首先提出一種基于局部密度的初始聚類中心選擇算法,能夠選擇出較優(yōu)的初始聚類中心,在一定程度上克服FCM算法對初始聚類中心敏感的缺陷,同時(shí)以獲得的初始聚類中心個(gè)數(shù)作為聚類數(shù)目的搜索上界,避免了使用經(jīng)驗(yàn)規(guī)則設(shè)置帶來的問題。其次,結(jié)合簇內(nèi)緊密和簇間分離的特性,提出一個(gè)新的模糊聚類有效性指標(biāo),通過引入的懲罰函數(shù)抑制了當(dāng)nc?時(shí)指標(biāo)值下降的趨勢且使其永不為0。在此基礎(chǔ)上,提出了自適應(yīng)最佳聚類數(shù)目的FCM算法。實(shí)驗(yàn)結(jié)果表明,該算法不僅能夠自動(dòng)確定較優(yōu)的聚類數(shù)目,而且能夠有效地提高FCM算法的收斂速度,減少迭代運(yùn)行FCM算法的次數(shù)。(3)研究模糊指標(biāo)的自適應(yīng)優(yōu)選方法,解決參數(shù)需要人工指定的問題模糊指標(biāo)是模糊聚類算法的重要參數(shù),與算法的性能密切相關(guān)。首先提出了改進(jìn)的模糊相關(guān)度用來衡量簇間的相關(guān)程度,在此基礎(chǔ)上定義了新的聚類有效性函數(shù)用來評價(jià)模糊劃分的質(zhì)量,然后提出了一種自適應(yīng)m值的FCM算法,利用改進(jìn)的粒子群算法的全局搜索能力實(shí)現(xiàn)聚類中心和模糊指標(biāo)的自適應(yīng)尋優(yōu)。改進(jìn)的粒子群算法基于動(dòng)態(tài)慣性權(quán)重和學(xué)習(xí)因子更新速度和位置,并引入了遺傳算法的變異操作保持粒子的多樣性,防止算法過早收斂。實(shí)驗(yàn)結(jié)果表明,自適應(yīng)m值的FCM算法能夠自動(dòng)計(jì)算出m的最優(yōu)值,同時(shí)獲得較好的聚類結(jié)果。(4)研究混合特征數(shù)據(jù)集的自適應(yīng)特征加權(quán)方法,解決特征貢獻(xiàn)不平衡的問題粗糙集和模糊集在處理不確定問題上具有互補(bǔ)性,因此將粗糙集模型與FCM算法相融合。粗糙集的閾值?如何取值是算法的關(guān)鍵因素,通常是人工設(shè)置,因此引入陰影集理論,利用最小化目標(biāo)函數(shù)自動(dòng)獲取最優(yōu)?值來指導(dǎo)聚類�；诖植诩完幱凹碚�,首先提出模糊分布質(zhì)心概念表示離散特征的聚類中心,擴(kuò)展FCM算法使其能夠同時(shí)處理具有連續(xù)型和離散型特征的數(shù)據(jù),然后根據(jù)特征對不同簇貢獻(xiàn)程度不同,并結(jié)合簇的緊致性和分離性原則定義了新的加權(quán)目標(biāo)函數(shù)。在特征加權(quán)的FCM算法中,特征權(quán)重的學(xué)習(xí)是關(guān)鍵步驟。因此,將特征權(quán)重作為變量在聚類過程中進(jìn)行優(yōu)化,提出了一種自適應(yīng)混合特征加權(quán)的FCM算法。實(shí)驗(yàn)結(jié)果表明,該算法能夠有效地應(yīng)用于異構(gòu)的混合型數(shù)據(jù)集。
【學(xué)位授予單位】：山東師范大學(xué)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2017
【分類號】：TP393.08;TP311.13

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 鄭欣;林學(xué)，

本文編號：1319120