基于類劃分和近鄰選取的k近鄰算法研究
發(fā)布時間:2021-05-18 08:23
在大數(shù)據(jù)時代,怎樣從海量數(shù)據(jù)中挖掘出有用信息已經(jīng)成為大眾廣泛關注的一個焦點問題,數(shù)據(jù)挖掘技術為解決該問題提供了一個有效途徑。數(shù)據(jù)分類是數(shù)據(jù)挖掘中的一個重要方法,其中k近鄰分類算法憑借其簡單、易操作等優(yōu)點被人們廣泛應用。但與此同時,k近鄰分類算法也存在著對k值選取敏感、易受不平衡數(shù)據(jù)影響和距離度量選取過于簡單等問題。本文主要在k近鄰分類算法和基于局部均值的k近鄰分類算法的基礎上,利用群智能優(yōu)化和稀疏表示等技術對k近鄰分類算法進行改進,來克服原始算法的一些缺陷,進而提升算法的分類性能。具體研究內容和研究結果如下:1.針對基本的蚱蜢優(yōu)化算法易陷入局部最優(yōu)和收斂精度不高等問題,提出了一種改進的蚱蜢優(yōu)化算法。首先,利用混沌反向學習初始化策略,產(chǎn)生了一群較優(yōu)的初始種群;利用自然指數(shù)遞減策略,平衡了算法的勘測和開發(fā)能力;利用高斯變異策略,克服了算法的易陷入局部最優(yōu)的問題。然后,利用10個基準測試函數(shù)進行實驗,結果表明,改進的算法具有較高的收斂效率和求解精度。最后,針對距離加權k近鄰算法對距離度量的依賴性過高,生成的權重具有一定的隨機性等問題,提出了一種基于改進的蚱蜢優(yōu)化算法的距離加權k近鄰算法,利用...
【文章來源】:西安理工大學陜西省
【文章頁數(shù)】:79 頁
【學位級別】:碩士
【文章目錄】:
摘要
Abstract
1 緒論
1.1 研究背景與意義
1.1.1 研究背景
1.1.2 研究意義
1.2 國內外研究現(xiàn)狀
1.2.1 k近鄰算法國內外研究現(xiàn)狀
1.2.2 蚱蜢優(yōu)化算法國內外研究現(xiàn)狀
1.3 本文主要研究工作
1.4 本文組織結構
2 預備知識
2.1 k近鄰分類算法及其相關概念
2.1.1 基本概念
2.1.2 鄰近度度量
2.1.3 評價方法和指標
2.2 蚱蜢優(yōu)化算法
2.2.1 蚱蜢優(yōu)化算法的基本概念
2.2.2 蚱蜢優(yōu)化算法的應用領域
2.3 本章小結
3 基于改進的蚱蜢優(yōu)化算法的距離加權k近鄰算法
3.1 改進的蚱蜢優(yōu)化算法
3.1.1 算法的基本思想
3.1.2 混沌反向學習初始化策略
3.1.3 自然指數(shù)遞減策略
3.1.4 高斯變異策略
3.1.5 改進算法的描述
3.1.6 IGOA的實驗與分析
3.2 基于改進的蚱蜢優(yōu)化算法的距離加權k近鄰算法
3.2.1 算法的基本思想
3.2.2 距離加權的k近鄰算法
3.2.3 算法的基本描述
3.2.4 IGOA-DWKNN的實驗與分析
3.3 本章小結
4 基于互信息相關度和局部均值的k近鄰改進算法
4.1 算法的基本思想
4.1.1 基于互信息相關度的屬性權重
4.1.2 基于局部均值的類劃分策略
4.1.3 算法步驟
4.2 實驗結果與分析
4.2.1 實驗目的
4.2.2 實驗結果
4.3 本章小結
5 基于屬性加權和稀疏系數(shù)的調和近鄰算法
5.1 算法的基本思想
5.2 基于屬性權重和稀疏系數(shù)的調和近鄰算法
5.2.1 相關概念
5.2.2 綜合屬性權重
5.2.3 兩步近鄰選取策略
5.2.4 近鄰樣本代表性分析
5.2.5 算法步驟
5.3 實驗與分析
5.3.1 實驗環(huán)境
5.3.2 標準數(shù)據(jù)集
5.3.3 含噪數(shù)據(jù)集
5.3.4 Wilcoxon符號秩檢驗
5.3.5 算法復雜度分析
5.4 本章小結
6 總結與展望
6.1 主要研究結果
6.2 展望
致謝
參考文獻
攻讀碩士學位期間主要研究成果
【參考文獻】:
期刊論文
[1]基于改進K-modes聚類的KNN分類算法[J]. 王志華,劉紹廷,羅齊. 計算機工程與設計. 2019(08)
[2]改進多元宇宙算法求解大規(guī)模實值優(yōu)化問題[J]. 劉小龍. 電子與信息學報. 2019(07)
[3]基于聚類的環(huán)形kNN算法[J]. 匡振曦,武繼剛,李嘉興. 計算機工程與科學. 2019(05)
[4]基于GOA-SVM的短期負荷預測[J]. 宮毓斌,滕歡. 電測與儀表. 2019(14)
[5]KNN算法綜述[J]. 竇小凡. 通訊世界. 2018(10)
[6]模型決策樹:一種決策樹加速算法[J]. 尹儒,門昌騫,王文劍,劉澍澤. 模式識別與人工智能. 2018(07)
[7]基于類別信息熵加權的MKNN算法[J]. 陳雪云,劉艷芳,柯婷,張劍楠. 數(shù)碼設計. 2017(01)
[8]卷積神經(jīng)網(wǎng)絡研究綜述[J]. 周飛燕,金林鵬,董軍. 計算機學報. 2017(06)
[9]大數(shù)據(jù)關聯(lián)關系度量研究綜述[J]. 錢宇華,成紅紅,梁新彥,王建新. 數(shù)據(jù)采集與處理. 2015(06)
[10]用于大數(shù)據(jù)分類的KNN算法研究[J]. 耿麗娟,李星毅. 計算機應用研究. 2014(05)
碩士論文
[1]基于蚱蜢優(yōu)化和最小二乘支持向量機的電力負荷預測研究[D]. 張育凡.蘭州大學 2018
[2]基于互信息的屬性選擇算法研究[D]. 郭衍奎.北京交通大學 2015
本文編號:3193473
【文章來源】:西安理工大學陜西省
【文章頁數(shù)】:79 頁
【學位級別】:碩士
【文章目錄】:
摘要
Abstract
1 緒論
1.1 研究背景與意義
1.1.1 研究背景
1.1.2 研究意義
1.2 國內外研究現(xiàn)狀
1.2.1 k近鄰算法國內外研究現(xiàn)狀
1.2.2 蚱蜢優(yōu)化算法國內外研究現(xiàn)狀
1.3 本文主要研究工作
1.4 本文組織結構
2 預備知識
2.1 k近鄰分類算法及其相關概念
2.1.1 基本概念
2.1.2 鄰近度度量
2.1.3 評價方法和指標
2.2 蚱蜢優(yōu)化算法
2.2.1 蚱蜢優(yōu)化算法的基本概念
2.2.2 蚱蜢優(yōu)化算法的應用領域
2.3 本章小結
3 基于改進的蚱蜢優(yōu)化算法的距離加權k近鄰算法
3.1 改進的蚱蜢優(yōu)化算法
3.1.1 算法的基本思想
3.1.2 混沌反向學習初始化策略
3.1.3 自然指數(shù)遞減策略
3.1.4 高斯變異策略
3.1.5 改進算法的描述
3.1.6 IGOA的實驗與分析
3.2 基于改進的蚱蜢優(yōu)化算法的距離加權k近鄰算法
3.2.1 算法的基本思想
3.2.2 距離加權的k近鄰算法
3.2.3 算法的基本描述
3.2.4 IGOA-DWKNN的實驗與分析
3.3 本章小結
4 基于互信息相關度和局部均值的k近鄰改進算法
4.1 算法的基本思想
4.1.1 基于互信息相關度的屬性權重
4.1.2 基于局部均值的類劃分策略
4.1.3 算法步驟
4.2 實驗結果與分析
4.2.1 實驗目的
4.2.2 實驗結果
4.3 本章小結
5 基于屬性加權和稀疏系數(shù)的調和近鄰算法
5.1 算法的基本思想
5.2 基于屬性權重和稀疏系數(shù)的調和近鄰算法
5.2.1 相關概念
5.2.2 綜合屬性權重
5.2.3 兩步近鄰選取策略
5.2.4 近鄰樣本代表性分析
5.2.5 算法步驟
5.3 實驗與分析
5.3.1 實驗環(huán)境
5.3.2 標準數(shù)據(jù)集
5.3.3 含噪數(shù)據(jù)集
5.3.4 Wilcoxon符號秩檢驗
5.3.5 算法復雜度分析
5.4 本章小結
6 總結與展望
6.1 主要研究結果
6.2 展望
致謝
參考文獻
攻讀碩士學位期間主要研究成果
【參考文獻】:
期刊論文
[1]基于改進K-modes聚類的KNN分類算法[J]. 王志華,劉紹廷,羅齊. 計算機工程與設計. 2019(08)
[2]改進多元宇宙算法求解大規(guī)模實值優(yōu)化問題[J]. 劉小龍. 電子與信息學報. 2019(07)
[3]基于聚類的環(huán)形kNN算法[J]. 匡振曦,武繼剛,李嘉興. 計算機工程與科學. 2019(05)
[4]基于GOA-SVM的短期負荷預測[J]. 宮毓斌,滕歡. 電測與儀表. 2019(14)
[5]KNN算法綜述[J]. 竇小凡. 通訊世界. 2018(10)
[6]模型決策樹:一種決策樹加速算法[J]. 尹儒,門昌騫,王文劍,劉澍澤. 模式識別與人工智能. 2018(07)
[7]基于類別信息熵加權的MKNN算法[J]. 陳雪云,劉艷芳,柯婷,張劍楠. 數(shù)碼設計. 2017(01)
[8]卷積神經(jīng)網(wǎng)絡研究綜述[J]. 周飛燕,金林鵬,董軍. 計算機學報. 2017(06)
[9]大數(shù)據(jù)關聯(lián)關系度量研究綜述[J]. 錢宇華,成紅紅,梁新彥,王建新. 數(shù)據(jù)采集與處理. 2015(06)
[10]用于大數(shù)據(jù)分類的KNN算法研究[J]. 耿麗娟,李星毅. 計算機應用研究. 2014(05)
碩士論文
[1]基于蚱蜢優(yōu)化和最小二乘支持向量機的電力負荷預測研究[D]. 張育凡.蘭州大學 2018
[2]基于互信息的屬性選擇算法研究[D]. 郭衍奎.北京交通大學 2015
本文編號:3193473
本文鏈接:http://sikaile.net/shoufeilunwen/xixikjs/3193473.html
最近更新
教材專著