K近鄰算法作為一種簡單有效且易于實(shí)現(xiàn)的機(jī)器學(xué)習(xí)算法被廣泛應(yīng)用于模式識別的各領(lǐng)域。為了提高該算法的準(zhǔn)確度和執(zhí)行效率,需要在算法設(shè)計(jì)的多個(gè)環(huán)節(jié)上進(jìn)行策略的優(yōu)化。針對提高該算法的準(zhǔn)確度,首先探討了K值的選擇問題,然后對幾種距離度量的方法進(jìn)行了分析比較,最后對分類決策規(guī)則問題進(jìn)行了闡述。針對提高算法的執(zhí)行效率,從樣本數(shù)篩選、維度降低和搜索空間優(yōu)化三個(gè)方面進(jìn)行了分析,從而降低了該算法的計(jì)算復(fù)雜度。

【文章頁數(shù)】：4 頁

【部分圖文】：

圖1不同K值的K近鄰效果圖

既然K值既不能太小也不能太大，那應(yīng)該如何選擇。很顯然，我們希望得到如圖1中實(shí)線中圓圈所示對應(yīng)的K等于9的值。解決方式一種是使用交叉驗(yàn)證[3]。交叉驗(yàn)證是一種常用的模型選擇方法，它的基本思想就是通過多次反復(fù)將數(shù)據(jù)集分為一部分訓(xùn)練集，另一部分為測試集，然后嘗試在這些訓(xùn)練集中取不同的K....

圖2采用距離加權(quán)的K近鄰效果圖

這樣，決定待測點(diǎn)的分類就不僅僅是考慮哪個(gè)類的數(shù)量多了，還要綜合考慮它們離待測點(diǎn)的距離因素。采用加權(quán)法之后，如圖2的情況，待測點(diǎn)的類別很可能就屬于圓形了。因?yàn)楸M管虛線圓圈內(nèi)圓形數(shù)量不占優(yōu)勢，但加權(quán)考慮距離后勝出。4計(jì)算復(fù)雜度的解決

本文編號：3983385