本文關(guān)鍵詞：SOM，由筆耕文化傳播整理發(fā)布。

Self Organizing Maps (SOM): 一種基于神經(jīng)網(wǎng)絡(luò)的聚類算法

自組織映射神經(jīng)網(wǎng)絡(luò)， 即Self Organizing Maps (SOM)， 可以對(duì)數(shù)據(jù)進(jìn)行無(wú)監(jiān)督學(xué)習(xí)聚類。它的思想很簡(jiǎn)單，，本質(zhì)上是一種只有輸入層--隱藏層的神經(jīng)網(wǎng)絡(luò)。隱藏層中的一個(gè)節(jié)點(diǎn)代表一個(gè)需要聚成的類。訓(xùn)練時(shí)采用“競(jìng)爭(zhēng)學(xué)習(xí)”的方式，每個(gè)輸入的樣例在隱藏層中找到一個(gè)和它最匹配的節(jié)點(diǎn)，稱為它的激活節(jié)點(diǎn)，也叫“winning neuron”。 緊接著用隨機(jī)梯度下降法更新激活節(jié)點(diǎn)的參數(shù)。同時(shí)，和激活節(jié)點(diǎn)臨近的點(diǎn)也根據(jù)它們距離激活節(jié)點(diǎn)的遠(yuǎn)近而適當(dāng)?shù)馗聟?shù)。

所以，SOM的一個(gè)特點(diǎn)是，隱藏層的節(jié)點(diǎn)是有拓?fù)潢P(guān)系的。這個(gè)拓?fù)潢P(guān)系需要我們確定，如果想要一維的模型，那么隱藏節(jié)點(diǎn)依次連成一條線；如果想要二維的拓?fù)潢P(guān)系，那么就行成一個(gè)平面，如下圖所示（也叫Kohonen Network）：

既然隱藏層是有拓?fù)潢P(guān)系的，所以我們也可以說(shuō)，SOM可以把任意維度的輸入離散化到一維或者二維(更高維度的不常見(jiàn))的離散空間上。 Computation layer里面的節(jié)點(diǎn)與Input layer的節(jié)點(diǎn)是全連接的。

拓?fù)潢P(guān)系確定后，開(kāi)始計(jì)算過(guò)程，大體分成幾個(gè)部分：

1） 初始化：每個(gè)節(jié)點(diǎn)隨機(jī)初始化自己的參數(shù)。每個(gè)節(jié)點(diǎn)的參數(shù)個(gè)數(shù)與Input的維度相同。

2）對(duì)于每一個(gè)輸入數(shù)據(jù)，找到與它最相配的節(jié)點(diǎn)。假設(shè)輸入時(shí)D維的， 即 X={x_i, i=1,...,D}，那么判別函數(shù)可以為歐幾里得距離：

3) 找到激活節(jié)點(diǎn)I(x)之后，我們也希望更新和它臨近的節(jié)點(diǎn)。令S_ij表示節(jié)點(diǎn)i和j之間的距離，對(duì)于I(x)臨近的節(jié)點(diǎn)，分配給它們一個(gè)更新權(quán)重：

簡(jiǎn)單地說(shuō)，臨近的節(jié)點(diǎn)根據(jù)距離的遠(yuǎn)近，更新程度要打折扣。

4）接著就是更新節(jié)點(diǎn)的參數(shù)了。按照梯度下降法更新：

迭代，直到收斂。

與K-Means的比較

同樣是無(wú)監(jiān)督的聚類方法，SOM與K-Means有什么不同呢？

（1）K-Means需要事先定下類的個(gè)數(shù)，也就是K的值。 SOM則不用，隱藏層中的某些節(jié)點(diǎn)可以沒(méi)有任何輸入數(shù)據(jù)屬于它。所以，K-Means受初始化的影響要比較大。

（2）K-means為每個(gè)輸入數(shù)據(jù)找到一個(gè)最相似的類后，只更新這個(gè)類的參數(shù)。SOM則會(huì)更新臨近的節(jié)點(diǎn)。所以K-mean受noise data的影響比較大，SOM的準(zhǔn)確性可能會(huì)比k-means低（因?yàn)橐哺铝伺R近節(jié)點(diǎn)）。

（3） SOM的可視化比較好。優(yōu)雅的拓?fù)潢P(guān)系圖 。

參考文獻(xiàn)：~jxb/NN/l16.pdf

posted on

  本文關(guān)鍵詞：SOM，由筆耕文化傳播整理發(fā)布。