傳統(tǒng)聚類算法無法有效處理高維數(shù)據(jù)并且具有較高的計(jì)算復(fù)雜度,基于這兩個(gè)問題提出了子空間聚類算法,但是子空間聚類算法在處理非線性數(shù)據(jù)上效果具有限制,盡管已經(jīng)引入了內(nèi)核技巧,但是并沒有足夠的理由確定內(nèi)核相對應(yīng)的隱式特征空間是適合子空間聚類的。由于深度學(xué)習(xí)的發(fā)展,基于深度神經(jīng)網(wǎng)絡(luò)的聚類方法由于具有很高的表示能力,能夠有效進(jìn)行特征處理,本文對深度子空間聚類算法進(jìn)行了研究,具體研究內(nèi)容如下:（1）研究了基于去噪自編碼器的深度子空間聚類算法。我們引入去噪自編碼器使學(xué)習(xí)到的表示更有魯棒性,通過網(wǎng)絡(luò)分層堆疊的非線性變換學(xué)習(xí)潛在空間,在潛在空間用自表示層學(xué)習(xí)用于子空間聚類的相似度矩陣,之后采用譜聚類完成聚類。所提出的方法由于非線性表示能力而具有更好的泛化性能,特別適用于具有顯著相關(guān)性的高維數(shù)據(jù)的情況,實(shí)驗(yàn)結(jié)果證明,該模型對于子空間聚類具有有效性。（2）研究了一種改進(jìn)的深度子空間聚類算法。該方法基于深度子空間聚類網(wǎng)絡(luò)（DSC）,并針對其特征損失過大從而影響聚類結(jié)果問題進(jìn)行改進(jìn),有效改善特征提取問題。該模型在卷積自編碼器的編碼器與解碼器部分分別加入完全連接層作為下采樣層與上采樣層,使之能進(jìn)一步整合有效特征以及... 

【文章來源】：中國礦業(yè)大學(xué)江蘇省 211工程院校 教育部直屬院校

【文章頁數(shù)】：62 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖１－１?ＤＡＣＥＣ模型結(jié)構(gòu)??Ｆｉｇｕｒｅ?１－１?ＤＡＣＥＣ’ｓ?ｍｏｄｅｌ?ｓｔｒｕｃｔｕｒｅ??

?Ｊｐｌｉ?士．???＾練??＊?＊??圖２－１?＿于倉編碼器的聚類結(jié)構(gòu)??Ｆｉｇｕｒｅ?２－１?Ｃｌｕｓｔｅｒｉｎｇ?ｓｔｒｕｃｔｕｒｅ?ｂａｓｅｄ?ｏｎ?ａｕｔｏ－ｅｎｃｏｄｅｒ??（５）?ＧＡＮ＆ＶＡＥ??生成對抗網(wǎng)絡(luò)（ＧＡＮ）和變分自動(dòng)編碼器（ＶＡＥ）是深度生成學(xué)習(xí)的最強(qiáng)大??框架。生成對抗網(wǎng)絡(luò)的目標(biāo)是在生成器和鑒別器之間達(dá)到平衡，而變分ｆｔ動(dòng)編碼??器則試圖最大化對數(shù)似然的下界。目前已經(jīng)為ＧＡＮ和ＶＡＥ開發(fā)了系列模型??擴(kuò)展，此外，它們還已經(jīng)應(yīng)用于處理聚類任務(wù)。??生成對抗網(wǎng)絡(luò)是近年來流行的一種深度生成模型，ＧＡＮ框架在神經(jīng)網(wǎng)絡(luò)之??時(shí)建立了最�。畲髮共┺模阂粋�(gè)生成網(wǎng)絡(luò)Ｇ和一個(gè)判別網(wǎng)絡(luò)Ｄ。該生成網(wǎng)絡(luò)??嘗試將樣本ｚ從先前分布ｐ〇）映射到數(shù)據(jù)雙間》而判別網(wǎng)絡(luò)嘗試根據(jù)數(shù)據(jù)分布計(jì)??算輸入是真實(shí)樣本而不是生成網(wǎng)絡(luò)生產(chǎn)數(shù)據(jù)的概率，優(yōu)化目標(biāo)如下面公式（２－３）??所示，可以交替使用ＳＧＤ優(yōu)化生成器Ｇ和判別器ＧＡＮ提供了一種對抗性的??解決方案，可以將數(shù)據(jù)或其表示的分布與任意先驗(yàn)分布進(jìn)行匹配。近年來，已經(jīng)??提出了許多塞于ＧＡＮ的聚類算法，其中一些算法特定于聚類任務(wù)，而另一些僅??以聚類為特例�；冢牵粒蔚纳疃染垲愃惴ň哂校牵粒蜗嗤膯栴}，例如難以收??斂和模式崩潰。??ｍｉｎｍａｘＥｘ＾Ｐｄａｔａ［ｌｏｇＤ（ｘ）］?＋?Ｅｚ＾ｐ（ｚ）［ｌｏｇ（ｌ?－?Ｄ（Ｇ（ｚ）））］?（２－３）??變分自動(dòng)編碼器可以看成是ｆｔ動(dòng)編碼器的變體，它要求自動(dòng)編碼器的潛在部??分必須遵循＿種預(yù)定義的分布，它將變分貝葉斯方法與神經(jīng)網(wǎng)絡(luò)的靈活性和可擴(kuò)??展性結(jié)合在一起，使得神經(jīng)網(wǎng)絡(luò)能適應(yīng)條件后驗(yàn)，可以通過隨機(jī)梯度下降和標(biāo)準(zhǔn)?

?３基于去噪＿編碼器的鋅度于ｇ間聚類：算袪???如下面圖３－１所示，其中ｘ是原始數(shù)據(jù)，２是破壞以后的數(shù)據(jù)，／是編碼部分，設(shè)是??解碼部分，Ｌ是損失函數(shù)。??★???？?Ｌ（ｘ，ｘｒ）??圖３－１去噪自編碼器??Ｆｉｇｕｒｅ?３－１?Ｄｅｎｏｉｓｉｎｇ?Ａｕｔｏｅｎｃｏｄｅｒ??如前所述，通過最小化訓(xùn)練集上的平均重建誤差ＬＨ（Ｘ，Ｚ）?＝Ｈ（ＳＸ｜｜ＳＺ）來訓(xùn)??練參數(shù)，使Ｚ盡可能接近未損壞的輸入Ｘ，降噪自編碼器最關(guān)鍵的區(qū)別在于ｚ現(xiàn)在??是無的確定函數(shù)，而不是ｘ的，因此是ｘ隨機(jī)映射的結(jié)果。根據(jù)如下面公式（３－１３）??所示的來定義聯(lián)合分布，其中，Ｈｕ共ｖ時(shí)，心〇）的值為〇，園此ｒ是尤的確定函??數(shù)，ｑＱ〇，兄ｒ）的參數(shù)為０，通過隨機(jī)梯度下降最小化的目標(biāo)函數(shù)變?yōu)橄旅婀??（３－１４）所示。??ｑ°（Ｘ，Ｘ，Ｙ）?＝?ｑ°（Ｘ）ｑＤ（Ｘ＼Ｘ）８ｆｇｍ（Ｙ）?（３－１３）??ａｒｇ?ｍｉｎ?Ｅｑ〇｛ｘ＾?［ＬＨ｛Ｘ，?ｇｅ＞（ｆｇ（Ｘ）））］?（３－１４）??因此從隨機(jī)梯度下降算法的角度來看，除了從訓(xùn)練集中選取輸入樣本外，降??噪自動(dòng)編碼器還將生成一個(gè)隨機(jī)的損壞樣本，并采取梯度步驟從損壞樣本中重建??未損壞樣本，這種方式與基本的自動(dòng)編碼器不同，因此需要消除了ｄ＇＜ｄ的約束??或需要專門進(jìn)行正則化來避免這種瑣碎解決方案的約束。??３．?１．３逐層初始化和微調(diào)??墓本的自動(dòng)編碼器已被用作構(gòu)建和訓(xùn)練深度網(wǎng)絡(luò)，第ｋ眉的輸入用作第ｋ＋１??層的輸出，訓(xùn)練第ｋ＋１層的時(shí)候前面ｋ層都已訓(xùn)練過，在訓(xùn)練了幾層之后，將參??數(shù)用作針對監(jiān)督訓(xùn)練標(biāo)準(zhǔn)進(jìn)行優(yōu)化的網(wǎng)絡(luò)的初始化。已經(jīng)證明，這種貪婪的逐層??過程比深度網(wǎng)絡(luò)的隨機(jī)初始化產(chǎn)

【參考文獻(xiàn)】：
期刊論文
[1]深度學(xué)習(xí)和深度強(qiáng)化學(xué)習(xí)綜述[J]. 趙德宇.  中國新通信. 2019(15)
[2]自編碼神經(jīng)網(wǎng)絡(luò)理論及應(yīng)用綜述[J]. 袁非牛,章琳,史勁亭,夏雪,李鋼.  計(jì)算機(jī)學(xué)報(bào). 2019(01)
[3]深度卷積自編碼圖像聚類算法[J]. 謝娟英,侯琦,曹嘉文.  計(jì)算機(jī)科學(xué)與探索. 2019(04)



本文編號：3453163