維數(shù)約簡（即降維）是機器學習的基本任務(wù)之一。降維旨在從高維原始樣本空間中提取或選擇關(guān)鍵的低維特征,從而解決高維特征導致的維數(shù)災(zāi)難問題。以主成分分析（PCA）和線性鑒別分析（LDA）為代表的傳統(tǒng)特征提取方法,由于是基于數(shù)據(jù)全局結(jié)構(gòu)來提取低維特征,當高維數(shù)據(jù)的分布有著明顯的局部性或有近似流形結(jié)構(gòu)時,傳統(tǒng)特征提取方法的效果往往不佳。而基于流形學習的特征提取方法卻能夠保持高維空間的局部幾何結(jié)構(gòu),有可能獲得更好的分類性能,但仍存在不足。通過分析比較這些方法的優(yōu)缺點,本文總結(jié)出它們存在的三個問題。第一,以LDA為代表的一些方法會存在小類別問題,即在數(shù)據(jù)樣本類別數(shù)較小時,學到的投影個數(shù)會受到限制。第二,這些方法有的開始將稀疏約束引入到流形學習,即通過正則項來約束學到的投影,使之具備稀疏的特性,但其中很多方法是以₁L范數(shù)正則項來獲取稀疏性,而不具一致稀疏性。第三,大部分方法使用₂L范數(shù)來度量損失,導致算法對數(shù)據(jù)野點較為敏感,而真實數(shù)據(jù)常常存在噪聲,因此需要更多地考慮如何提升算法的魯棒性。針對上述總結(jié)的三個問題,基于流形學習和聯(lián)合稀疏學習理論和方法,本文提出了... 

【文章來源】：深圳大學廣東省

【文章頁數(shù)】：77 頁

【學位級別】：碩士

【部分圖文】：

機器學習算法流程圖

基于聯(lián)合稀疏投影的圖像特征提取712211mdijFijPP===∑∑。(2.2)我們在此重點分析2,1L范數(shù)能夠具備聯(lián)合稀疏特性的原因。先給出2,1L的定義，假定一個投影矩陣[]12=,,...,mdidPppppR×,...,∈投影向量m1ipR×∈為m維列向量，則22,11112dmdiijijiPPp====∑=∑∑。(2.3)其中ip是矩陣P的第i個行向量。由2,1L范數(shù)定義可知，2,1L范數(shù)是一個介于F范數(shù)和1L范數(shù)之間的范數(shù)定義。2,1L范數(shù)如果用于正則化投影矩陣，就能夠約束每一個行向量的2L范數(shù)最小，能夠直接希望獲得行內(nèi)盡可能取零的聯(lián)合稀疏性效果，以及和2L范數(shù)正則項中加強模型魯棒性的雙重優(yōu)點。我們定義投影矩陣×P∈Rmd，投影矩陣P的基向量為m維行向量。我們假定投影矩陣具有聯(lián)合稀疏性即列稀疏，矩陣中某些列向量全為零，樣本矩陣為×X∈Rmn，一個樣本為一個列向量，新的特征矩陣用×Z∈Rdn來定義，線性特征提取的公式就相當于如下式=TZPX。(2.4)如圖2.1所示，假設(shè)投影矩陣P中第1、3、6列出現(xiàn)全為零的列稀疏(聯(lián)合稀疏)特性，通過線性投影操作之后將得到新的特征矩陣Z，原始樣本矩陣X中用不同顏色的第1、3、6行表示不同的特征，會發(fā)現(xiàn)在新的特征矩陣Z中本來對應(yīng)不同顏色的特征被篩選掉。圖2.1聯(lián)合稀疏特性直觀圖

基于聯(lián)合稀疏投影的圖像特征提取283.4實驗驗證在本章，我們將新提出的JSLPP方法在三個公開的圖像圖像庫上對其算法有效性進行實驗驗證，我們采取的圖像庫分別是AR和ORL人臉圖像庫、COIL100物體檢測圖像圖像庫[50]。我們分別在人臉和物體兩種類型的圖像圖像庫來測驗算法的性能。同時與已提出的一些相關(guān)的線性特征提取算法進行對比，包括一些傳統(tǒng)的特征提取方法和基于流形學習的線性特征提取方法等。3.4.1實驗設(shè)置和說明在實驗中，我們首先給出我們的實驗流程如圖3.1，我們按留出法把圖像圖像庫劃圖3.1實驗流程圖分訓練集和測試集，具體劃分方式為：設(shè)置同一個類別中用于訓練的樣本個數(shù)分別為4、5、6，其余的樣本為測試集。單次實驗流程為模型的訓練和測試，具體的步驟可以參看如圖3.1，訓練模型過程的目標是在訓練集上訓練得到一個最優(yōu)的投影矩陣P，然后選取投影矩陣P將測試樣本線性投影提取低維特征，低維特征的維數(shù)依次從5維到d維，最后使用KNN分類器對提取的特征進行分類，并計算識別率。我們設(shè)定實驗次數(shù)為10次，每次訓練都要隨機生成訓練集和測試集，以此保證每次的訓練樣本是不同的，進而每次訓練都得到不同的投影矩陣P，最后統(tǒng)計10次實驗的分類正確率的平均值r，10

【參考文獻】：
期刊論文
[1]國務(wù)院印發(fā)《新一代人工智能發(fā)展規(guī)劃》:構(gòu)筑我國人工智能發(fā)展先發(fā)優(yōu)勢[J]. 劉辰.  中國科技產(chǎn)業(yè). 2017(08)
[2]用于數(shù)據(jù)挖掘的聚類算法[J]. 姜園,張朝陽,仇佩亮,周東方.  電子與信息學報. 2005(04)



本文編號：3607500