維數約簡（即降維）是機器學習的基本任務之一。降維旨在從高維原始樣本空間中提取或選擇關鍵的低維特征,從而解決高維特征導致的維數災難問題。以主成分分析（PCA）和線性鑒別分析（LDA）為代表的傳統(tǒng)特征提取方法,由于是基于數據全局結構來提取低維特征,當高維數據的分布有著明顯的局部性或有近似流形結構時,傳統(tǒng)特征提取方法的效果往往不佳。而基于流形學習的特征提取方法卻能夠保持高維空間的局部幾何結構,有可能獲得更好的分類性能,但仍存在不足。通過分析比較這些方法的優(yōu)缺點,本文總結出它們存在的三個問題。第一,以LDA為代表的一些方法會存在小類別問題,即在數據樣本類別數較小時,學到的投影個數會受到限制。第二,這些方法有的開始將稀疏約束引入到流形學習,即通過正則項來約束學到的投影,使之具備稀疏的特性,但其中很多方法是以₁L范數正則項來獲取稀疏性,而不具一致稀疏性。第三,大部分方法使用₂L范數來度量損失,導致算法對數據野點較為敏感,而真實數據常常存在噪聲,因此需要更多地考慮如何提升算法的魯棒性。針對上述總結的三個問題,基于流形學習和聯(lián)合稀疏學習理論和方法,本文提出了... 

【文章來源】：深圳大學廣東省

【文章頁數】：77 頁

【學位級別】：碩士

【部分圖文】：

機器學習算法流程圖

基于聯(lián)合稀疏投影的圖像特征提取712211mdijFijPP===∑∑。(2.2)我們在此重點分析2,1L范數能夠具備聯(lián)合稀疏特性的原因。先給出2,1L的定義，假定一個投影矩陣[]12=,,...,mdidPppppR×,...,∈投影向量m1ipR×∈為m維列向量，則22,11112dmdiijijiPPp====∑=∑∑。(2.3)其中ip是矩陣P的第i個行向量。由2,1L范數定義可知，2,1L范數是一個介于F范數和1L范數之間的范數定義。2,1L范數如果用于正則化投影矩陣，就能夠約束每一個行向量的2L范數最小，能夠直接希望獲得行內盡可能取零的聯(lián)合稀疏性效果，以及和2L范數正則項中加強模型魯棒性的雙重優(yōu)點。我們定義投影矩陣×P∈Rmd，投影矩陣P的基向量為m維行向量。我們假定投影矩陣具有聯(lián)合稀疏性即列稀疏，矩陣中某些列向量全為零，樣本矩陣為×X∈Rmn，一個樣本為一個列向量，新的特征矩陣用×Z∈Rdn來定義，線性特征提取的公式就相當于如下式=TZPX。(2.4)如圖2.1所示，假設投影矩陣P中第1、3、6列出現全為零的列稀疏(聯(lián)合稀疏)特性，通過線性投影操作之后將得到新的特征矩陣Z，原始樣本矩陣X中用不同顏色的第1、3、6行表示不同的特征，會發(fā)現在新的特征矩陣Z中本來對應不同顏色的特征被篩選掉。圖2.1聯(lián)合稀疏特性直觀圖

基于聯(lián)合稀疏投影的圖像特征提取283.4實驗驗證在本章，我們將新提出的JSLPP方法在三個公開的圖像圖像庫上對其算法有效性進行實驗驗證，我們采取的圖像庫分別是AR和ORL人臉圖像庫、COIL100物體檢測圖像圖像庫[50]。我們分別在人臉和物體兩種類型的圖像圖像庫來測驗算法的性能。同時與已提出的一些相關的線性特征提取算法進行對比，包括一些傳統(tǒng)的特征提取方法和基于流形學習的線性特征提取方法等。3.4.1實驗設置和說明在實驗中，我們首先給出我們的實驗流程如圖3.1，我們按留出法把圖像圖像庫劃圖3.1實驗流程圖分訓練集和測試集，具體劃分方式為：設置同一個類別中用于訓練的樣本個數分別為4、5、6，其余的樣本為測試集。單次實驗流程為模型的訓練和測試，具體的步驟可以參看如圖3.1，訓練模型過程的目標是在訓練集上訓練得到一個最優(yōu)的投影矩陣P，然后選取投影矩陣P將測試樣本線性投影提取低維特征，低維特征的維數依次從5維到d維，最后使用KNN分類器對提取的特征進行分類，并計算識別率。我們設定實驗次數為10次，每次訓練都要隨機生成訓練集和測試集，以此保證每次的訓練樣本是不同的，進而每次訓練都得到不同的投影矩陣P，最后統(tǒng)計10次實驗的分類正確率的平均值r，10

【參考文獻】：
期刊論文
[1]國務院印發(fā)《新一代人工智能發(fā)展規(guī)劃》:構筑我國人工智能發(fā)展先發(fā)優(yōu)勢[J]. 劉辰.  中國科技產業(yè). 2017(08)
[2]用于數據挖掘的聚類算法[J]. 姜園,張朝陽,仇佩亮,周東方.  電子與信息學報. 2005(04)



本文編號：3607500