【摘要】：子空間學習是機器學習領域的一個熱門課題,被廣泛應用于計算機視覺、分析化學、生物信息學等領域。對維度高、訓練樣本少的數據,常用的回歸、分類模型經常出現過擬合、參數估計誤差大等問題。然而,數據雖然是高維的,但是可能分布在一個低維的子空間上,在此低維子空間上對數據的回歸或分類就能避免出現過擬合、參數估計誤差大等問題。子空間學習是解決這個問題的一個重要途徑。針對具體的回歸、分類等任務,學習最優(yōu)的子空間是子空間學習的核心問題。針對回歸、分類等問題,研究者基于各種準則通過設計對應的目標函數以及對回歸系數、投影向量的正則化方法提出了多種子空間學習模型,然而,由于具體問題的復雜性,如何根據具體的回歸、分類任務設計目標函數以及回歸系數、投影向量的正則化方法以得到最高的回歸、分類準確度,仍然是子空間學習中的一個困難問題。本文的工作圍繞子空間學習理論中設計最優(yōu)的目標函數以及回歸系數、投影向量的正則化方法的幾個問題展開研究,集中研究了以最小化錯誤分類率、最小化均方誤差為目標學習最優(yōu)投影向量、數據之間具有相關性的子空間建模這三個問題。本文的研究內容及取得的成果包括以下幾個方面:1.研究了線性分類問題中的最優(yōu)投影向量的問題,提出了一種近似最優(yōu)的線性判別模型。針對現有的線性判別分析模型沒有考慮投影向量是否最優(yōu)的、依賴于從樣本中估計分布的均值和協(xié)方差矩陣等問題,在數據服從Laplacian分布的情況下,分析了最小錯分率意義下求最優(yōu)投影向量的準則,并給出了魯棒的線性判別分析模型及線性規(guī)劃求解方法。該模型依賴于中值和平均絕對偏差的估計,比均值和協(xié)方差矩陣的估計要魯棒,適合訓練樣本較少、有噪聲或異常點的情況。在服從高斯分布、Laplacian分布、有屬性缺失的高斯分布的數據上的仿真實驗顯示該模型都具有較好的分類效果。2.研究了線性回歸問題中的最優(yōu)投影向量的問題,提出了一種近似最優(yōu)的偏最小二乘模型。針對特征有噪聲的情況,分析了均方誤差與投影向量的關系,給出了基于偏最小二乘框架提取最優(yōu)投影向量的回歸模型。并進一步提出了一種近似最優(yōu)模型,給出了基于廣義特征值分解的模型求解方法。標準庫上的實驗顯示該模型具有更小的預測誤差,且使用了更少的隱藏變量。3.研究了對不同樣本之間的相關性、同一樣本不同特征之間相關性的聯合建模問題,提出了基于回歸框架的多任務多視角學習模型以及對應的核多任務多視角學習模型,給出了顯示求解算法。并將該學習模型應用到視頻跟蹤問題中,通過該模型實現了對視頻相鄰幀之間的相關性、多種特征的相關性性的聯合建模,在多個標準數據庫上的實驗結果顯示該方法在實時性、跟蹤精度與現有方法比有明顯提高。
[Abstract]:Subspace learning is a hot topic in the field of machine learning, which is widely used in computer vision, analytical chemistry, bioinformatics and other fields. For the data with high dimension and few training samples, the commonly used regression, the classification model is often overfitted, and the error of parameter estimation is large and so on. However, although the data is high-dimensional, it may be distributed in a low-dimensional subspace. The regression or classification of the data in this low-dimensional subspace can avoid over-fitting and large error in parameter estimation. Subspace learning is an important way to solve this problem. For specific tasks such as regression, classification and so on, learning the optimal subspace is the core problem of subspace learning. Aiming at the problems of regression, classification and so on, researchers put forward multiple sub-spatial learning models by designing corresponding objective functions and regularization methods of regression coefficients and projection vectors based on various criteria. However, due to the complexity of the specific problems, the authors put forward a multi-sub-spatial learning model. How to design objective function, regression coefficient and projection vector regularization method according to specific regression, classification task and regression coefficient, projection vector to obtain the highest regression, classification accuracy is still a difficult problem in subspace learning. In this paper, several problems of designing optimal objective function, regression coefficient and regularization method of projection vector in the subspace learning theory of work-around in this paper are studied, focusing on minimizing the error classification rate. Minimizing mean square error is the objective learning optimal projection vector, and the subspace modeling with correlation between data is three problems. The research contents and achievements of this paper include the following aspects: 1. In this paper, the problem of optimal projection vector in linear classification problem is studied, and an approximate optimal linear discriminant model is proposed. The existing linear discriminant analysis model does not consider whether the projection vector is optimal and depends on the estimation of the mean value and covariance matrix of the distribution from the sample. The data obeys the Laplacian distribution. The criterion for finding the optimal projection vector in the sense of minimum error rate is analyzed, and the robust linear discriminant analysis model and the solution method of linear programming are given. The model depends on the estimation of mean and mean absolute deviation and is more robust than the estimation of mean and covariance matrix. It is suitable for the case of fewer training samples with noise or outliers. Simulation experiments on the data of Gao Si distribution following Gao Si distribution, Laplacian distribution and Gao Si distribution with missing attributes show that the model has a good classification effect. 2. In this paper, the problem of optimal projection vector in linear regression problem is studied, and an approximate optimal partial least squares model is proposed. In this paper, the relation between mean square error and projection vector is analyzed, and the regression model based on partial least squares frame is given to extract the optimal projection vector. Furthermore, an approximate optimal model is proposed, and the solution method of the model based on generalized eigenvalue decomposition is given. Experiments on the standard library show that the model has a smaller prediction error and uses fewer hidden variables. 3. This paper studies the joint modeling of the correlation between different samples and different features of the same sample, and proposes a multi-task multi-perspective learning model based on regression framework and the corresponding kernel multi-task multi-perspective learning model. The display algorithm is given. The learning model is applied to the problem of video tracking, and the joint modeling of the correlation between adjacent frames and the correlation of multiple features is realized by this model. The experimental results on several standard databases show that the real-time performance and tracking accuracy of the proposed method are obviously improved compared with the existing methods.
【學位授予單位】：華中科技大學
【學位級別】：博士
【學位授予年份】：2016
【分類號】：TP391.41;TP181

【相似文獻】

相關期刊論文 前10條

1 陳曉紅;陳松燦;;類依賴的線性判別分析[J];小型微型計算機系統(tǒng);2008年05期

2 劉忠寶;王士同;;改進的線性判別分析算法[J];計算機應用;2011年01期

3 高建強;范麗亞;;模糊線性判別分析中距離對面部識別的影響[J];井岡山大學學報(自然科學版);2012年03期

4 葛熠;王亭亭;韓月;李峰;;基于核雙子空間線性判別分析人臉識別方法[J];科技視界;2012年23期

5 任獲榮;李春曉;孫建維;秦紅波;何培培;高敏;;類依賴增強線性判別分析算法[J];西安電子科技大學學報;2012年05期

6 溫鳳文;王洪春;;改進的張量線性判別分析[J];黑龍江科技信息;2013年24期

7 趙越;徐鑫;喬利強;;張量線性判別分析算法研究[J];計算機技術與發(fā)展;2014年01期

8 趙芳;馬玉磊;;基于概率線性判別分析的可擴展似然公式化人臉識別[J];科學技術與工程;2014年06期

9 周大可,楊新,彭寧嵩;改進的線性判別分析算法及其在人臉識別中的應用[J];上海交通大學學報;2005年04期

10 成忠;諸愛士;;一種適于高維小樣本數據的線性判別分析方法[J];浙江科技學院學報;2008年02期

相關會議論文 前2條

1 歐陽梅蘭;張志敏;陳晨;劉鑫波;梁逸曾;;稀疏線性判別分析法在代謝組學數據研究中的應用[A];中國化學會第29屆學術年會摘要集——第19分會：化學信息學與化學計量學[C];2014年

2 張明錦;杜一平;童佩瑾;;基于非相關線性判別分析的分層特征選擇方法及其在蛋白質組數據分析中的應用[A];第十屆全國計算(機)化學學術會議論文摘要集[C];2009年

相關博士學位論文 前4條

1 任忠國;基于γ特征譜的對象相似性識別技術研究[D];蘭州大學;2015年

2 江修保;子空間學習若干問題研究及其應用[D];華中科技大學;2016年

3 劉忠寶;基于核的降維和分類方法及其應用研究[D];江南大學;2012年

4 潘志斌;半監(jiān)督排序的若干關鍵問題研究[D];華中科技大學;2014年

相關碩士學位論文 前10條

1 王金貝;基于奇異值分解的不相關線性判別分析的通解與性質[D];鄭州大學;2015年

2 林軒;幾種分類問題的研究[D];吉林大學;2015年

3 孔昭陽;基于GPU的并行線性判別分析算法研究[D];哈爾濱工業(yè)大學;2014年

4 袁愈章;圖正則和低秩多標記線性判別分析[D];上海交通大學;2015年

5 張晶;非歐框架下的線性判別分析[D];遼寧師范大學;2015年

6 喬娜娜;基于生物光子學小麥隱蔽性害蟲檢測機理及分類研究[D];河南工業(yè)大學;2016年

7 杜輝;基于二維圖像的人臉識別研究[D];江蘇大學;2016年

8 劉超;非迭代三維線性判別分析及其在人臉識別中的應用[D];云南財經大學;2016年

9 霍中花;非重疊監(jiān)控場景下行人再識別關鍵技術研究[D];江南大學;2016年

10 苗碩;基于L2，1范數和L1范數的魯棒判別特征提取算法研究[D];西安電子科技大學;2015年

，

本文編號：2440920