本文關(guān)鍵詞：幾種分類問題的研究

  更多相關(guān)文章： 分類問題 線性判別分析法 Logistic回歸 費(fèi)舍爾判別分析法 支持向量機(jī) 決策樹 bagging 隨機(jī)森林

【摘要】：本文著重部分常用線性回歸方法與非線性方法關(guān)于分類問題的比較。關(guān)于線性方法,主要探討普通線性回歸模型的最小二乘法(OLS:ordinary least squares),線性判別分析(LDA:linear discriminant analysis)與logistic回歸的效果的比較,同時(shí)嘗試PCA與FDA兩種降維方法,并將OLS與LDA結(jié)合降維后的數(shù)據(jù)進(jìn)行分類效果的比較分析。OLS是最基本的線性模型,除了處理回歸問題,也可以處理分類問題,只是此時(shí)的因變量不再是單一向量,而是變成了指示矩陣,即行表示觀測,列表示分類,每行只在其所歸屬分類下為1,其余位置為0。對于線性分類問題,OLS一般都會(huì)有比較好的分類效率,然而當(dāng)類別之間平行排布的話,OLS時(shí)常會(huì)忽視其中的某一分類,這是其非常嚴(yán)重的劣勢所在。LDA與OLS一樣對線性邊界有很好的分類效率,并且避免了OLS關(guān)于平行類別的忽視問題,一般來講較OLS的分類效率高一些。Logistic回歸最初就是用來處0-1兩個(gè)類別作為因變量的模型,其運(yùn)用概率比的方式將本來只有兩個(gè)取值的類別因變量變成在0-1之間的連續(xù)數(shù)值型變量,很好地解決了分類問題,此處將其拓展為對多于兩個(gè)類別的分類問題的探索；由于其模型的特點(diǎn),對分類問題常常都有很好的分類效率。關(guān)于非線性方法,主要探討SVM(support vector machine), Tree,Bagging(Bootstrap aggregating),隨機(jī)森林的效率。SVM通過對參數(shù)的調(diào)整使得其對于各種線型,高階曲線型乃至放射型邊界都有很好的適應(yīng)性,是通用性很強(qiáng)的分類方法。單一決策樹由于其將數(shù)據(jù)分塊處理的機(jī)制,使得其對線性邊界的分類問題產(chǎn)生很高的錯(cuò)誤率,并且飽受高方差低準(zhǔn)確率的困擾。Bagging通過隨機(jī)產(chǎn)生大量決策樹并將它們的判別結(jié)果“取”均值的辦法基本消除了單一決策樹的高方差低準(zhǔn)確率的缺點(diǎn)。隨機(jī)森林則進(jìn)一步通過強(qiáng)制選擇隨機(jī)選擇變量的方法彌補(bǔ)了當(dāng)某一變量在該分類問題起主導(dǎo)作用時(shí)候Bagging無法消除相關(guān)決策樹的高方差的不足。最后本文選取“單個(gè)字母識(shí)別”數(shù)據(jù),采用以上方法構(gòu)建分類模型并比較。
【關(guān)鍵詞】：分類問題 線性判別分析法 Logistic回歸 費(fèi)舍爾判別分析法 支持向量機(jī) 決策樹 bagging 隨機(jī)森林
【學(xué)位授予單位】：吉林大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2015
【分類號】：O212.1
【目錄】：

• 摘要4-6
• Abstract6-10
• 第一章 緒論10-13
• 1.1. 研究背景10
• 1.2. 問題的提出10-11
• 1.3. 本文內(nèi)容與結(jié)構(gòu)11-13
• 第二章 幾種常用線性方法簡介13-20
• 2.1. 線性回歸模型及最小二乘法13-14
• 2.1.1. 模型及參數(shù)估計(jì)13
• 2.1.2. 預(yù)測13-14
• 2.2. Logistic回歸14-16
• 2.2.1. 模型及參數(shù)估計(jì)14-16
• 2.2.2. 預(yù)測16
• 2.3. 線性判別分析法16-17
• 2.3.1. 模型及參數(shù)估計(jì)16-17
• 2.4. 線性模型小結(jié)17-20
• 第三章 兩種降維方法20-22
• 3.1. 主成分分析20
• 3.2. 費(fèi)舍爾判別分析20-22
• 第四章 幾種非線性方法簡介22-29
• 4.1. SVM(support vector machine支持向量機(jī))22-25
• 4.1.1. Support Vector Classifier22-23
• 4.1.2. Kernel簡介23
• 4.1.3. SVM (s upport vector machine)23-25
• 4.2. 以樹為基礎(chǔ)的幾種分類方法25-29
• 4.2.1. 決策樹25-27
• 4.2.2. Bagging (Bootstrap Aggregating)27
• 4.2.3. 隨機(jī)森林27-29
• 第五章 實(shí)例應(yīng)用及方法比較分析29-35
• 5.1 數(shù)據(jù)分析29-33
• 5.2 結(jié)論及展望33-35
• 參考文獻(xiàn)35-37
• 附錄：R語言程序代碼37-52
• 第一部分：測試數(shù)據(jù)R程序37-43
• 第二部分：實(shí)例數(shù)據(jù)R程序43-52
• 后記和致謝52

【參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前3條

1 唐華松,姚耀文;數(shù)據(jù)挖掘中決策樹算法的探討[J];計(jì)算機(jī)應(yīng)用研究;2001年08期

2 吳華芹;;基于訓(xùn)練集劃分的隨機(jī)森林算法[J];科技通報(bào);2013年10期

3 周大可,楊新,彭寧嵩;改進(jìn)的線性判別分析算法及其在人臉識(shí)別中的應(yīng)用[J];上海交通大學(xué)學(xué)報(bào);2005年04期

，

本文編號：1063488