【摘要】：分類是機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘領(lǐng)域的一項重要研究內(nèi)容。在分類問題中,通常需要建立一個由已知類標(biāo)號的樣本組成的訓(xùn)練集,然后根據(jù)訓(xùn)練集中的樣本對新的未知類標(biāo)號的樣本進(jìn)行分類,即對每個未知樣本預(yù)測其類標(biāo)號。局部學(xué)習(xí)是機(jī)器學(xué)習(xí)領(lǐng)域的一個重要方法,它通過對訓(xùn)練集中的部分樣本進(jìn)行學(xué)習(xí),建立某個局部區(qū)域的專有學(xué)習(xí)模型。局部分類就是利用局部學(xué)習(xí)來解決分類問題的方法,由于局部分類模型是根據(jù)與待測樣本點(diǎn)非常相關(guān)的一個局部區(qū)域的樣本點(diǎn)建立的,因此更能反映待測樣本的信息,可以對其進(jìn)行準(zhǔn)確分類。k-最近鄰法(kNN)作為局部分類的一個具體化算法,由于其簡單、易理解、易實(shí)現(xiàn)等特點(diǎn),在機(jī)器學(xué)習(xí)、模式識別和數(shù)據(jù)挖掘等領(lǐng)域有著廣泛的研究和應(yīng)用。目前對局部分類的研究,主要是在kNN的基礎(chǔ)上進(jìn)行的,缺乏對局部分類進(jìn)行系統(tǒng)的研究。本文以貝葉斯決策理論為基礎(chǔ),以局部概率模型為核心思想,對局部分類進(jìn)行深入研究和探討,提出了局部分類方法的一般形式,并據(jù)此實(shí)現(xiàn)局部分類的概率輸出。此外,針對局部分類中的兩個關(guān)鍵問題,即局部區(qū)域的選擇和局部模型的選擇問題,本文做了一系列深入的研究和嘗試,并從理論上分析了局部區(qū)域選擇和局部模型選擇之間的關(guān)系,為局部區(qū)域選擇和局部模型選擇提供了新的思路和指導(dǎo)方向。最后,本文將局部分類方法應(yīng)用于基于靜息腦電(EEG)的普適身份識別系統(tǒng),得到了較好的識別效果。本文的主要工作和創(chuàng)新點(diǎn)如下:1.局部分類中的局部模型選擇問題在kNN中表現(xiàn)為鄰域信息組織問題,針對kNN分類中鄰域信息組織問題,我們以貝葉斯理論為基礎(chǔ)提出了一個基于局部分布的kNN分類算法(Local Distribution Based kNN,LD-kNN)。該算法為待測樣本構(gòu)建一個鄰域,并利用鄰域內(nèi)的樣本對該鄰域的局部分布進(jìn)行估計,然后利用估計出來的局部分布信息通過貝葉斯定理計算待測樣本屬于每個類的隸屬概率,將待測樣本分到具有最大隸屬概率的類中。LD-kNN通過局部分布信息綜合考慮了鄰域中的樣本數(shù)量,位置,距離等信息,是對現(xiàn)有kNN方法的一種改進(jìn)和完善。我們通過大量的真實(shí)數(shù)據(jù)集和模擬數(shù)據(jù)集上的實(shí)驗研究了LD-kNN方法的性質(zhì),實(shí)驗結(jié)果表明與很多先進(jìn)的分類算法相比,在分類效果、效率、維度魯棒性和問題魯棒性上,LD-kNN都有良好的性質(zhì)。2.在局部分布的估計方面,我們重新定義局部概率分布,提出了一種基于局部概率模型(Local Probabilistic Model,LPM)的概率密度估計方法(LPM-based Density Estimation,LPM-DE)。由于現(xiàn)實(shí)中真實(shí)概率分布的復(fù)雜性,一般的參數(shù)概率模型經(jīng)常難以有效模擬出真實(shí)的分布,而非參數(shù)概率模型通常需要更多的樣本支持,從而導(dǎo)致建模效率較低。LPM-DE是對參數(shù)概率模型和非參數(shù)概率模型的一個折中,該方法在全局上估計一個非參數(shù)模型,而在局部估計一個參數(shù)模型,通過選擇不同大小的局部區(qū)域和該局部區(qū)域上的局部概率模型,能有效克服參數(shù)模型和非參數(shù)模型的缺陷,對全局概率密度進(jìn)行有效的估計。我們在模擬數(shù)據(jù)集上的一系列實(shí)驗驗證了LPM-DE的有效性。3.我們以貝葉斯決策理論為基礎(chǔ),用局部概率模型解決貝葉斯分類中的概率估計問題,提出了基于概率模型的貝葉斯分類方法(LPM-based Bayesian Classification,LPM-BC)。LPM-BC是局部分類方法的一般形式,通過選擇不同的局部區(qū)域及其對應(yīng)的局部概率模型,LPM-BC可以具體化為各種局部分類算法,傳統(tǒng)的kNN算法和LD-kNN都可以看作是該局部分類方法的一個具體化形式。LPM-BC將局部分類概率化,可以輸出樣本對各個類的隸屬概率,便于進(jìn)行后續(xù)概率推理,這是LPM-BC相對于只輸出類標(biāo)號的分類算法的一個顯著優(yōu)勢。另外,我們對LPM-BC的局部區(qū)域的選擇和局部概率模型的選擇進(jìn)行了一系列分析和探討,總結(jié)出了局部分類中局部區(qū)域選擇和局部概率模型選擇之間的關(guān)系。我們在一系列模擬和真實(shí)數(shù)據(jù)集上的實(shí)驗驗證了,當(dāng)選擇合適的局部區(qū)域及其對應(yīng)的局部概率模型時,該局部分類方法LPM-BC具有良好的分類效果。4.將局部分類方法應(yīng)用于基于靜息腦電(Electroencephalography,EEG)的生物識別領(lǐng)域。我們設(shè)計并實(shí)現(xiàn)了一個基于EEG的普適身份識別系統(tǒng)。該系統(tǒng)實(shí)時接收并分析受試者的EEG信號,提取相關(guān)的特征,然后用局部分類方法根據(jù)所提取的特征建立合適的局部概率模型對受試者進(jìn)行分類識別。在實(shí)驗中,我們實(shí)現(xiàn)局部分類的一個具體化算法局部概率中心(Local Probability Centers,LPC),并利用LPC對受試者的EEG信號進(jìn)行分類識別,與其他很多先進(jìn)的全局分類算法相比局部分類算法LPC能達(dá)到好的識別效果。本文通過對局部分類方法的深入研究,以貝葉斯決策理論為基礎(chǔ),將局部分類概率化,提出了局部分類的一般方法,該方法可以將分類結(jié)果以概率的形式輸出,通過選擇不同的參數(shù)該方法可以具體化為現(xiàn)有的大多分類算法,具有重要的理論價值和廣泛的應(yīng)用背景。
[Abstract]:......
【學(xué)位授予單位】：蘭州大學(xué)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2016
【分類號】：TP181

【相似文獻(xiàn)】

相關(guān)期刊論文 前5條

1 孫麗娜;楊斌;;基于貝葉斯決策理論的爆炸物識別方法[J];東北大學(xué)學(xué)報(自然科學(xué)版);2013年01期

2 蔡一兵,蔡金燕,楊士元;一種基于貝葉斯決策理論的模糊集劃分方法[J];計算機(jī)學(xué)報;1998年11期

3 李娜;;貝葉斯分類器的應(yīng)用[J];北京工業(yè)職業(yè)技術(shù)學(xué)院學(xué)報;2008年02期

4 路緒清;唐杰;李涓子;蔡月茹;;基于關(guān)鍵詞抽取的hypertext自動建立方法[J];計算機(jī)科學(xué);2005年02期

5 ;[J];;年期

相關(guān)會議論文 前1條

1 謝世斌;劉萬春;朱玉文;;基于貝葉斯決策理論和主成分分析的人臉識別[A];第三屆全國數(shù)字成像技術(shù)及相關(guān)材料發(fā)展與應(yīng)用學(xué)術(shù)研討會論文摘要集[C];2004年

相關(guān)博士學(xué)位論文 前1條

1 毛承勝;基于貝葉斯決策理論的局部分類方法研究及其應(yīng)用[D];蘭州大學(xué);2016年

相關(guān)碩士學(xué)位論文 前2條

1 于坤;貝葉斯決策理論及其在經(jīng)濟(jì)中的應(yīng)用[D];燕山大學(xué);2010年

2 高汝召;貝葉斯決策理論方法的研究[D];山東科技大學(xué);2006年

，

本文編號：2392310