本文關(guān)鍵詞：基于圖拉普拉斯的稀疏貝葉斯分類算法研究　出處：《中國(guó)科學(xué)技術(shù)大學(xué)》2017年碩士論文　論文類型：學(xué)位論文

  更多相關(guān)文章： 流形先驗(yàn) 稀疏貝葉斯 圖拉普拉斯 稀疏性 正則化

【摘要】：稀疏貝葉斯作為一種主流的機(jī)器學(xué)習(xí)算法,它能夠充分利用數(shù)據(jù)的先驗(yàn)信息,并結(jié)合已知的樣本集,建立合理的數(shù)學(xué)模型,在訓(xùn)練的結(jié)果中擁有良好稀疏性并且可以得到概率性輸出,已經(jīng)成為機(jī)器學(xué)習(xí)研究領(lǐng)域中的熱點(diǎn),受到越來(lái)越多的研究人員關(guān)注。然而,對(duì)于流形數(shù)據(jù)集,目前的這些稀疏貝葉斯算法,例如相關(guān)向量機(jī)、概率分類向量機(jī),因?yàn)楹雎粤藬?shù)據(jù)集內(nèi)部具有的特殊結(jié)構(gòu)信息,輸出的模型不能很好的表達(dá)真實(shí)數(shù)據(jù),導(dǎo)致模型過(guò)于復(fù)雜,分類性能較低。本文基于現(xiàn)有的稀疏貝葉斯算法,結(jié)合流形正則化框架,提出一種能夠充分利用數(shù)據(jù)內(nèi)部流形信息的稀疏貝葉斯算法:基于圖拉普拉斯的稀疏貝葉斯分類算法。本算法通過(guò)在稀疏貝葉斯模型權(quán)值的先驗(yàn)分布上引入稀疏流形先驗(yàn),把數(shù)據(jù)集自身的流形結(jié)構(gòu)信息作為先驗(yàn)知識(shí)利用起來(lái),以訓(xùn)練出更符合數(shù)據(jù)分布的模型,提高了稀疏貝葉斯算法的分類性能。在本文中,我們從理論上分析了此模型,驗(yàn)證了算法分類的準(zhǔn)確率。隨后,在不同數(shù)據(jù)集上進(jìn)行了多組對(duì)比實(shí)驗(yàn),結(jié)果顯示本文提出的算法不但在具有流形的數(shù)據(jù)集上取得了理想的分類性能,在普通的數(shù)據(jù)集上也有良好的效果。本文的主要工作總結(jié)如下:(1)本文基于傳統(tǒng)的稀疏貝葉斯和流形正則化框架,提出的算法定義了一個(gè)流形先驗(yàn),把數(shù)據(jù)的流形信息融入到了模型的先驗(yàn)當(dāng)中,在訓(xùn)練過(guò)程中重復(fù)利用此信息,進(jìn)而約束分類函數(shù),因此可以得到精確性高、泛化性強(qiáng)的分類函數(shù)。(2)本文根據(jù)模型權(quán)值參數(shù)上的流形先驗(yàn),通過(guò)拉普拉斯算法將參數(shù)的后驗(yàn)概率分布近似為高斯分布,然后使用迭代重加權(quán)最小二乘法求出分布的均值,提出了基于圖拉普拉斯的稀疏貝葉斯分類算法,該算法具有良好的稀疏性,訓(xùn)練時(shí)間較短,收斂速度快,同時(shí)通過(guò)概率輸出能夠度量預(yù)測(cè)結(jié)果的不確定性。(3)本文利用邊際似然函數(shù)能夠控制模型對(duì)樣本數(shù)據(jù)流形信息利用程度的超參數(shù)λ和超參數(shù)α進(jìn)行自動(dòng)優(yōu)化,因此本文算法參數(shù)少,簡(jiǎn)單高效。(4)本文實(shí)驗(yàn)部分在人工數(shù)據(jù)集、標(biāo)準(zhǔn)數(shù)據(jù)集和流形數(shù)據(jù)集上進(jìn)行大量的實(shí)驗(yàn),通過(guò)與傳統(tǒng)的監(jiān)督學(xué)習(xí)算法對(duì)比,驗(yàn)證了本文提出的算法具有良好的分類準(zhǔn)確性、較好的模型稀疏性和較快的收斂速度。
[Abstract]:As a mainstream machine learning algorithm, sparse Bayes can make full use of the prior information of the data and combine the known sample set to establish a reasonable mathematical model. With good sparsity and probability output in the training results, it has become a hot topic in the field of machine learning, and has attracted more and more researchers' attention. However, for manifold data sets. These sparse Bayesian algorithms, such as correlation vector machine, probability classification vector machine, because of ignoring the special structure information in the data set, the output model can not express the real data very well. As a result, the model is too complex and the classification performance is low. Based on the existing sparse Bayes algorithm, this paper combines manifold regularization framework. A sparse Bayesian algorithm which can make full use of the data manifold information is proposed. A sparse Bayesian classification algorithm based on graph Laplace. This algorithm introduces a sparse manifold priori on the prior distribution of the weights of the sparse Bayesian model. The manifold structure information of the dataset itself is used as a priori knowledge in order to train a more data distribution model and improve the classification performance of the sparse Bayesian algorithm. We analyze the model theoretically, and verify the accuracy of the algorithm. Then, we carry out a number of comparative experiments on different data sets. The results show that the proposed algorithm not only achieves ideal classification performance on the dataset with manifold. The main work of this paper is summarized as follows: 1) based on the traditional framework of sparse Bayes and manifold regularization, the proposed algorithm defines a manifold priori. The manifold information of the data is incorporated into the priori of the model, and the information is reused in the training process, and then the classification function is constrained, so the accuracy can be obtained with high accuracy. In this paper, the posterior probability distribution of the parameter is approximated to Gao Si distribution by Laplace algorithm according to the manifold priori on the weight parameter of the model. Then we use iterative reweighted least square method to find the mean value of the distribution, and propose a sparse Bayesian classification algorithm based on graph Laplace. The algorithm has good sparsity, short training time and fast convergence speed. At the same time, the uncertainty of the prediction result can be measured by the probability output. In this paper, the marginal likelihood function is used to control the model to automatically optimize the super-parameter 位 and the super-parameter 偽 of the data stream information. Therefore, this algorithm has few parameters and is simple and efficient. 4) in the experiment part, a large number of experiments are carried out on artificial data sets, standard data sets and manifold data sets, and compared with traditional supervised learning algorithms. It is verified that the proposed algorithm has good classification accuracy, better model sparsity and faster convergence speed.
【學(xué)位授予單位】：中國(guó)科學(xué)技術(shù)大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2017
【分類號(hào)】：TP181

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 石國(guó)楨;;工程診斷和診斷中的貝葉斯方法[J];機(jī)械強(qiáng)度;1984年02期

2 陳英武;高妍方;;貝葉斯網(wǎng)絡(luò)擴(kuò)展研究綜述[J];控制與決策;2008年10期

3 徐立;;預(yù)案分析的貝葉斯網(wǎng)絡(luò)方法[J];價(jià)值工程;2012年08期

4 胡春玲;;貝葉斯網(wǎng)絡(luò)研究綜述[J];合肥學(xué)院學(xué)報(bào)(自然科學(xué)版);2013年01期

5 樓宇希;;應(yīng)用貝葉斯方法縮短可靠性試驗(yàn)時(shí)間[J];現(xiàn)代雷達(dá);1986年01期

6 鄭駿;隨機(jī)方法與貝葉斯方法在高新技術(shù)中的應(yīng)用[J];軟科學(xué);1995年01期

7 覃秋梅;張師超;;一類貝葉斯網(wǎng)絡(luò)的線性推理[J];計(jì)算機(jī)科學(xué);1999年10期

8 張琨,徐永紅,王珩,劉鳳玉;用于入侵檢測(cè)的貝葉斯網(wǎng)絡(luò)[J];小型微型計(jì)算機(jī)系統(tǒng);2003年05期

9 陳曉懷,程真英,劉春山;動(dòng)態(tài)測(cè)量誤差的貝葉斯建模預(yù)報(bào)[J];儀器儀表學(xué)報(bào);2004年S1期

10 李蕓;;基于貝葉斯信念網(wǎng)絡(luò)的數(shù)據(jù)分類挖掘算法[J];計(jì)算機(jī)科學(xué);2006年09期

相關(guān)會(huì)議論文 前10條

1 David Z.D'Argenio;;貝葉斯方法在實(shí)驗(yàn)室研究向臨床的轉(zhuǎn)化以及辨識(shí)隱含亞群體中的應(yīng)用(英文)[A];中國(guó)藥理學(xué)會(huì)臨床藥理學(xué)專業(yè)委員會(huì)會(huì)議暨第十次全國(guó)臨床藥理學(xué)學(xué)術(shù)會(huì)議論文集[C];2007年

2 姜峰;高文;姚鴻勛;;貝葉斯網(wǎng)絡(luò)的推理和學(xué)習(xí)[A];全國(guó)網(wǎng)絡(luò)與信息安全技術(shù)研討會(huì)'2005論文集（下冊(cè)）[C];2005年

3 丁東洋;劉希陽(yáng);;風(fēng)險(xiǎn)分析中的穩(wěn)健貝葉斯方法[A];2011年全國(guó)電子信息技術(shù)與應(yīng)用學(xué)術(shù)會(huì)議論文集[C];2011年

4 周桃庚;沙定國(guó);;貝葉斯可靠性序貫驗(yàn)證試驗(yàn)方法[A];中國(guó)儀器儀表學(xué)會(huì)第三屆青年學(xué)術(shù)會(huì)議論文集（下）[C];2001年

5 陳曉懷;程真英;劉春山;;動(dòng)態(tài)測(cè)量誤差的貝葉斯建模預(yù)報(bào)[A];第二屆全國(guó)信息獲取與處理學(xué)術(shù)會(huì)議論文集[C];2004年

6 杜鵬英;羅小平;何志明;;貝葉斯網(wǎng)絡(luò)的發(fā)展及理論應(yīng)用[A];第三屆全國(guó)虛擬儀器大會(huì)論文集[C];2008年

7 楊麗;武海濱;李康;;無(wú)金標(biāo)準(zhǔn)診斷試驗(yàn)評(píng)價(jià)的貝葉斯方法及應(yīng)用[A];2011年中國(guó)衛(wèi)生統(tǒng)計(jì)學(xué)年會(huì)會(huì)議論文集[C];2011年

8 寧鵬達(dá);;貝葉斯方法在風(fēng)險(xiǎn)投資項(xiàng)目決策中的應(yīng)用[A];第四屆中國(guó)科學(xué)學(xué)與科技政策研究會(huì)學(xué)術(shù)年會(huì)論文集（Ⅰ）[C];2008年

9 朱永生;;貝葉斯方法確定泊松變量的置信上限[A];中國(guó)物理學(xué)會(huì)高能物理分會(huì)第七屆學(xué)術(shù)年會(huì)實(shí)驗(yàn)分會(huì)場(chǎng)論文集[C];2006年

10 王增忠;柳玉杰;施建剛;;建筑工程項(xiàng)目全壽命安全管理決策的貝葉斯方法[A];中國(guó)優(yōu)選法統(tǒng)籌法與經(jīng)濟(jì)數(shù)學(xué)研究會(huì)第七屆全國(guó)會(huì)員代表大會(huì)暨第七屆中國(guó)管理科學(xué)學(xué)術(shù)年會(huì)論文集[C];2005年

相關(guān)博士學(xué)位論文 前10條

1 翟勝;基于貝葉斯網(wǎng)絡(luò)的復(fù)雜系統(tǒng)可靠分析方法研究與應(yīng)用[D];天津工業(yè)大學(xué);2016年

2 劉瑞;基于貝葉斯網(wǎng)絡(luò)的洪水災(zāi)害風(fēng)險(xiǎn)評(píng)估與建模研究[D];華東師范大學(xué);2016年

3 張潤(rùn)梅;基于貝葉斯網(wǎng)絡(luò)的復(fù)雜系統(tǒng)因果關(guān)系研究[D];合肥工業(yè)大學(xué);2015年

4 李艷穎;貝葉斯網(wǎng)絡(luò)學(xué)習(xí)及數(shù)據(jù)分類研究[D];西安電子科技大學(xué);2015年

5 趙建U，

本文編號(hào)：1391287