本文關鍵詞：基于圖拉普拉斯的稀疏貝葉斯分類算法研究　出處：《中國科學技術大學》2017年碩士論文　論文類型：學位論文

  更多相關文章： 流形先驗 稀疏貝葉斯 圖拉普拉斯 稀疏性 正則化

【摘要】：稀疏貝葉斯作為一種主流的機器學習算法,它能夠充分利用數(shù)據(jù)的先驗信息,并結合已知的樣本集,建立合理的數(shù)學模型,在訓練的結果中擁有良好稀疏性并且可以得到概率性輸出,已經(jīng)成為機器學習研究領域中的熱點,受到越來越多的研究人員關注。然而,對于流形數(shù)據(jù)集,目前的這些稀疏貝葉斯算法,例如相關向量機、概率分類向量機,因為忽略了數(shù)據(jù)集內(nèi)部具有的特殊結構信息,輸出的模型不能很好的表達真實數(shù)據(jù),導致模型過于復雜,分類性能較低。本文基于現(xiàn)有的稀疏貝葉斯算法,結合流形正則化框架,提出一種能夠充分利用數(shù)據(jù)內(nèi)部流形信息的稀疏貝葉斯算法:基于圖拉普拉斯的稀疏貝葉斯分類算法。本算法通過在稀疏貝葉斯模型權值的先驗分布上引入稀疏流形先驗,把數(shù)據(jù)集自身的流形結構信息作為先驗知識利用起來,以訓練出更符合數(shù)據(jù)分布的模型,提高了稀疏貝葉斯算法的分類性能。在本文中,我們從理論上分析了此模型,驗證了算法分類的準確率。隨后,在不同數(shù)據(jù)集上進行了多組對比實驗,結果顯示本文提出的算法不但在具有流形的數(shù)據(jù)集上取得了理想的分類性能,在普通的數(shù)據(jù)集上也有良好的效果。本文的主要工作總結如下:(1)本文基于傳統(tǒng)的稀疏貝葉斯和流形正則化框架,提出的算法定義了一個流形先驗,把數(shù)據(jù)的流形信息融入到了模型的先驗當中,在訓練過程中重復利用此信息,進而約束分類函數(shù),因此可以得到精確性高、泛化性強的分類函數(shù)。(2)本文根據(jù)模型權值參數(shù)上的流形先驗,通過拉普拉斯算法將參數(shù)的后驗概率分布近似為高斯分布,然后使用迭代重加權最小二乘法求出分布的均值,提出了基于圖拉普拉斯的稀疏貝葉斯分類算法,該算法具有良好的稀疏性,訓練時間較短,收斂速度快,同時通過概率輸出能夠度量預測結果的不確定性。(3)本文利用邊際似然函數(shù)能夠控制模型對樣本數(shù)據(jù)流形信息利用程度的超參數(shù)λ和超參數(shù)α進行自動優(yōu)化,因此本文算法參數(shù)少,簡單高效。(4)本文實驗部分在人工數(shù)據(jù)集、標準數(shù)據(jù)集和流形數(shù)據(jù)集上進行大量的實驗,通過與傳統(tǒng)的監(jiān)督學習算法對比,驗證了本文提出的算法具有良好的分類準確性、較好的模型稀疏性和較快的收斂速度。
[Abstract]:As a mainstream machine learning algorithm, sparse Bayes can make full use of the prior information of the data and combine the known sample set to establish a reasonable mathematical model. With good sparsity and probability output in the training results, it has become a hot topic in the field of machine learning, and has attracted more and more researchers' attention. However, for manifold data sets. These sparse Bayesian algorithms, such as correlation vector machine, probability classification vector machine, because of ignoring the special structure information in the data set, the output model can not express the real data very well. As a result, the model is too complex and the classification performance is low. Based on the existing sparse Bayes algorithm, this paper combines manifold regularization framework. A sparse Bayesian algorithm which can make full use of the data manifold information is proposed. A sparse Bayesian classification algorithm based on graph Laplace. This algorithm introduces a sparse manifold priori on the prior distribution of the weights of the sparse Bayesian model. The manifold structure information of the dataset itself is used as a priori knowledge in order to train a more data distribution model and improve the classification performance of the sparse Bayesian algorithm. We analyze the model theoretically, and verify the accuracy of the algorithm. Then, we carry out a number of comparative experiments on different data sets. The results show that the proposed algorithm not only achieves ideal classification performance on the dataset with manifold. The main work of this paper is summarized as follows: 1) based on the traditional framework of sparse Bayes and manifold regularization, the proposed algorithm defines a manifold priori. The manifold information of the data is incorporated into the priori of the model, and the information is reused in the training process, and then the classification function is constrained, so the accuracy can be obtained with high accuracy. In this paper, the posterior probability distribution of the parameter is approximated to Gao Si distribution by Laplace algorithm according to the manifold priori on the weight parameter of the model. Then we use iterative reweighted least square method to find the mean value of the distribution, and propose a sparse Bayesian classification algorithm based on graph Laplace. The algorithm has good sparsity, short training time and fast convergence speed. At the same time, the uncertainty of the prediction result can be measured by the probability output. In this paper, the marginal likelihood function is used to control the model to automatically optimize the super-parameter 位 and the super-parameter 偽 of the data stream information. Therefore, this algorithm has few parameters and is simple and efficient. 4) in the experiment part, a large number of experiments are carried out on artificial data sets, standard data sets and manifold data sets, and compared with traditional supervised learning algorithms. It is verified that the proposed algorithm has good classification accuracy, better model sparsity and faster convergence speed.
【學位授予單位】：中國科學技術大學
【學位級別】：碩士
【學位授予年份】：2017
【分類號】：TP181

【相似文獻】

相關期刊論文 前10條

1 石國楨;;工程診斷和診斷中的貝葉斯方法[J];機械強度;1984年02期

2 陳英武;高妍方;;貝葉斯網(wǎng)絡擴展研究綜述[J];控制與決策;2008年10期

3 徐立;;預案分析的貝葉斯網(wǎng)絡方法[J];價值工程;2012年08期

4 胡春玲;;貝葉斯網(wǎng)絡研究綜述[J];合肥學院學報(自然科學版);2013年01期

5 樓宇希;;應用貝葉斯方法縮短可靠性試驗時間[J];現(xiàn)代雷達;1986年01期

6 鄭駿;隨機方法與貝葉斯方法在高新技術中的應用[J];軟科學;1995年01期

7 覃秋梅;張師超;;一類貝葉斯網(wǎng)絡的線性推理[J];計算機科學;1999年10期

8 張琨,徐永紅,王珩,劉鳳玉;用于入侵檢測的貝葉斯網(wǎng)絡[J];小型微型計算機系統(tǒng);2003年05期

9 陳曉懷,程真英,劉春山;動態(tài)測量誤差的貝葉斯建模預報[J];儀器儀表學報;2004年S1期

10 李蕓;;基于貝葉斯信念網(wǎng)絡的數(shù)據(jù)分類挖掘算法[J];計算機科學;2006年09期

相關會議論文 前10條

1 David Z.D'Argenio;;貝葉斯方法在實驗室研究向臨床的轉化以及辨識隱含亞群體中的應用(英文)[A];中國藥理學會臨床藥理學專業(yè)委員會會議暨第十次全國臨床藥理學學術會議論文集[C];2007年

2 姜峰;高文;姚鴻勛;;貝葉斯網(wǎng)絡的推理和學習[A];全國網(wǎng)絡與信息安全技術研討會'2005論文集（下冊）[C];2005年

3 丁東洋;劉希陽;;風險分析中的穩(wěn)健貝葉斯方法[A];2011年全國電子信息技術與應用學術會議論文集[C];2011年

4 周桃庚;沙定國;;貝葉斯可靠性序貫驗證試驗方法[A];中國儀器儀表學會第三屆青年學術會議論文集（下）[C];2001年

5 陳曉懷;程真英;劉春山;;動態(tài)測量誤差的貝葉斯建模預報[A];第二屆全國信息獲取與處理學術會議論文集[C];2004年

6 杜鵬英;羅小平;何志明;;貝葉斯網(wǎng)絡的發(fā)展及理論應用[A];第三屆全國虛擬儀器大會論文集[C];2008年

7 楊麗;武海濱;李康;;無金標準診斷試驗評價的貝葉斯方法及應用[A];2011年中國衛(wèi)生統(tǒng)計學年會會議論文集[C];2011年

8 寧鵬達;;貝葉斯方法在風險投資項目決策中的應用[A];第四屆中國科學學與科技政策研究會學術年會論文集（Ⅰ）[C];2008年

9 朱永生;;貝葉斯方法確定泊松變量的置信上限[A];中國物理學會高能物理分會第七屆學術年會實驗分會場論文集[C];2006年

10 王增忠;柳玉杰;施建剛;;建筑工程項目全壽命安全管理決策的貝葉斯方法[A];中國優(yōu)選法統(tǒng)籌法與經(jīng)濟數(shù)學研究會第七屆全國會員代表大會暨第七屆中國管理科學學術年會論文集[C];2005年

相關博士學位論文 前10條

1 翟勝;基于貝葉斯網(wǎng)絡的復雜系統(tǒng)可靠分析方法研究與應用[D];天津工業(yè)大學;2016年

2 劉瑞;基于貝葉斯網(wǎng)絡的洪水災害風險評估與建模研究[D];華東師范大學;2016年

3 張潤梅;基于貝葉斯網(wǎng)絡的復雜系統(tǒng)因果關系研究[D];合肥工業(yè)大學;2015年

4 李艷穎;貝葉斯網(wǎng)絡學習及數(shù)據(jù)分類研究[D];西安電子科技大學;2015年

5 趙建U，

本文編號：1391287