概率模型由于其靈活的表達(dá)形式成為當(dāng)前廣泛使用的密度估計(jì)和聚類工具之一。目前,隨著因特網(wǎng)技術(shù)的快速發(fā)展,信息化數(shù)據(jù)呈現(xiàn)出爆炸式增長,如何將概率模型應(yīng)用于大規(guī)模數(shù)據(jù)集上成為了急待解決的問題。針對這一現(xiàn)象,本文主要就如何解決大規(guī)模數(shù)據(jù)集上概率混合模型中的參數(shù)估計(jì)和模型需選擇問題進(jìn)行了深入探究。首先,本文介紹了當(dāng)前概率模型的研究現(xiàn)狀和意義,引出了概率模型的定義,對模型參數(shù)估計(jì)和模型選擇的兩種主要方法——確定性方法和非確定性方法進(jìn)行了介紹,其中,確定性方法以EM算法為主,但是EM算法存在初始值敏感和不能自動(dòng)確定混合分量數(shù)的問題。因此采用以貝葉斯方法為代表的非確定性方法。但是直接使用貝葉斯公式并不能求解,因此采用近似推理方法解決該問題。接下來,本文對逆狄利克雷混合模型進(jìn)行建模,采用傳統(tǒng)變分貝葉斯框架,通過不斷最大化變分函數(shù)目標(biāo)的下界來逼近真實(shí)的后驗(yàn)分布。在傳統(tǒng)變分貝葉斯基礎(chǔ)上,引入隨機(jī)變分貝葉斯方法,解決傳統(tǒng)變分貝葉斯方法效率低的問題。傳統(tǒng)變分貝葉斯方法更新局部參數(shù)時(shí)需要估計(jì)所有數(shù)據(jù)點(diǎn)的局部變分參數(shù)。隨機(jī)變分方法每次迭代更新局部參數(shù)先抽取部分樣本計(jì)算局部變分參數(shù),再根據(jù)局部變分參數(shù)求解中間全局變分... 

【文章來源】：北方工業(yè)大學(xué)北京市

【文章頁數(shù)】：66 頁

【學(xué)位級別】：碩士

【部分圖文】：

二維高斯圖像

第二章相關(guān)知識12(a)(b)(c)(d)圖2-3不同參數(shù)下的貝塔分布圖像：(a)=5，=5;(b)=0.6，=0.6;(c)=1，=1;(d)=0.5，=5貝塔函數(shù)適用于數(shù)據(jù)區(qū)間有限的情況下進(jìn)行隨機(jī)變量建模，在實(shí)際數(shù)據(jù)中，很多數(shù)據(jù)都是在有限區(qū)間內(nèi)的，比如在圖像處理中，圖像像素的數(shù)值區(qū)間在[0,255]之間；在語音識別領(lǐng)域，線譜頻率的特征在[0,]之間。有限區(qū)間的數(shù)據(jù)可以轉(zhuǎn)換到特定的有限區(qū)間，因此用貝塔混合模型進(jìn)行擬合具有很大的優(yōu)勢。2.狄利克雷和逆狄利克雷分布狄利克雷分布[36](DirichletDistribution)是多項(xiàng)式分布的共軛先驗(yàn)，它可以看做是貝塔分布推廣到多變量的情況，D維的狄利克雷分布的定義如下：1111()(|)()dDDddDddddDirxx(2-15)其中變量滿足：01dx并且1dDx，為狄利克雷分布的參數(shù)。貝塔分布是狄利克雷分布的特殊情況，可以看做是1dx的有效觀測數(shù)，狄利克雷分布也是多項(xiàng)式分布的共軛先驗(yàn)。逆狄利克雷分布[37][38](InvertedDirichletDistribution)可以看成將逆Beta分布推廣到多變量的形式。假設(shè)統(tǒng)計(jì)模型中的觀測數(shù)據(jù)為x，0,1,...,dxdD，D維的逆狄利克雷的參數(shù)為12+1=,,...,TD，則其概率密度函數(shù)為：

第二章相關(guān)知識13111111111()(|)(1)()DdddDDDddDddddddiDirxxx(2-16)()代表伽馬函數(shù)，它的函數(shù)為10()=ttuedt。參數(shù)不同，狄利克雷函數(shù)的圖像也會相應(yīng)的發(fā)生改變。狄利克雷圖像非常靈活，可以是左偏、右偏或者對稱，圖2-4是不同參數(shù)下的逆狄利克雷圖像。（a）（b）(c)圖2-4不同參數(shù)下的逆狄利克雷分布圖像：(a)123=8,=15,2;(b)123=3,=10,3;(c)123=2,=2,23.伽馬分布伽馬分布[39]（gammadistribution）是概率論中更加具有普遍性的一種連續(xù)概率密度函數(shù)，也是非常重要的一個(gè)分布。指數(shù)分布和卡方分布都是伽馬分布的特例，伽馬分布的表達(dá)式為：1(|,)()xGammaxxe(2-17)其中x0。為形狀參數(shù)，為尺度參數(shù)，，0。伽馬分布的期望和方差為：E(x)，2Var(x)。伽馬分布具有以下幾條性質(zhì)：在尺度參數(shù)不變的情況下，伽馬分布形狀參數(shù)

【參考文獻(xiàn)】：
期刊論文
[1]基于HOG和SVM的船舶圖像分類算法[J]. 吳映錚,楊柳濤.  上海船舶運(yùn)輸科學(xué)研究所學(xué)報(bào). 2019(01)
[2]貝塔混合模型的變分貝葉斯學(xué)習(xí)及應(yīng)用[J]. 賴裕平,高寧,何聞達(dá),平原,杜春來,王寶成,丁洪偉.  電子學(xué)報(bào). 2018(07)
[3]Variational Bayesian Inference for Finite Inverted Dirichlet Mixture Model and Its Application to Object Detection[J]. LAI Yuping,PING Yuan,HE Wenda,WANG Baocheng,WANG Jingzhong,ZHANG Xiufeng.  Chinese Journal of Electronics. 2018(03)
[4]基于深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的SAR圖像目標(biāo)識別算法[J]. 梁鑫,徐慧.  江漢大學(xué)學(xué)報(bào)(自然科學(xué)版). 2016(02)
[5]基于內(nèi)容感知的DLP技術(shù)分析與研究[J]. 王文宇.  信息安全與通信保密. 2011(11)
[6]馬爾科夫鏈蒙特卡羅方法研究綜述[J]. 朱新玲.  統(tǒng)計(jì)與決策. 2009(21)
[7]離散型區(qū)間概率隨機(jī)變量和模糊概率隨機(jī)變量的數(shù)學(xué)期望[J]. 肖盛燮,呂恩琳.  應(yīng)用數(shù)學(xué)和力學(xué). 2005(10)
[8]概率論中隨機(jī)變量分布函數(shù)的討論[J]. 韓利娜.  西安教育學(xué)院學(xué)報(bào). 2002(03)

博士論文
[1]基于生成模型的大規(guī)模網(wǎng)絡(luò)廣義社區(qū)發(fā)現(xiàn)方法研究[D]. 柴變芳.北京交通大學(xué) 2015
[2]貝葉斯網(wǎng)絡(luò)模型的變分貝葉斯學(xué)習(xí)與推理研究[D]. 沈忱.哈爾濱工程大學(xué) 2015
[3]非高斯混合模型的變分學(xué)習(xí)算法研究[D]. 賴裕平.北京郵電大學(xué) 2014
[4]基于統(tǒng)一概率模型的人臉識別技術(shù)[D]. 廖頻.中國科學(xué)院研究生院（計(jì)算技術(shù)研究所） 2003



本文編號：3343984