本文關鍵詞： 概率圖 正則化 凸分析 歸約原理 梯度對偶 概率空間　出處：《浙江大學》2017年博士論文　論文類型：學位論文

【摘要】：概率圖模型(Graphical Model.Probabilistic Graphical Model)是一種結合概率論和圖論,通過表示局部直接關聯(lián)的條件概率刻畫系統(tǒng)的有效工具,以其直觀易懂的特點在數(shù)據(jù)處理中被廣泛使用。然而隨著概率節(jié)點的增多,系統(tǒng)的總體分析變得困難,推理通常也比較復雜。本文在正則化框架下,以凸分析為研究二具,研究監(jiān)督、半監(jiān)督和非監(jiān)督情形下的概率圖模型,形式化的目標函數(shù)簡單,從而能夠?qū)С龈咝У耐评硭惴?并且監(jiān)督、半監(jiān)督以及非監(jiān)督之間的關系自然演進,能夠統(tǒng)一在本文提供的正則化框架下;此外,設計在線算法求解正則化優(yōu)化問題,能很好地平衡概率圖模型的推理計算開銷和泛化性能。我們首先研究多分類學習,設計的貝葉斯分類器的核心節(jié)點為輸入樣本特征賦予概率,標簽和特征通過該概率賦值建立聯(lián)系�；趯ψ畲髮�(shù)似然邏輯建立的優(yōu)化問題進行分析,我們設計了計算開銷極小的學習和預測方法,實驗還證明該貝葉斯分類器在預測準確性和泛化性上都優(yōu)于傳統(tǒng)的多分類方法。我們的貝葉斯分類器兼具簡單易懂、計算復雜性小、預測準確等優(yōu)點。在半監(jiān)督學習部分,我們設計了兩個處理方法。第一個利用監(jiān)督學習中貝葉斯分類器使用在線算法進行學習,且具有較快收斂速度和較好泛化性能的優(yōu)點,讓貝葉斯分類器為無標簽數(shù)據(jù)預測類型標簽,并將預測的類型標簽和無標簽數(shù)據(jù)組合在一起,用于訓練。該方法是一個典型的探索-利用(Exploration-Exploitation)過程。第二個通過對貝葉斯分類器目標函數(shù)的分析,將之對應上以LogSumExp為目標函數(shù)的帶約束優(yōu)化問題,約束部分與類型標簽有關,從而導出用LogSumExp處理元標簽數(shù)據(jù)的基本框架,用于度量參數(shù)與特征數(shù)據(jù)結合的一致性。我們導出的這個框架能夠覆蓋k平均(k-means)方法,區(qū)別在于我們的模型基于乘積連接模型參數(shù)和無標簽數(shù)據(jù),而經(jīng)典k-means使用L2距離。雖然我們在半監(jiān)督學習中導出LogSumExp,但是需要說明的是該方法也可以用于非監(jiān)督學習。LDA(Latent Dirichlet Allocation)和HDP(Hierarchical Dirichlet Processes)是經(jīng)典的無監(jiān)督自然語言處理模型。它的概率圖描述中包含了大量與文本(甚至文本單詞)關聯(lián)的、需要進行優(yōu)化處理的節(jié)點;這些節(jié)點描述概率圖的局部條件依賴關系,缺少簡單的整體性形式化優(yōu)化問題定義,導致難以檢測其合理性。在無監(jiān)督學習部分,我們將LDA和HDP模型歸約為正則優(yōu)化問題。本文理論上的主要貢獻包括:1.用LogSumExp處理無標簽數(shù)據(jù)。我們對貝葉斯分類器處理標記數(shù)據(jù)的目標函數(shù)進行分析,導出了其具有定義Fenchel共軛函數(shù)使用的優(yōu)化問題目標函數(shù)的形式;通過對約束優(yōu)化問題和Fenchel共軛定義的關聯(lián),提取約束優(yōu)化問題目標函數(shù)部分LogSumExp,將此作為處理非監(jiān)督數(shù)據(jù)的框架。LogSumExp的導數(shù)為模型各個類型賦予不同的權重,以實現(xiàn)無類型標記時對學習的引導。2.將凸分析的對偶原理用于正則優(yōu)化問題導出歸約原理。歸約原理將只含有一個優(yōu)化元的正則化優(yōu)化問題等價于包含多個變元的對偶問題,并且建立兩個問題優(yōu)化元間的關系式�；跉w約原理,我們認識到模型中與序列有關的變元對應著只含一個參數(shù)優(yōu)化問題的梯度,從而與大量序列變元有關的優(yōu)化問題變成少量變元的優(yōu)化問題。歸約原理是建立概率圖模型正則優(yōu)化問題視圖的基礎,它也導出了任務"定義正則優(yōu)化問題,以使得數(shù)據(jù)項梯度與給定概率圖模型一致"。3.共輒函數(shù)定義對應一個優(yōu)化問題,我們建立從共軛函數(shù)輸入(對應優(yōu)化問題參數(shù))到優(yōu)化問題解的映射�；贔enchel不等式和共軛雙射性,在函數(shù)嚴格凸時,我們得到從優(yōu)化問題參數(shù)到優(yōu)化問題極值的雙射視圖,在其中發(fā)揮作用的是原函數(shù)和共軛函數(shù)的梯度。因為梯度在關聯(lián)參數(shù)和極值的重要作用,我們將這個性質(zhì)稱為梯度對偶原理。梯度對偶是我們定義正則優(yōu)化問題正則項的理論基礎。4.概率空間及其對偶空間。概率單純形是概率圖中的重要部件,在正則優(yōu)化處理中需要處理參數(shù)和梯度(互為梯度對偶關系)的變換。通過對函數(shù)定義域結構的分析,使不能直接使用的梯度對偶原理在共軛函數(shù)P∈概率單純形.log(P)和LogSumExp上成立,并將這兩個共軛函數(shù)作為度量建立概率空間及其對偶空間。此外,我們通過LDA正則優(yōu)化問題在線解法的分析,導出了概率空間的加和代數(shù)系統(tǒng)。
[Abstract]:In this paper , we design two processing methods based on the analysis of the objective function of the Bayesian classifier . The second pass the analysis of the objective function of the Bayesian classifier . It also proves that the Bayesian classifier is better than the traditional multi - classification method . In this paper , we propose a method to solve the problem of optimization problem . Based on the principle of convergence , we get a two - shot view of the optimization problem of the optimization problem .

【學位授予單位】：浙江大學
【學位級別】：博士
【學位授予年份】：2017
【分類號】：O174.13;O211

【相似文獻】

相關期刊論文 前10條

1 王文毅,李柱;失效分布類型的概率圖模糊判別[J];華中工學院學報;1988年01期

2 R.M.Morris;曾曉梅;;數(shù)值概率在天氣預報中的應用[J];氣象科技;1993年01期

3 岳昆;王朝祿;朱運磊;武浩;劉惟一;;基于概率圖模型的互聯(lián)網(wǎng)廣告點擊率預測[J];華東師范大學學報(自然科學版);2013年03期

4 ;危害后季稻的秋季低溫預報方法[J];大氣科學;1977年03期

5 徐瑾;岳昆;錢文華;張學杰;;一種基于概率圖模型的研究生生源質(zhì)量評價方法[J];云南大學學報(自然科學版);2011年S2期

6 張郢珍,張立人,粟生平,李志雄;地殼極限應變與危險區(qū)強震發(fā)生的概率估計[J];中國地震;1991年02期

7 孫山澤,謝雨平;如何確定決策問題中結局的概率[J];數(shù)理統(tǒng)計與管理;1996年05期

8 楊關;馮國燦;陳偉福;羅志宏;;基于概率圖模型的圖像紋理模型[J];中山大學學報(自然科學版);2011年02期

9 蔡鵬飛;岳昆;李雪;劉惟一;;一種基于概率圖模型的關聯(lián)規(guī)則更新方法[J];云南大學學報(自然科學版);2013年02期

10 謝彬;;遇到當天出生的人的概率的準確計算[J];陜西教育(高教版);2009年02期

相關會議論文 前6條

1 文振q;朱為總;歐陽杰;羅威;;基于無向概率圖模型的視頻語義狀態(tài)建模[A];圖像圖形技術研究與應用2009——第四屆圖像圖形技術與應用學術會議論文集[C];2009年

2 蘇從勇;莊越挺;黃麗;吳飛;;基于概率圖模型的人臉多特征跟蹤[A];全國第13屆計算機輔助設計與圖形學（CAD/CG）學術會議論文集[C];2004年

3 黎海恩;劉建偉;羅雄麟;;概率圖模型的變分近似推理[A];2013年中國智能自動化學術會議論文集（第四分冊）[C];2013年

4 王源;岳昆;方啟宇;劉惟一;;CloudBN:基于云計算的概率圖模型學習系統(tǒng)[A];第29屆中國數(shù)據(jù)庫學術會議論文集（B輯）（NDBC2012）[C];2012年

5 張領強;張怡;王勇軍;;一種基于攻擊概率的攻擊圖分級方法[A];中國電子學會第十六屆信息論學術年會論文集[C];2009年

6 朱青;王珊;常利軍;;基于概率學習導航的分布式信息查詢[A];第二十五屆中國數(shù)據(jù)庫學術會議論文集（一）[C];2008年

相關博士學位論文 前7條

1 胡桃成;凸分析在概率圖模型中的應用[D];浙江大學;2017年

2 石東昱;適合分布計算環(huán)境不確定性處理的概率圖模型若干問題研究[D];上海交通大學;2006年

3 孫建中;面向圖像處理的概率圖模型應用研究[D];重慶大學;2013年

4 趙安平;基于概率圖模型的服務語義鏈網(wǎng)絡研究[D];西南大學;2011年

5 段琳琳;通信系統(tǒng)中基于概率圖模型的迭代接收技術研究[D];鄭州大學;2014年

6 劉志磊;概率圖模型在情感計算中的應用研究[D];中國科學技術大學;2014年

7 門衛(wèi)偉;中西方人腦形態(tài)學研究與大樣本中國人腦模板構建[D];華東師范大學;2013年

相關碩士學位論文 前10條

1 方文周;基于概率邊界的多層次顯著性檢測算法研究[D];深圳大學;2015年

2 王朋函;基于概率圖的三支決策模型及其應用研究[D];河南師范大學;2015年

3 陸希晨;基于概率圖模型的優(yōu)化算法研究[D];青島大學;2016年

4 蔡波;基于概率圖模型的目標跟蹤算法研究[D];南京航空航天大學;2016年

5 楊文明;鏈事件圖的推理和學習[D];西安電子科技大學;2015年

6 朱鵬;基于概率圖模型的視覺目標跟蹤算法研究[D];福建師范大學;2016年

7 李禎孝;視覺特征分析的概率圖模型方法[D];上海交通大學;2010年

8 黃其旺;基于改進概率圖的多無人機協(xié)同搜索策略研究[D];國防科學技術大學;2012年

9 高龍;基于概率圖模型的變分貝葉斯方法研究[D];蘇州大學;2013年

10 張靜;異構網(wǎng)絡的概率圖建模及其在檢索中的應用[D];清華大學;2009年

，

本文編號：1496452