基于信息論的貝葉斯網(wǎng)絡結(jié)構學習算法研究
本文選題:貝葉斯網(wǎng)絡 + 信息論; 參考:《東華大學》2017年碩士論文
【摘要】:貝葉斯網(wǎng)絡模型是不確定性知識表示和建模領域中最經(jīng)典、最有效的模型之一。貝葉斯網(wǎng)絡自然地將概率論與圖論相結(jié)合,既能反映出觀測數(shù)據(jù)的內(nèi)在規(guī)律,其圖形化的表示方式又具有形象直觀的特點,且與神經(jīng)網(wǎng)絡相比為白盒模型,具有良好的可理解性和邏輯性,因此在機器學習、人工智能、生物醫(yī)療、故障分析等方面得到了廣泛的應用。本文首先對貝葉斯網(wǎng)絡模型進行概述,介紹了貝葉斯網(wǎng)絡的研究背景及意義、研究歷史及現(xiàn)狀以及貝葉斯網(wǎng)絡的研究前沿。然后按照邏輯的遞進順序詳細闡述了信息論的基本知識和貝葉斯網(wǎng)絡模型的相關理論,對于貝葉斯網(wǎng)絡的學習方法進行了詳細介紹,包括兩種經(jīng)典的參數(shù)學習方法和兩種經(jīng)典的結(jié)構學習方法,并對與貝葉斯網(wǎng)絡聯(lián)系非常緊密的因果關系理論進行了簡單介紹。針對連續(xù)型隨機變量的貝葉斯網(wǎng)絡結(jié)構學習問題,本文提出了基于條件熵和高斯過程網(wǎng)絡的貝葉斯網(wǎng)絡結(jié)構局部打分法CE-GP,將互信息最大化原則轉(zhuǎn)化為條件熵最小化原則,使用條件熵和高斯過程網(wǎng)絡在貝葉斯網(wǎng)絡結(jié)構學習的過程中為每個節(jié)點確定雙親節(jié)點集合時進行打分。通過在模擬數(shù)據(jù)集和釀酒酵母基因數(shù)據(jù)集上的實驗表明,CE-GP打分法能夠避免將連續(xù)型變量離散化帶來的信息丟失,計算簡單,準確度高,與本文提出的一種基于閾值的改進K2啟發(fā)式算法相結(jié)合,能夠以較小代價獲取擬合較優(yōu)的局部貝葉斯網(wǎng)絡結(jié)構。針對大規(guī)模數(shù)據(jù)集的貝葉斯網(wǎng)絡結(jié)構學習問題,本文提出了基于信息論、禁忌搜索和赤池信息準則的貝葉斯網(wǎng)絡結(jié)構學習算法ITA。首先使用基于信息論的貝葉斯網(wǎng)絡降維算法對非目標變量進行篩選,獲取與目標變量密切相關的因素,作為貝葉斯網(wǎng)絡結(jié)構中的節(jié)點,然后使用以赤池信息準則作為評分函數(shù),禁忌搜索作為啟發(fā)式方法的學習算法建立貝葉斯網(wǎng)絡模型,以獲得全局最優(yōu)解。通過在SPECT和SIDO數(shù)據(jù)集上的實驗表明,ITA算法能夠準確獲取領域中的核心因果關系,得到簡潔直觀的貝葉斯網(wǎng)絡,同時具有較低的時間復雜度,是生物醫(yī)學領域進行大規(guī)模不確定性知識表達的一種有效解決方案。
[Abstract]:The Bias network model is one of the most classic and most effective models in the domain of uncertain knowledge representation and modeling. The Bias network naturally combines the probability theory with the graph theory, which can not only reflect the inherent laws of the observation data, but also have the visual and visual characteristics of the graphical representation and the white box model compared with the neural network. It has good understandability and logic, so it has been widely used in machine learning, artificial intelligence, biological medical treatment, fault analysis and so on. This paper first summarizes the Bayesian network model, introduces the research background and significance of Bayesian network, the history and status of the research, and the research frontier of Bayesian Networks. The basic knowledge of information theory and the related theory of Bias network model are elaborated in detail according to the progressive sequence of logic, and the learning methods of Bias network are introduced in detail, including two classical parameter learning methods and two classical structural learning methods, and a very close causal relationship with Bayesian Juliu network. In view of the Bayesian network structure learning problem of continuous random variables, this paper proposes a local scoring method CE-GP based on conditional entropy and Gauss process network, which transforms the principle of mutual information maximization into the principle of conditional entropy minimization, and makes use of conditional entropy and Gauss process network in Bayesian networks. Through the experiments on the simulated dataset and the Saccharomyces cerevisiae data set, the CE-GP scoring method can avoid the loss of information caused by the discretization of continuous variables, and the calculation is simple and accurate. Combining the K2 heuristic algorithm, we can obtain better fitting local Bayesian network structure at a small cost. In view of the Bayesian network structure learning problem of large-scale data sets, this paper proposes a Bayesian network structure learning algorithm based on information theory, tabu search and red pool information criteria, ITA. first uses information based shellfish. The Juliu network reduction algorithm filters the non target variables and obtains the factors closely related to the target variables. As the nodes in the Bias network structure, the Bayesian network model is established by using the Chek pool information criterion as the scoring function and the tabu search as a heuristic method to obtain the global optimal solution. The experiments on SPECT and SIDO datasets show that the ITA algorithm can accurately obtain the core causality in the field, and get a concise and intuitive Bayesian network with a lower time complexity. It is an effective solution to the large-scale uncertainty knowledge expression in the biomedical field.
【學位授予單位】:東華大學
【學位級別】:碩士
【學位授予年份】:2017
【分類號】:TP18
【相似文獻】
相關期刊論文 前10條
1 趙越;茹婷婷;;分層貝葉斯網(wǎng)絡模型研究[J];廣西輕工業(yè);2011年08期
2 陳亮;;改進的貝葉斯網(wǎng)絡模型在保險欺詐挖掘中的應用[J];河南城建學院學報;2012年01期
3 秦小虎;劉利;張穎;;一種基于貝葉斯網(wǎng)絡模型的交通事故預測方法[J];計算機仿真;2005年11期
4 柴慧敏;王寶樹;;態(tài)勢評估中的貝葉斯網(wǎng)絡模型研究[J];西安電子科技大學學報;2009年03期
5 黃建明;方嬌莉;王心平;;大學課程貝葉斯網(wǎng)絡模型研究[J];貴州大學學報(自然科學版);2009年02期
6 張凌宇;馬宗民;嚴麗;;一種基于貝葉斯網(wǎng)絡模型及多策略計算的本體映射方法[J];小型微型計算機系統(tǒng);2012年11期
7 歐潔;;基于貝葉斯網(wǎng)絡模型的用戶興趣聯(lián)合推送[J];計算機科學;2003年12期
8 王鵬;周厚順;王樹宗;;物元貝葉斯網(wǎng)絡模型研究[J];國防科技大學學報;2009年01期
9 金盛;王殿海;祁宏生;;單線圈檢測器速度估計的貝葉斯網(wǎng)絡模型[J];交通運輸系統(tǒng)工程與信息;2010年01期
10 石杰;;簡析貝葉斯網(wǎng)絡模型在偵查中的應用[J];法制與經(jīng)濟(中旬);2011年12期
相關會議論文 前5條
1 夏雪峰;孫之榮;;動態(tài)貝葉斯網(wǎng)絡結(jié)合先驗生物學知識構建調(diào)控網(wǎng)絡[A];第九次全國生物物理大會學術會議論文摘要集[C];2002年
2 劉貝;李勇;孟繁疆;蘆艷敏;;基因調(diào)控網(wǎng)絡模型的研究[A];黑龍江省計算機學會2007年學術交流年會論文集[C];2007年
3 黃山;瞿筆玄;顧秋艷;曹亦薇;;貝葉斯網(wǎng)絡模型在閱讀理解測驗中的應用[A];全國教育與心理統(tǒng)計與測量學術年會暨第八屆海峽兩岸心理與教育測驗學術研討會論文摘要集[C];2008年
4 陳林;章志凌;羅海飛;邵曉敏;汪更生;陳弈秋;何偉杰;;基于貝葉斯網(wǎng)絡模型的智能節(jié)目選擇的設計與實現(xiàn)[A];第二十四屆中國控制會議論文集(下冊)[C];2005年
5 鐘女娟;劉言訓;;中藥經(jīng)驗要素貝葉斯網(wǎng)絡模型構建及應用[A];2011年中國衛(wèi)生統(tǒng)計學年會會議論文集[C];2011年
相關博士學位論文 前1條
1 朱浩;一類動態(tài)貝葉斯網(wǎng)絡模型及其應用研究[D];重慶大學;2012年
相關碩士學位論文 前5條
1 蘭志霞;基于改進準則的貝葉斯網(wǎng)絡模型選擇[D];西南交通大學;2016年
2 洪宇;基于信息論的貝葉斯網(wǎng)絡結(jié)構學習算法研究[D];東華大學;2017年
3 田冰;分布式異構貝葉斯網(wǎng)絡模型及其移動商務應用[D];廣東工業(yè)大學;2008年
4 曹明;監(jiān)控事件檢測的貝葉斯網(wǎng)絡模型優(yōu)化研究[D];上海交通大學;2011年
5 張茹;基于貝葉斯網(wǎng)絡模型的風機齒輪箱的故障分析診斷[D];哈爾濱理工大學;2014年
,本文編號:2116062
本文鏈接:http://sikaile.net/shoufeilunwen/xixikjs/2116062.html