分布式變分貝葉斯算法及其應(yīng)用
發(fā)布時間:2020-04-08 06:06
【摘要】:隨著現(xiàn)代通信技術(shù)、嵌入式系統(tǒng)、分布式計算系統(tǒng)的蓬勃發(fā)展,傳感器網(wǎng)絡(luò)上的分布式信息處理受到了越來越廣泛的關(guān)注。為實現(xiàn)傳感器網(wǎng)絡(luò)上更加可靠更加魯棒的信息處理,完全去中心化的分布式處理機制逐漸被提出。在本文,我們考慮網(wǎng)絡(luò)中的各節(jié)點使用自身采集的數(shù)據(jù)進(jìn)行局部計算,并且與鄰居節(jié)點進(jìn)行少量的信息交換,從而實現(xiàn)完全去中心化的分布式信息處理。在當(dāng)前的分布式信息處理的算法研究中,數(shù)據(jù)建模主要分為兩種模式:頻率建模和貝葉斯建模。基于頻率建模的分布式算法已被廣泛研究,而基于貝葉斯建模的分布式算法則相對較少。一方面是由于貝葉斯模型本身相較于非貝葉斯模型會更復(fù)雜,研究的難度更高;另一方面是由于貝葉斯模型中的參數(shù)估計和推斷問題往往是非常困難的。雖然存在困難,但貝葉斯建模具有許多優(yōu)點。首先,貝葉斯方法基于概率論能夠?qū)δP徒Y(jié)構(gòu)、參數(shù)和數(shù)據(jù)噪聲的不確定性進(jìn)行建模。其次,通過貝葉斯法則我們能夠推斷未知參數(shù)、調(diào)整模型、從數(shù)據(jù)中學(xué)習(xí)并作出預(yù)測。關(guān)于分布式貝葉斯學(xué)習(xí)的研究具有很高的學(xué)術(shù)和應(yīng)用價值。然而在貝葉斯學(xué)習(xí)中,后驗概率的計算通常存在困難。一種經(jīng)典且廣泛使用的近似方法是變分貝葉斯。本文針對網(wǎng)絡(luò)上的貝葉斯學(xué)習(xí)問題,系統(tǒng)地研究了分布式變分貝葉斯算法及其在聯(lián)合稀疏信號恢復(fù)、魯棒卡爾曼濾波和擴展目標(biāo)跟蹤問題中的應(yīng)用。具體地,針對貝葉斯框架下的分布式推斷/估計問題,本文提出了兩種通用的分布式變分貝葉斯算法,可適用于一大類共軛指數(shù)族模型。我們基于概率空間的黎曼幾何,將關(guān)于概率分布的優(yōu)化問題轉(zhuǎn)化關(guān)于自然參數(shù)向量的優(yōu)化問題。然后基于隨機自然梯度和擴散策略,以及基于交替方向乘子法(ADMM),分別對優(yōu)化問題進(jìn)行求解。我們將這兩種算法應(yīng)用于貝葉斯高斯混合模型的分布式推斷/估計問題中。仿真結(jié)果表明,本文提出的分布式算法具有與相對應(yīng)的集中式算法相接近的性能。針對分布式聯(lián)合稀疏信號恢復(fù)問題,本文提出了一種基于量化通信的聯(lián)合稀疏貝葉斯學(xué)習(xí)算法。在以往的工作中,一般假設(shè)節(jié)點間的傳輸數(shù)據(jù)是實值的并且具有無限精度。但實際情況下,由于傳感器網(wǎng)絡(luò)具有有限的通信帶寬和信道容量,對傳輸數(shù)據(jù)進(jìn)行數(shù)字量化不可避免。本文考慮傳輸數(shù)據(jù)是被量化的。我們建立了一個完全層次聯(lián)合稀疏貝葉斯學(xué)習(xí)模型,并提出一個新的分布式變分貝葉斯算法,其節(jié)點間僅交換量化數(shù)據(jù)。我們從理論上分析了該量化分布式算法的收斂性。仿真實驗表明,量化分布式算法甚至比相對應(yīng)的非量化分布式算法和集中式算法具有更好的信號恢復(fù)性能。針對分布式卡爾曼濾波問題,本文考慮了過程和量測噪聲的協(xié)方差都是未知的情況,提出了一種分布式且在線的魯棒卡爾曼濾波算法。我們引入了一個改進(jìn)的狀態(tài)空間模型并提出了相應(yīng)的貝葉斯模型。該模型能夠處理野值和重尾噪聲,并且能提高卡爾曼濾波器的魯棒性。使用此模型,我們通過變分貝葉斯方法推導(dǎo)了集中式的魯棒卡爾曼濾波。然后使用ADMM方法將其擴展到分布式場景下。仿真實驗表明,當(dāng)測量數(shù)據(jù)或目標(biāo)狀態(tài)存在野值時,該分布式魯棒卡爾曼濾波算法比標(biāo)準(zhǔn)的卡爾曼濾波算法性能好得多。針對目標(biāo)跟蹤問題,傳統(tǒng)的方法一般假設(shè)目標(biāo)是一個點目標(biāo)。在本文,我們考慮目標(biāo)是具有一定空間結(jié)構(gòu)的物體,其不僅包括運動狀態(tài)還包括物體的輪廓。針對傳感器網(wǎng)絡(luò)中的擴展目標(biāo)跟蹤問題,我們提出一種分布式貝葉斯模型。基于該模型,我們先通過變分貝葉斯方法推導(dǎo)了一個集中式的擴展目標(biāo)跟蹤算法,然后基于ADMM提出了相應(yīng)的分布式算法。該算法能夠同時估計擴展目標(biāo)狀態(tài)(運動狀態(tài)和輪廓)以及量測噪聲協(xié)方差。最后,仿真實驗表明,該算法在擴展目標(biāo)跟蹤和群目標(biāo)跟蹤兩個場景下都有上佳的性能表現(xiàn)。
【圖文】:
在傳統(tǒng)的集中式處理機制中,一般需要一個具有強大計算能力和數(shù)據(jù)存儲能力的中心逡逑節(jié)點(中央處理點),它能夠采集并存儲傳感器網(wǎng)絡(luò)中所有節(jié)點的觀測數(shù)據(jù),并進(jìn)行信息逡逑處理。如圖1.1所示,由于傳感器節(jié)點自身能量和帶寬的限制,其通信范圍受限,需要通過逡逑多跳的方式才能把觀測數(shù)據(jù)傳輸?shù)街行墓?jié)點。這種集中式處理方式所需要的通信量較大,逡逑每個傳感器節(jié)點的通信耗能高,因而會降低節(jié)點的使用壽命。此外,當(dāng)某個節(jié)點失效或者逡逑通信鏈路出現(xiàn)故障時,這種集中式處理方式將易受到影響,網(wǎng)絡(luò)的魯棒性較差。由于各節(jié)逡逑點都將原始數(shù)據(jù)傳送到一個中心節(jié)點上,數(shù)據(jù)的隱私性無法得到保證,因此無線傳感器網(wǎng)逡逑絡(luò)的可靠性較差。逡逑與傳統(tǒng)的集中式處理相比,一種更可靠更魯棒的方式是分布式信息處理。這種分布式逡逑處理不需要一個具有強大計算能力的中心節(jié)點。在這種模式下,網(wǎng)絡(luò)中的各節(jié)點使用自身逡逑采集的數(shù)據(jù)進(jìn)行局部計算,并與鄰居節(jié)點相互通信,交換少量的數(shù)據(jù)信息。傳感器節(jié)點組逡逑成網(wǎng)絡(luò)后
定義1(圖,節(jié)點,邊).一個大小為iV的網(wǎng)絡(luò)表示為包括iV個節(jié)點的圖。一系列的邊將節(jié)點逡逑與節(jié)點相互連接。一個連向自身節(jié)點的邊稱為自環(huán)。通過邊相連的節(jié)點稱為鄰居節(jié)點。逡逑圖1.2給出了一個分布式信息處理的網(wǎng)絡(luò)拓?fù)涫疽鈭D。分布式信息處理是完全去中心逡逑化的,每個節(jié)點只與鄰居節(jié)點通信并交換信息,并不會通過多跳通信的方式將信息傳遞到逡逑非鄰居節(jié)點。本文考慮連通的傳感器網(wǎng)絡(luò)。對于一個連通網(wǎng)絡(luò),總是存在一條路徑能夠連逡逑接網(wǎng)絡(luò)中的兩個節(jié)點:即兩個節(jié)點或者是通過一條邊相連接,或者是通過經(jīng)過中間節(jié)點的逡逑路徑相連接。因此,雖然節(jié)點未直接與非鄰居節(jié)點通信,但由于網(wǎng)絡(luò)是連通的,通過一定逡逑的信息交換機制,節(jié)點可以借助其鄰居節(jié)點將自身信息擴散到其他非鄰居節(jié)點,同時該節(jié)逡逑點也可以獲取來自非鄰居節(jié)點的信息。逡逑分布式信息處理就是在這種完全去中心的網(wǎng)絡(luò)中進(jìn)行感知計算。一個設(shè)計良好的分布逡逑式算法能夠獲得與集中式算法接近的性能,同時保留所有網(wǎng)絡(luò)中分布式計算的優(yōu)勢?偨Y(jié)逡逑一下,與集中式處理機制相比,分布式處理機制有如下四個優(yōu)點:逡逑1)網(wǎng)絡(luò)通信量小。逡逑在傳統(tǒng)的集中式處理機制中
【學(xué)位授予單位】:浙江大學(xué)
【學(xué)位級別】:博士
【學(xué)位授予年份】:2018
【分類號】:TP212.9
本文編號:2618995
【圖文】:
在傳統(tǒng)的集中式處理機制中,一般需要一個具有強大計算能力和數(shù)據(jù)存儲能力的中心逡逑節(jié)點(中央處理點),它能夠采集并存儲傳感器網(wǎng)絡(luò)中所有節(jié)點的觀測數(shù)據(jù),并進(jìn)行信息逡逑處理。如圖1.1所示,由于傳感器節(jié)點自身能量和帶寬的限制,其通信范圍受限,需要通過逡逑多跳的方式才能把觀測數(shù)據(jù)傳輸?shù)街行墓?jié)點。這種集中式處理方式所需要的通信量較大,逡逑每個傳感器節(jié)點的通信耗能高,因而會降低節(jié)點的使用壽命。此外,當(dāng)某個節(jié)點失效或者逡逑通信鏈路出現(xiàn)故障時,這種集中式處理方式將易受到影響,網(wǎng)絡(luò)的魯棒性較差。由于各節(jié)逡逑點都將原始數(shù)據(jù)傳送到一個中心節(jié)點上,數(shù)據(jù)的隱私性無法得到保證,因此無線傳感器網(wǎng)逡逑絡(luò)的可靠性較差。逡逑與傳統(tǒng)的集中式處理相比,一種更可靠更魯棒的方式是分布式信息處理。這種分布式逡逑處理不需要一個具有強大計算能力的中心節(jié)點。在這種模式下,網(wǎng)絡(luò)中的各節(jié)點使用自身逡逑采集的數(shù)據(jù)進(jìn)行局部計算,并與鄰居節(jié)點相互通信,交換少量的數(shù)據(jù)信息。傳感器節(jié)點組逡逑成網(wǎng)絡(luò)后
定義1(圖,節(jié)點,邊).一個大小為iV的網(wǎng)絡(luò)表示為包括iV個節(jié)點的圖。一系列的邊將節(jié)點逡逑與節(jié)點相互連接。一個連向自身節(jié)點的邊稱為自環(huán)。通過邊相連的節(jié)點稱為鄰居節(jié)點。逡逑圖1.2給出了一個分布式信息處理的網(wǎng)絡(luò)拓?fù)涫疽鈭D。分布式信息處理是完全去中心逡逑化的,每個節(jié)點只與鄰居節(jié)點通信并交換信息,并不會通過多跳通信的方式將信息傳遞到逡逑非鄰居節(jié)點。本文考慮連通的傳感器網(wǎng)絡(luò)。對于一個連通網(wǎng)絡(luò),總是存在一條路徑能夠連逡逑接網(wǎng)絡(luò)中的兩個節(jié)點:即兩個節(jié)點或者是通過一條邊相連接,或者是通過經(jīng)過中間節(jié)點的逡逑路徑相連接。因此,雖然節(jié)點未直接與非鄰居節(jié)點通信,但由于網(wǎng)絡(luò)是連通的,通過一定逡逑的信息交換機制,節(jié)點可以借助其鄰居節(jié)點將自身信息擴散到其他非鄰居節(jié)點,同時該節(jié)逡逑點也可以獲取來自非鄰居節(jié)點的信息。逡逑分布式信息處理就是在這種完全去中心的網(wǎng)絡(luò)中進(jìn)行感知計算。一個設(shè)計良好的分布逡逑式算法能夠獲得與集中式算法接近的性能,同時保留所有網(wǎng)絡(luò)中分布式計算的優(yōu)勢?偨Y(jié)逡逑一下,與集中式處理機制相比,分布式處理機制有如下四個優(yōu)點:逡逑1)網(wǎng)絡(luò)通信量小。逡逑在傳統(tǒng)的集中式處理機制中
【學(xué)位授予單位】:浙江大學(xué)
【學(xué)位級別】:博士
【學(xué)位授予年份】:2018
【分類號】:TP212.9
【參考文獻(xiàn)】
相關(guān)博士學(xué)位論文 前1條
1 王利民;貝葉斯學(xué)習(xí)理論中若干問題的研究[D];吉林大學(xué);2005年
,本文編號:2618995
本文鏈接:http://sikaile.net/kejilunwen/zidonghuakongzhilunwen/2618995.html
最近更新
教材專著