本文關(guān)鍵詞：分布式信息論學(xué)習(xí)

  更多相關(guān)文章： 分布式處理 信息論學(xué)習(xí) 參數(shù)估計(jì) 聚類 向量量化 度量學(xué)習(xí)

【摘要】：近年來,由于傳感器網(wǎng)絡(luò)、分布式計(jì)算系統(tǒng)等分布式應(yīng)用的蓬勃發(fā)展,分布式的信息處理受到了越來越多的研究者的關(guān)注。對于不同的分布式應(yīng)用而言,分布式的信息處理是一個共性的科學(xué)研究問題。不同的分布式應(yīng)用在系統(tǒng)架構(gòu)上都可以抽象為一個由多個具有計(jì)算能力和通信能力的節(jié)點(diǎn)所組成的網(wǎng)絡(luò)。在本文考慮的分布式信息處理機(jī)制中,網(wǎng)絡(luò)上的每個節(jié)點(diǎn)不僅利用自身的計(jì)算能力和數(shù)據(jù)進(jìn)行局部計(jì)算,還與鄰居節(jié)點(diǎn)進(jìn)行局部的信息交互,從而實(shí)現(xiàn)完全去中心化的但又具有全局意義的信息處理。當(dāng)前已有很多基于這種處理機(jī)制的分布式算法被提出來。相關(guān)的研究內(nèi)容覆蓋了各類信號處理問題和機(jī)器學(xué)習(xí)問題。在這些分布式算法中,大都是基于數(shù)據(jù)相關(guān)的二階統(tǒng)計(jì)量來定義目標(biāo)函數(shù)。但是當(dāng)分布式環(huán)境中存在非高斯噪聲或者需要處理的數(shù)據(jù)的分布較為復(fù)雜時,二階統(tǒng)計(jì)量將不能充分的利用數(shù)據(jù)中的有效信息。針對這些情況,本論文基于信息論測度來為分布式學(xué)習(xí)問題設(shè)計(jì)目標(biāo)函數(shù)。信息論測度能夠從數(shù)據(jù)的整體分布出發(fā),綜合利用更高階的數(shù)據(jù)統(tǒng)計(jì)信息,從而帶來學(xué)習(xí)性能的提升。但由于分布式場景中的一些約束與限制,在引入信息論測度時會遇到困難。分布式信息論學(xué)習(xí)在以往的文獻(xiàn)中還未見報(bào)道。我們針對分布式環(huán)境中三類主要的學(xué)習(xí)問題,即監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)開展了系統(tǒng)的研究,克服了其中的難點(diǎn),并提出了相應(yīng)的有效的分布式信息論學(xué)習(xí)算法。具體地,本文針對屬于監(jiān)督學(xué)習(xí)的分布式參數(shù)估計(jì)問題,提出了基于最小化誤差熵的分布式估計(jì)算法。我們在誤差熵的估計(jì)上使用了兩種不同的且容易計(jì)算的熵估計(jì)器,即二次Renyi熵估計(jì)器與香農(nóng)熵界估計(jì)器,從而推導(dǎo)出了兩種不同的分布式信息論估計(jì)算法。在算法中,節(jié)點(diǎn)間通過傳遞參數(shù)的估計(jì)值來進(jìn)行協(xié)同學(xué)習(xí)。仿真結(jié)果表明,在非高斯噪聲下,本文提出的分布式估計(jì)算法比分布式的最小均方誤差估計(jì)算法有更高的估計(jì)精度。本文針對屬于無監(jiān)督學(xué)習(xí)的分布式聚類問題,提出了基于最大化互信息的分布式聚類算法。在算法中,我們采用參數(shù)化的判別函數(shù)來對類間邊界進(jìn)行建模,并基于判別函數(shù)來估計(jì)互信息。節(jié)點(diǎn)間通過傳遞判別函數(shù)的參數(shù)來進(jìn)行協(xié)同學(xué)習(xí)。我們在合成數(shù)據(jù)和真實(shí)數(shù)據(jù)上測試算法的聚類性能。仿真結(jié)果表明,本文提出的分布式聚類算法得到的聚類結(jié)果接近于相應(yīng)的集中式信息論聚類算法得到的結(jié)果。當(dāng)數(shù)據(jù)的分布較為復(fù)雜時,本文提出的算法的聚類結(jié)果比分布式的K-means算法得到的結(jié)果更為理想。此外,本文針對另一個屬于無監(jiān)督學(xué)習(xí)的分布式向量量化問題,提出了基于最小化KL散度的分布式量化算法。在算法目標(biāo)函數(shù)設(shè)計(jì)中,我們在散度的類型和方向上進(jìn)行了細(xì)致的考慮和選擇,從而使得推導(dǎo)出的分布式算法能夠讓每個節(jié)點(diǎn)以在線的方式協(xié)同學(xué)習(xí)到接近于集中式處理結(jié)果的重建向量。仿真結(jié)果也表明,當(dāng)數(shù)據(jù)中存在較多野值時,本文提出的分布式量化算法比分布式的LBG算法和分布式的SOM算法的量化性能更好。本文針對半監(jiān)督的分布式度量學(xué)習(xí)問題,提出了基于信息論測度的分布式度量學(xué)習(xí)算法。我們基于兩種常用的分布式合作策略推導(dǎo)出了兩種分布式半監(jiān)督度量學(xué)習(xí)的框架。特別地,通過借鑒集中式的SERAPH算法來設(shè)置分布式度量學(xué)習(xí)框架中的損失函數(shù)及正則項(xiàng),我們得到了兩種基于信息論測度的分布式度量學(xué)習(xí)算法。仿真實(shí)驗(yàn)顯示了這兩種算法與集中式的SERAPH算法能學(xué)習(xí)得到接近一致的度量矩陣。這說明了本文提出的兩種算法是在無法進(jìn)行集中式的半監(jiān)督度量學(xué)習(xí)時的一個理想的分布式近似。
【學(xué)位授予單位】：浙江大學(xué)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2016
【分類號】：TN911.2

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 徐亞非;分布式信息監(jiān)管體系[J];計(jì)算機(jī)安全;2004年05期

2 大千;分布式信息檢索[J];國家圖書館學(xué)刊;2004年02期

3 梁小芝,陽小華;萬維網(wǎng)分布式信息收集機(jī)器人的最佳作用范圍劃分[J];中南工學(xué)院學(xué)報(bào);2000年03期

4 陸渝;楊斌;王連東;;企業(yè)網(wǎng)中分布式信息檢索查詢系統(tǒng)的實(shí)現(xiàn)[J];石油工業(yè)計(jì)算機(jī)應(yīng)用;2001年02期

5 徐煒,高敬瑜,徐汀榮;移動agent在分布式信息查詢業(yè)務(wù)中的應(yīng)用[J];南通紡織職業(yè)技術(shù)學(xué)院學(xué)報(bào);2005年02期

6 雙林平;;分布式信息檢索技術(shù)探析[J];圖書館學(xué)刊;2012年04期

7 曲衛(wèi)紅;;基于移動agent的分布式信息檢索的研究[J];現(xiàn)代情報(bào);2006年01期

8 楊建偉,杜艷平,孫健;分布式信息共享技術(shù)的研究[J];太原重型機(jī)械學(xué)院學(xué)報(bào);2004年03期

9 賀凌云;李明哲;;高速公路網(wǎng)分布式信息報(bào)送系統(tǒng)的設(shè)計(jì)[J];現(xiàn)代電子技術(shù);2013年07期

10 楊則正;分布式信息管理系統(tǒng)[J];管理科學(xué)文摘;1994年10期

中國重要會議論文全文數(shù)據(jù)庫 前1條

1 張剛;周昭濤;王斌;;基于主題的分布式信息檢索研究[A];NCIRCS2004第一屆全國信息檢索與內(nèi)容安全學(xué)術(shù)會議論文集[C];2004年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前3條

1 沈鵬程;分布式信息論學(xué)習(xí)[D];浙江大學(xué);2016年

2 馮錫煒;分布式信息資源主動發(fā)現(xiàn)模型研究與應(yīng)用[D];大連海事大學(xué);2010年

3 何川;分布式信息檢索中的若干重要問題研究[D];北京郵電大學(xué);2012年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 劉華普;基于現(xiàn)場總線的分布式信息融合算法及其應(yīng)用[D];鄭州大學(xué);2007年

2 劉永強(qiáng);分布式信息協(xié)同交互模型在企業(yè)信息系統(tǒng)中的應(yīng)用研究[D];中南大學(xué);2003年

3 陳莉勤;分布式信息檢索中移動Agent技術(shù)的應(yīng)用研究[D];武漢理工大學(xué);2008年

4 陳智星;利用.NET技術(shù)構(gòu)建企業(yè)分布式信息流支撐系統(tǒng)[D];大連海事大學(xué);2005年

5 許王建;分布式信息管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];華中科技大學(xué);2010年

6 周杰;基于XPCOM的分布式信息交流系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];西安電子科技大學(xué);2011年

7 李俊;可確保安全的分布式信息共享系統(tǒng)—設(shè)計(jì)與實(shí)現(xiàn)[D];上海交通大學(xué);2007年

8 陳斌;分布式信息檢索結(jié)果融合算法的研究及實(shí)現(xiàn)[D];華南理工大學(xué);2011年

9 張真;基于Ontology的分布式信息檢索技術(shù)研究[D];中國海洋大學(xué);2006年

10 劉明;基于移動Agent和最優(yōu)搜索的分布式信息檢索系統(tǒng)研究[D];電子科技大學(xué);2013年

，

本文編號：1258150