本文關鍵詞：分布式信息論學習

  更多相關文章： 分布式處理 信息論學習 參數估計 聚類 向量量化 度量學習

【摘要】：近年來,由于傳感器網絡、分布式計算系統等分布式應用的蓬勃發(fā)展,分布式的信息處理受到了越來越多的研究者的關注。對于不同的分布式應用而言,分布式的信息處理是一個共性的科學研究問題。不同的分布式應用在系統架構上都可以抽象為一個由多個具有計算能力和通信能力的節(jié)點所組成的網絡。在本文考慮的分布式信息處理機制中,網絡上的每個節(jié)點不僅利用自身的計算能力和數據進行局部計算,還與鄰居節(jié)點進行局部的信息交互,從而實現完全去中心化的但又具有全局意義的信息處理。當前已有很多基于這種處理機制的分布式算法被提出來。相關的研究內容覆蓋了各類信號處理問題和機器學習問題。在這些分布式算法中,大都是基于數據相關的二階統計量來定義目標函數。但是當分布式環(huán)境中存在非高斯噪聲或者需要處理的數據的分布較為復雜時,二階統計量將不能充分的利用數據中的有效信息。針對這些情況,本論文基于信息論測度來為分布式學習問題設計目標函數。信息論測度能夠從數據的整體分布出發(fā),綜合利用更高階的數據統計信息,從而帶來學習性能的提升。但由于分布式場景中的一些約束與限制,在引入信息論測度時會遇到困難。分布式信息論學習在以往的文獻中還未見報道。我們針對分布式環(huán)境中三類主要的學習問題,即監(jiān)督學習、無監(jiān)督學習、半監(jiān)督學習開展了系統的研究,克服了其中的難點,并提出了相應的有效的分布式信息論學習算法。具體地,本文針對屬于監(jiān)督學習的分布式參數估計問題,提出了基于最小化誤差熵的分布式估計算法。我們在誤差熵的估計上使用了兩種不同的且容易計算的熵估計器,即二次Renyi熵估計器與香農熵界估計器,從而推導出了兩種不同的分布式信息論估計算法。在算法中,節(jié)點間通過傳遞參數的估計值來進行協同學習。仿真結果表明,在非高斯噪聲下,本文提出的分布式估計算法比分布式的最小均方誤差估計算法有更高的估計精度。本文針對屬于無監(jiān)督學習的分布式聚類問題,提出了基于最大化互信息的分布式聚類算法。在算法中,我們采用參數化的判別函數來對類間邊界進行建模,并基于判別函數來估計互信息。節(jié)點間通過傳遞判別函數的參數來進行協同學習。我們在合成數據和真實數據上測試算法的聚類性能。仿真結果表明,本文提出的分布式聚類算法得到的聚類結果接近于相應的集中式信息論聚類算法得到的結果。當數據的分布較為復雜時,本文提出的算法的聚類結果比分布式的K-means算法得到的結果更為理想。此外,本文針對另一個屬于無監(jiān)督學習的分布式向量量化問題,提出了基于最小化KL散度的分布式量化算法。在算法目標函數設計中,我們在散度的類型和方向上進行了細致的考慮和選擇,從而使得推導出的分布式算法能夠讓每個節(jié)點以在線的方式協同學習到接近于集中式處理結果的重建向量。仿真結果也表明,當數據中存在較多野值時,本文提出的分布式量化算法比分布式的LBG算法和分布式的SOM算法的量化性能更好。本文針對半監(jiān)督的分布式度量學習問題,提出了基于信息論測度的分布式度量學習算法。我們基于兩種常用的分布式合作策略推導出了兩種分布式半監(jiān)督度量學習的框架。特別地,通過借鑒集中式的SERAPH算法來設置分布式度量學習框架中的損失函數及正則項,我們得到了兩種基于信息論測度的分布式度量學習算法。仿真實驗顯示了這兩種算法與集中式的SERAPH算法能學習得到接近一致的度量矩陣。這說明了本文提出的兩種算法是在無法進行集中式的半監(jiān)督度量學習時的一個理想的分布式近似。
【學位授予單位】：浙江大學
【學位級別】：博士
【學位授予年份】：2016
【分類號】：TN911.2

【相似文獻】

中國期刊全文數據庫 前10條

1 徐亞非;分布式信息監(jiān)管體系[J];計算機安全;2004年05期

2 大千;分布式信息檢索[J];國家圖書館學刊;2004年02期

3 梁小芝,陽小華;萬維網分布式信息收集機器人的最佳作用范圍劃分[J];中南工學院學報;2000年03期

4 陸渝;楊斌;王連東;;企業(yè)網中分布式信息檢索查詢系統的實現[J];石油工業(yè)計算機應用;2001年02期

5 徐煒,高敬瑜,徐汀榮;移動agent在分布式信息查詢業(yè)務中的應用[J];南通紡織職業(yè)技術學院學報;2005年02期

6 雙林平;;分布式信息檢索技術探析[J];圖書館學刊;2012年04期

7 曲衛(wèi)紅;;基于移動agent的分布式信息檢索的研究[J];現代情報;2006年01期

8 楊建偉,杜艷平,孫健;分布式信息共享技術的研究[J];太原重型機械學院學報;2004年03期

9 賀凌云;李明哲;;高速公路網分布式信息報送系統的設計[J];現代電子技術;2013年07期

10 楊則正;分布式信息管理系統[J];管理科學文摘;1994年10期

中國重要會議論文全文數據庫 前1條

1 張剛;周昭濤;王斌;;基于主題的分布式信息檢索研究[A];NCIRCS2004第一屆全國信息檢索與內容安全學術會議論文集[C];2004年

中國博士學位論文全文數據庫 前3條

1 沈鵬程;分布式信息論學習[D];浙江大學;2016年

2 馮錫煒;分布式信息資源主動發(fā)現模型研究與應用[D];大連海事大學;2010年

3 何川;分布式信息檢索中的若干重要問題研究[D];北京郵電大學;2012年

中國碩士學位論文全文數據庫 前10條

1 劉華普;基于現場總線的分布式信息融合算法及其應用[D];鄭州大學;2007年

2 劉永強;分布式信息協同交互模型在企業(yè)信息系統中的應用研究[D];中南大學;2003年

3 陳莉勤;分布式信息檢索中移動Agent技術的應用研究[D];武漢理工大學;2008年

4 陳智星;利用.NET技術構建企業(yè)分布式信息流支撐系統[D];大連海事大學;2005年

5 許王建;分布式信息管理系統的設計與實現[D];華中科技大學;2010年

6 周杰;基于XPCOM的分布式信息交流系統的設計與實現[D];西安電子科技大學;2011年

7 李俊;可確保安全的分布式信息共享系統—設計與實現[D];上海交通大學;2007年

8 陳斌;分布式信息檢索結果融合算法的研究及實現[D];華南理工大學;2011年

9 張真;基于Ontology的分布式信息檢索技術研究[D];中國海洋大學;2006年

10 劉明;基于移動Agent和最優(yōu)搜索的分布式信息檢索系統研究[D];電子科技大學;2013年

，

本文編號：1258150