發(fā)布時間：2023-09-28 22:51

　　近年來,越來越多的研究致力于分布式學(xué)習(xí)。具體來說,在大數(shù)據(jù)的背景下,互聯(lián)網(wǎng)每秒產(chǎn)生并收集TB級乃至EB級的數(shù)據(jù)。不僅數(shù)據(jù)量龐大,而且對于數(shù)據(jù)的復(fù)雜性和數(shù)據(jù)的多樣性,傳統(tǒng)的機器學(xué)習(xí)方法同樣面臨著巨大的挑戰(zhàn)。目前,許多分布式學(xué)習(xí)算法已經(jīng)被開發(fā)來解決大數(shù)據(jù)背景下不同的分布式學(xué)習(xí)問題。本文主要包括以下兩個研究。第一項研究是通過應(yīng)用一個分布式優(yōu)化算法考慮了一個在無向連通網(wǎng)絡(luò)下的分布式學(xué)習(xí)問題。我們首先描述并公式化這個分布式學(xué)習(xí)問題,并且提出了基于模糊邏輯系統(tǒng)(FLS)的分布式合作學(xué)習(xí)(DCL)算法。網(wǎng)絡(luò)中的每個節(jié)點使用該算法訓(xùn)練自己的輸出權(quán)重向量達(dá)到全局代價函數(shù)的最優(yōu)。此訓(xùn)練過程使用的是分布在不同的節(jié)點上卻不能聚集到網(wǎng)絡(luò)中任意一個節(jié)點上的數(shù)據(jù)。然后,通過使用代數(shù)圖論和Lyapunov方法給出一個定理來建立基于FLS的DCL算法的收斂性理論分析。該收斂性分析的結(jié)果證明基于FLS的DCL是指數(shù)收斂的。進而,簡要描述了用來解決此問題的四個現(xiàn)有的分布式學(xué)習(xí)算法,即基于分布式平均一致性(DAC)學(xué)習(xí)算法、基于交替方向乘子法(ADMM)的學(xué)習(xí)算法、先自適應(yīng)后組合(ATC)和先組合后自適應(yīng)(CTA)的擴散最小...

【文章頁數(shù)】：78 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
ABSTRACT
符號對照表
縮略語對照表
第一章 緒論
    1.1 研究背景
    1.2 研究進展
    1.3 本文的工作
第二章 預(yù)備知識
    2.1 圖論
    2.2 FLS
    2.3 基于gossip的通信協(xié)議
    2.4 穩(wěn)定性理論
        2.4.1 穩(wěn)定性相關(guān)概念
        2.4.2 相關(guān)Lyapunov穩(wěn)定性定理
第三章 網(wǎng)絡(luò)下基于FLS的DCL：性能分析與比較
    3.1 引言
    3.2 基于FLS的DCL算法
        3.2.1 問題陳述
        3.2.2 算法設(shè)計
        3.2.3 收斂性分析
    3.3 分布式學(xué)習(xí)算法比較
        3.3.1 現(xiàn)有的分布式學(xué)習(xí)算法
        3.3.2 算法比較
    3.4 應(yīng)用和仿真實現(xiàn)
        3.4.1 回歸問題
        3.4.2 分類問題
    3.5 本章小結(jié)
第四章 時變隨機網(wǎng)絡(luò)下使用一個基于gossip的通信協(xié)議的DCL
    4.1 引言
    4.2 GBDCL算法
        4.2.1 問題描述
        4.2.2 算法設(shè)計
        4.2.3 收斂性分析
    4.3 應(yīng)用和仿真實現(xiàn)
        4.3.1 回歸問題
        4.3.2 分類問題
    4.4 本章小結(jié)
第五章 結(jié)論與展望
    5.1 結(jié)論
    5.2 展望
參考文獻
附錄A
致謝
作者簡介



本文編號：3848771