學(xué)習(xí)自動機,是一種借助與環(huán)境的不斷交互調(diào)整自身的學(xué)習(xí)機制,其理論模型隸屬于機器學(xué)習(xí)中強化學(xué)習(xí)的范疇。學(xué)習(xí)自動機由于其所具有的快速收斂、全局優(yōu)化、抗噪能力和完備理論等特點,已受到了相當(dāng)程度的關(guān)注,并且已在模式識別、函數(shù)優(yōu)化、路徑規(guī)劃等領(lǐng)域得到了初步應(yīng)用。然而,目前學(xué)習(xí)自動機算法的性能在很大程度上受超參數(shù)設(shè)置的影響。為獲得合適的超參數(shù)取值,需要尋優(yōu)以調(diào)節(jié)參數(shù)設(shè)置,而參數(shù)調(diào)節(jié)通常會帶來大量的計算開銷。特別地,在與環(huán)境交互代價大的場景下,超參數(shù)調(diào)節(jié)可能會帶來高昂甚至毀滅性的損失,從而成為學(xué)習(xí)自動機發(fā)展的一大瓶頸。因此,從免參數(shù)調(diào)節(jié)的角度拓展其理論使之適用于應(yīng)用場景已經(jīng)成為學(xué)習(xí)自動機領(lǐng)域的發(fā)展趨勢。有鑒于此,本文深入研究了學(xué)習(xí)自動機算法的免參數(shù)調(diào)節(jié)機制,在有限與連續(xù)行為集合、平穩(wěn)與非平穩(wěn)環(huán)境下的免參數(shù)調(diào)節(jié)機制方面豐富和完善了目前的學(xué)習(xí)自動機理論,創(chuàng)新性工作歸納如下:第一,針對平穩(wěn)環(huán)境下有限行為集合學(xué)習(xí)自動機(FALA)理論,本文分析了現(xiàn)有絕大多數(shù)含超參數(shù)算法對參數(shù)的依賴和尋參代價、以及唯一不含超參數(shù)算法無法擺脫概率向量的局限性,設(shè)計了使得采樣策略和終止條件不依賴于概率向量的免參數(shù)調(diào)節(jié)思路,分別從損...

【文章頁數(shù)】：179 頁

【學(xué)位級別】：博士

【部分圖文】：

圖1–1論文組織結(jié)構(gòu)

圖1–1展示了后續(xù)各章節(jié)的組織結(jié)構(gòu)安排情況,具體如下:第一章介紹了論文的研究背景和意義、國內(nèi)外研究現(xiàn)狀以及本文的研究內(nèi)容。

圖2–1學(xué)習(xí)自動機與隨機環(huán)境的交互框架

數(shù)學(xué)上描述的學(xué)習(xí)自動機模型通常包含了學(xué)習(xí)自動機與隨機環(huán)境兩大實體,通過行為和反饋形成了一個閉環(huán)循環(huán)。學(xué)習(xí)自動機與隨機環(huán)境的交互示意如下圖2–1[76]所示,以下是其簡要的運作流程:在t時刻,學(xué)習(xí)自動機從行為集合中選擇一個行為α(t)并輸送給隨機環(huán)境。隨機環(huán)境收到行為后響應(yīng)一個反饋....

圖3–1當(dāng)前含超參數(shù)學(xué)習(xí)自動機與不含超參數(shù)學(xué)習(xí)自動機的算法框架圖

事實上,雖然該算法通過去掉行為選擇概率向量的方式達成了免參數(shù)調(diào)節(jié)的效果,但取代行為選擇概率向量功能的變量是對每個行為好壞性能的假設(shè),本質(zhì)上也是一個概率向量。如圖3–1所示,在學(xué)習(xí)自動機算法的行為選擇、狀態(tài)更新和終止判定的依據(jù)選取上,PFLA實現(xiàn)了從P=[p1,p2···pr]到P....

圖3–2在環(huán)境E1-E5中LFPLAmulti相對于對比算法的性能

更進一步,表3–14給出了LFPLAmulti與一些經(jīng)典FALA算法的準(zhǔn)確率對比結(jié)果,表3–15給出了LFPLAmulti與一些經(jīng)典FALA算法的迭代數(shù)對比結(jié)果,圖3–2以圖形方式以圖形方式給出了本節(jié)算法在迭代數(shù)角度的提升性能,其中,LFPLAmulti采用了最好的采樣策略即湯普....

本文編號：4022200