隨著社會(huì)的發(fā)展,優(yōu)化的需求越來(lái)越多地出現(xiàn)在各行各業(yè)之中,由此,解決這些需求的優(yōu)化算法發(fā)揮著越來(lái)越重要的作用。一般而言,優(yōu)化問(wèn)題的求解以設(shè)計(jì)對(duì)應(yīng)模型的目標(biāo)函數(shù)開始。對(duì)于此目標(biāo)函數(shù),如果其具體公式已知且是可微分的或者是二階可微分的,則可分別通過(guò)類牛頓的方法或者牛頓的方法來(lái)求解;如果其具體公式已知卻不可微分或者目標(biāo)函數(shù)是黑盒函數(shù)時(shí),牛頓類的方法失效,此時(shí)進(jìn)化計(jì)算的優(yōu)化算法給出了這類問(wèn)題的求解。本文從進(jìn)化計(jì)算領(lǐng)域的優(yōu)化算法入手,深入分析了該領(lǐng)域內(nèi)兩種著名的分支——粒子集群優(yōu)化算法和差分進(jìn)化算法的研究現(xiàn)狀及仍然存在的問(wèn)題,提出了擬仿射變換的協(xié)同進(jìn)化架構(gòu)來(lái)克服上述兩分支在進(jìn)化方式中的缺陷,并對(duì)擬仿射變換的協(xié)同進(jìn)化架構(gòu)的提出過(guò)程及該架構(gòu)下算法可能的發(fā)展方向進(jìn)行了深入探討和研究。另外,本文以外部存儲(chǔ)的參數(shù)適應(yīng)擬仿射變換協(xié)同進(jìn)化算法為主體,還開發(fā)出了一個(gè)參數(shù)獨(dú)立的黑盒優(yōu)化工具,用以解決各類單目標(biāo)實(shí)參的非線性非凸的目標(biāo)函數(shù)優(yōu)化問(wèn)題。本文的主要研究?jī)?nèi)容及成果有以下幾點(diǎn):本文提出了一種解決低維度單目標(biāo)實(shí)參優(yōu)化的潮汐魚算法,并在其基礎(chǔ)上提出了解決較高維度復(fù)雜優(yōu)化的模因?qū)O悟空進(jìn)化算法。潮汐魚算法是為了解決粒子集群優(yōu)化算法在低維度優(yōu)化中收斂速度過(guò)慢的問(wèn)題而提出的,而孫悟空算法進(jìn)一步強(qiáng)化了潮汐魚算法的優(yōu)化能力。孫悟空算法有三個(gè)版本,第一版的孫悟空算法通過(guò)引入尺度因子增強(qiáng)了潮汐魚算法的全局優(yōu)化能力,但其在較高維度優(yōu)化中的表現(xiàn)仍然較差。第二版的孫悟空算法通過(guò)引入差分向量的方式增強(qiáng)了第一版孫悟空算法的局部搜索能力,實(shí)現(xiàn)了較高維度優(yōu)化問(wèn)題的較好求解。但前述算法中的個(gè)體都存在兩種搜索方式,這使得個(gè)體間的協(xié)同能力較差。故最終版的孫悟空算法通過(guò)把種群中所有個(gè)體都強(qiáng)化為最強(qiáng)個(gè)體的方式,實(shí)現(xiàn)了種群個(gè)體間的均等,同時(shí)通過(guò)引入一個(gè)協(xié)同進(jìn)化矩陣,實(shí)現(xiàn)了種群個(gè)體間的協(xié)同搜索,并在高維度復(fù)雜優(yōu)化中取得了很好的優(yōu)化效果。實(shí)驗(yàn)結(jié)果表明,潮汐魚算法和最終版的模因?qū)O悟空進(jìn)化算法克服了粒子集群優(yōu)化算法中“走兩步、退一步”缺陷所導(dǎo)致的在解決低維度簡(jiǎn)單優(yōu)化和較高維度復(fù)雜優(yōu)化中收斂過(guò)慢的問(wèn)題,取得了更好的優(yōu)化效果。本文提出了一種先進(jìn)的參數(shù)適應(yīng)學(xué)習(xí)機(jī)制的差分進(jìn)化算法,該算法通過(guò)把不同控制參數(shù)分組并進(jìn)行適應(yīng)性學(xué)習(xí)的方式,消弭了幾種先進(jìn)的差分進(jìn)化算法中參數(shù)之間的誤導(dǎo)性影響;同時(shí)該算法通過(guò)在外部存儲(chǔ)的變異策略中引入時(shí)間戳機(jī)制克服了外部存儲(chǔ)變異策略中次等解常駐外存的缺陷,加強(qiáng)了變異策略中外部存儲(chǔ)的次等解的多樣性,取得了更好的優(yōu)化效果。實(shí)驗(yàn)表明,參數(shù)適應(yīng)學(xué)習(xí)機(jī)制的差分進(jìn)化算法實(shí)現(xiàn)了在單目標(biāo)的實(shí)參的高維度復(fù)雜優(yōu)化問(wèn)題中的又好又快收斂,其整體優(yōu)化效果好于近年來(lái)在相關(guān)優(yōu)化競(jìng)賽中奪魁的差分進(jìn)化算法的先進(jìn)變體。本文提出了一種擬仿射變換的協(xié)同進(jìn)化架構(gòu)——QUATRE架構(gòu)及基于此架構(gòu)的QUATRE算法。從個(gè)體進(jìn)化的實(shí)現(xiàn)方式看,QUATRE算法是模因?qū)O悟空進(jìn)化算法的拓展升級(jí),也克服了粒子集群優(yōu)化算法中“走兩步、退一步”缺陷所導(dǎo)致的收斂過(guò)慢的問(wèn)題;從進(jìn)化中個(gè)體的移動(dòng)方式看,QUATRE算法還屬于一種更少參數(shù)的差分進(jìn)化算法,并克服了差分進(jìn)化算法中存在的高維視角下的代表性偏見,實(shí)現(xiàn)了統(tǒng)計(jì)學(xué)及概率論角度的更合理的搜索。在該算法基礎(chǔ)上,本文還提出了一種基于外部存儲(chǔ)的參數(shù)適應(yīng)擬仿射變換協(xié)同進(jìn)化算法,該算法吸收了前文提出的參數(shù)適應(yīng)學(xué)習(xí)機(jī)制的差分進(jìn)化算法中控制參數(shù)的適應(yīng)性學(xué)習(xí)機(jī)制和變異策略的時(shí)間戳機(jī)制,同時(shí)該算法還引入了一個(gè)協(xié)同進(jìn)化矩陣的適應(yīng)調(diào)整機(jī)制來(lái)更好地感知目標(biāo)函數(shù)的結(jié)構(gòu),從而實(shí)現(xiàn)了更科學(xué)的個(gè)體移動(dòng)及空間搜索。實(shí)驗(yàn)表明,外部存儲(chǔ)的參數(shù)適應(yīng)擬仿射變換協(xié)同進(jìn)化算法在領(lǐng)域內(nèi)的通用評(píng)測(cè)函數(shù)下取得了比其它對(duì)比算法都要好的整體優(yōu)化效果。綜上,本文在粒子集群優(yōu)化算法的基礎(chǔ)上提出了模因?qū)O悟空進(jìn)化算法;在幾種先進(jìn)的差分進(jìn)化算法基礎(chǔ)上提出了參數(shù)適應(yīng)學(xué)習(xí)機(jī)制的差分進(jìn)化算法;然后在上述兩種算法基礎(chǔ)之上提出了外部存儲(chǔ)的參數(shù)適應(yīng)擬仿射變換協(xié)同進(jìn)化算法,由于該算法中所有參數(shù)均無(wú)需人為調(diào)節(jié),故其為一種參數(shù)獨(dú)立的優(yōu)化算法。以該算法為主體的黑盒優(yōu)化工具在實(shí)驗(yàn)中表現(xiàn)出了強(qiáng)大的處理高維度復(fù)雜優(yōu)化的能力,且其優(yōu)化效果均顯著優(yōu)于其它先進(jìn)的優(yōu)化算法。
【學(xué)位單位】：哈爾濱工業(yè)大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位年份】：2018
【中圖分類】：TP18
【部分圖文】：

表示 維解空間。圖1-2描述了二維空間中某一連續(xù)可微分的評(píng)價(jià)函數(shù)的最小值所處位置示例。那么，對(duì)于這樣一個(gè)評(píng)價(jià)函數(shù)，如何尋找其最優(yōu)值呢？圖1-2二維評(píng)價(jià)函數(shù)的最小值優(yōu)化示例Fig. 1-2 An example of the minimum optimization of a 2-D benchmark function根據(jù)拉格朗日中值定理，如果 :R →R是連續(xù)可微分的，并且 0∈R ，則有： ( ) = ( 0) + ( 0) · ( 0+ · ( 0)), ∈ (0, 1) (1-2)假定 0是評(píng)價(jià)函數(shù) ( )的全局最優(yōu)解，那么優(yōu)化算法，尤其是線性搜索策略的算法最終要實(shí)現(xiàn)從當(dāng)前位置 到目標(biāo)位置 0的移動(dòng)。如果用 表示 與 0的差，則公式1-2可以改寫為： ( 0+ ) = ( 0) + · ( 0+ · ), ∈ (0, 1) (1-3)一般而言，優(yōu)化問(wèn)題的最優(yōu)解的位置是未知的，當(dāng)前位置是已知的，故而，通過(guò)  5 

牛頓法等優(yōu)化方法，擬牛頓的方法往往是更好的選擇。然而，現(xiàn)實(shí)世界的優(yōu)化問(wèn)題，存在更多更為復(fù)雜的情況，如優(yōu)化問(wèn)題或優(yōu)化系統(tǒng)的評(píng)價(jià)函數(shù)不可導(dǎo)，亦或評(píng)價(jià)函數(shù)存在噪聲，更或者評(píng)價(jià)函數(shù)未知等。圖1-3給出了一個(gè)存在噪聲的黑盒優(yōu)化示例，其中函數(shù) ( )是解空間中解的理想分布函數(shù)，函數(shù) ( )是實(shí)際抽樣得到的評(píng)價(jià)函數(shù)的折線。顯然，對(duì)于這樣的一個(gè)（可能存在噪聲的）黑盒優(yōu)化模型，上述所有基于導(dǎo)數(shù)的確定性優(yōu)化算法均無(wú)法實(shí)現(xiàn)問(wèn)題的求解，或然性的優(yōu)化算法，開始顯示出它的不可替代性。圖1-3黑盒目標(biāo)函數(shù)優(yōu)化示例Fig. 1-3 An example of optimization under black-box objective function1.2.2 或然性優(yōu)化算法在進(jìn)化計(jì)算的或然性優(yōu)化算法用以解決連續(xù)空間的黑盒優(yōu)化問(wèn)題中，粒子集群優(yōu)化（Particle Swarm Optimization）算法和差分進(jìn)化（Differential Evolution）算法是兩種最為著名的算法。每屆的進(jìn)化計(jì)算領(lǐng)域的旗艦會(huì)議IEEE計(jì)算智能大會(huì)（IEEE World Congress on Computational Intelligence）都會(huì)對(duì)這兩種算法的最新研究進(jìn)展及研究趨勢(shì)做詳細(xì)討論。IEEE計(jì)算智能大會(huì)一般由三個(gè)子會(huì)議構(gòu)成，分別為：IEEE神經(jīng)網(wǎng)絡(luò)聯(lián)席大會(huì)（IEEE Joint Conference on Neural Networks）

1995年提出的一種群聚智能算法，該算法通過(guò)模擬鳥類覓食飛行實(shí)現(xiàn)復(fù)雜優(yōu)化問(wèn)題的求解。圖1-4給出了一張自然界中候鳥覓食飛行的圖片，從中可以看出，種群中領(lǐng)隊(duì)的候鳥會(huì)帶領(lǐng)整個(gè)種群飛行。 受此啟發(fā)，在粒子集群優(yōu)化算法中，種群全局最優(yōu)解和每個(gè)圖1-4自然界中鳥的覓食飛行Fig. 1-4 Flying behavior of birds foraging for food in nature粒子的歷史最優(yōu)解如同圖1-4中的領(lǐng)隊(duì)候鳥一樣，共同影響著當(dāng)前粒子的下一步移動(dòng)方向及移動(dòng)距離。另外，粒子自身的位置信息和飛行速度信息也影響著其自身下一步的移動(dòng)方向及移動(dòng)距離。公式1-15給出了粒子集群優(yōu)化算法中粒子迭代的具體情況，其中 , 表示第 個(gè)粒子在第 代的速度信息， , 表示第 個(gè)粒子在第 代的位置信息，

本文編號(hào)：2828968