本文選題：優(yōu)化問題　切入點(diǎn)：不精確牛頓法　出處：《上海師范大學(xué)》2016年博士論文　論文類型：學(xué)位論文

【摘要】：最優(yōu)化理論與方法被廣泛運(yùn)用于科學(xué),工程,經(jīng)濟(jì)學(xué),管理學(xué)等許多領(lǐng)域。它使用數(shù)學(xué)方法來研究各種系統(tǒng)的優(yōu)化方案及途經(jīng),以研究人類對(duì)各種資源的籌劃活動(dòng)為核心,以期通過了解和發(fā)展這種活動(dòng)的基本規(guī)律,發(fā)揮出有限資源的最大效益,達(dá)到整體最優(yōu)的目標(biāo),從而為決策者提供進(jìn)行科學(xué)決策的依據(jù)。隨著高性能計(jì)算機(jī)的飛速發(fā)展和計(jì)算方法的進(jìn)步,越來越多的大規(guī)模優(yōu)化問題可以被研究和解決。無導(dǎo)數(shù)優(yōu)化是一個(gè)有著悠久歷史和當(dāng)前快速發(fā)展的領(lǐng)域。Powell提出的基于近似二次模型的無約束優(yōu)化方法(UOBYQA:Unconstrained Optimization BY Quadratic Approximation)[65],其構(gòu)建了基于拉格朗日函數(shù)的目標(biāo)函數(shù)的插值二次模型并且該模型的參數(shù)在一個(gè)插值點(diǎn)變化時(shí)被更新。Wild與Shoemaker[79]將Conn,Scheinberg與Vicente[29]的工作擴(kuò)展到了線性化模型,其包括一個(gè)非線性項(xiàng)且分析了基于徑向基函數(shù)插值模型的無導(dǎo)數(shù)信賴域算法的整體收斂性。為了減少牛頓法的計(jì)算工作量,Dembo,Eisenstat與Steihaug在文獻(xiàn)[32]中推廣了牛頓法提出了不精確牛頓法。不精確牛頓法在每次迭代時(shí),只需要通過一個(gè)高效的迭代求解線性方程組系統(tǒng)的方法來近似求解牛頓方程,如經(jīng)典的拆分方法或現(xiàn)代的Krylov子空間方法,通過選擇合適的停止標(biāo)準(zhǔn),就可以減少整個(gè)迭代的總計(jì)算量。隨著Krylov子空間投影方法的發(fā)展,一些整體收斂的改進(jìn)的不精確牛頓法一直被認(rèn)為增強(qiáng)了從任意初始點(diǎn)的收斂性。本文提供了一類基于子空間技術(shù)的不精確(高斯-)牛頓法并運(yùn)用無導(dǎo)數(shù)技術(shù)來求解(無)約束優(yōu)化問題。我們關(guān)心的是通過廣義最小殘差(GMRES)[75],Lanczos[51]和共軛梯度(CG)等算法,將Krylov子空間方法用作內(nèi)層迭代來近似求解(高斯-)牛頓方程,并構(gòu)造具有整體收斂性的不精確牛頓法,這類方法是不使用回溯線搜索技術(shù)的Newton-Krylov方法求解非線性方程組或優(yōu)化問題的擴(kuò)展。所提出的方法的整體收斂依賴于Krylov子空間迭代的性質(zhì)和搜索方向的接受規(guī)則,Krylov子空間迭代保證了目標(biāo)函數(shù)所對(duì)應(yīng)的(高斯-)牛頓方程的殘差范數(shù)在每次迭代時(shí)是非增的,且對(duì)于每一個(gè)由Krylov子空間迭代產(chǎn)生的搜索方向滿足文獻(xiàn)[35]的局部收斂的條件。同時(shí),結(jié)合搜索方向的接受規(guī)則和預(yù)計(jì)下降量滿足充分下降條件來獲得每次迭代時(shí)目標(biāo)函數(shù)的范數(shù)的實(shí)際下降量的一個(gè)充分下降,從而,得到了等價(jià)于文獻(xiàn)[35]的整體收斂的條件。針對(duì)(無)約束優(yōu)化問題,在結(jié)合GMRES,Lanczos,CG等Krylov子空間方法,大大加快了作為內(nèi)層迭代求解(高斯-)牛頓方程的速度,由此提出了結(jié)合插值多項(xiàng)式,有限差分,非單調(diào)技術(shù)等的不精確(高斯-)牛頓法求解(無)約束優(yōu)化問題的各種算法的總體框架。其通過對(duì)相關(guān)殘差的控制以及合適的搜索方向的接受規(guī)則,保證了所提出的算法在通常的假設(shè)條件下具有了整體收斂性,為求解(無)約束優(yōu)化問題提供了一類有效的方法。此外,我們指出,所提出的方法與高效的無矩陣執(zhí)行是一致的。本文共分為八章,第一章介紹了最優(yōu)化理論與方法的相關(guān)知識(shí)。第二章到第六章,針對(duì)無約束的非線性方程組和優(yōu)化問題,提出了一類基于子空間和無導(dǎo)數(shù)技術(shù)的不精確(高斯-)牛頓法,這類方法的整體收斂性并不依賴傳統(tǒng)的回溯線搜索技術(shù)或信賴域方法,而是通過諸如GMRES,Lanczos,CG等Krylov子空間迭代算法的性質(zhì)并結(jié)合適當(dāng)?shù)乃阉鞣较虻慕邮芤?guī)則來獲得。第七章,提出了求解線性等式約束無導(dǎo)數(shù)優(yōu)化問題的一個(gè)無線搜索技術(shù)限制預(yù)處理共軛梯度路徑法,該方法源自經(jīng)典的共軛梯度法及其限制預(yù)處理的變化。在合理的假設(shè)條件下,證明了算法的整體收斂性和局部超線性收斂速率,數(shù)值結(jié)果表明算法的有效性和可行性。最后,對(duì)本文的研究進(jìn)行了總結(jié),并進(jìn)一步提出了需要改進(jìn)的方面。
[Abstract]:......
【學(xué)位授予單位】：上海師范大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2016
【分類號(hào)】：O224

【參考文獻(xiàn)】

相關(guān)期刊論文 前1條

1 鮑吉鋒;朱德通;;有界約束非線性優(yōu)化問題的仿射共軛梯度路徑法[J];計(jì)算數(shù)學(xué);2009年01期

，

本文編號(hào)：1652703