坐標下降法在優(yōu)化問題中扮演著非常重要的作用.本文基于GSL規(guī)則提出了一類改進的坐標下降法來求解無約束優(yōu)化問題.首先,本文利用GSL規(guī)則的乘法擾動所確定的指標集和一種新的概率準則,提出了貪婪的隨機坐標下降法,并推導了該算法在期望意義下的收斂性.在指標集的確定過程中,引入松弛參數(shù)θ∈(0,1]使貪婪的隨機坐標下降法得到進一步推廣,即松弛的貪婪的隨機坐標下降法.此外,本文分析了貪婪的隨機坐標下降法求解無約束最小化問題的迭代復雜性,結果表明,該算法可以求解任意置信水平的無約束最小化問題.并且,用大量的數(shù)值實驗驗證了該算法的有效性.其次,將這些算法應用到最小二乘問題.為了避免計算A^TA,本文將算法的框架重新做了描述,并且給出了這些算法在期望意義下的收斂性.特別的,當松弛參數(shù)θ=1時,松弛的貪婪的隨機坐標下降法約化為貪婪的坐標下降法,在這種情況下,證明了該算法的收斂表達式.進一步,討論了塊坐標下降法來求解最小二乘問題,基于GSL規(guī)則的乘法擾動所確定的指標集提出了貪婪的塊坐標下降法,并推導了該算法的收斂性.另外,利用這些算法求解最小二乘問題來測試本文提出的算法的有效性.最后,基...

【文章頁數(shù)】：65 頁

【學位級別】：碩士

【文章目錄】：
中文摘要
Abstract
第一章 引言
    1.1 坐標下降法的概述及相關研究
    1.2 本文的主要工作
第二章 預備知識
    2.1 符號
    2.2 基本假設
    2.3 隨機坐標下降法
第三章 貪婪的隨機坐標下降法
    3.1 算法和收斂性分析
    3.2 迭代復雜性分析
    3.3 數(shù)值實驗
        3.3.1 測試GRCD和 RCD算法求解非線性最小化問題
        3.3.2 測試GRCD和 RCD算法求解凸二次優(yōu)化問題
第四章 CD類算法在最小二乘問題中的應用
    4.1 貪婪的隨機坐標下降法
    4.2 貪婪的塊坐標下降法
    4.3 數(shù)值實驗
        4.3.1 測試GRCD,GCD和 RCD算法求解最小二乘問題
        4.3.2 測試GBCD,GRCD和 GCD算法求解最小二乘問題
第五章 Kaczmarz算法與坐標下降法的關系
    5.1 貪婪的塊Kaczmarz算法
    5.2 Kaczmarz算法與坐標下降法的關系
    5.3 數(shù)值實驗
第六章 結論與展望
    6.1 主要結論
    6.2 研究展望
參考文獻
在學期間的研究成果
致謝



本文編號：3871328