塊坐標(biāo)下降法(BCD)循環(huán)使用不同的塊坐標(biāo)方向求解問題的最優(yōu)解.由于此類算法具有迭代成本低、內(nèi)存需求小、易于并行化等特點(diǎn),在大規(guī)模數(shù)值優(yōu)化中得到了廣泛應(yīng)用.給定一組來自多個(gè)子空間的數(shù)據(jù),子空間聚類的目的是將這組數(shù)據(jù)分割到各自的子空間中,并同時(shí)清除可能存在的噪聲.子空間聚類算法是實(shí)現(xiàn)高維數(shù)據(jù)集聚類的有效方法,最新研究表明聚類任務(wù)可以刻畫為帶有塊對(duì)角正則項(xiàng)的非光滑非凸優(yōu)化問題.本文研究求解稀疏子空間聚類問題的BCD算法,分析算法的收斂性,測(cè)試算法的數(shù)值有效性,并與著名算法做效率比較.第一章,首先,給出本文所需的優(yōu)化知識(shí),介紹臨近塊坐標(biāo)下降法(PBCD),對(duì)稱GaussSeidel技術(shù)以及交替方向乘子法(ADMM).然后,簡(jiǎn)單介紹子空間聚類問題的部分優(yōu)化模型,并給出關(guān)于此問題的部分研究成果.最后,簡(jiǎn)單陳述本文的主要貢獻(xiàn),同時(shí)給出本文所用的符號(hào).第二章,使用PBCD來提高塊對(duì)角正則化算法(BDR)的效率,使用對(duì)稱Gauss-Seidel技術(shù)使每個(gè)子問題易于求解,并在一定的條件下分析PBCD算法的收斂性.最后采用Nesterov的加速技術(shù)(命名為APBCD₁),并給出其迭代...

【文章頁數(shù)】：59 頁

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
ABSTRACT
第一章 緒論
    1.1 基本概念
    1.2 塊坐標(biāo)下降法
        1.2.1 傳統(tǒng)塊坐標(biāo)下降法
        1.2.2 臨近塊坐標(biāo)下降法
    1.3 對(duì)稱Gauss-Seidel技術(shù)(sGS)
    1.4 交替方向乘子法
        1.4.1 經(jīng)典交替方向乘子法
        1.4.2 半臨近交替方向乘子法
        1.4.3 耦合交替方向乘子法
    1.5 子空間聚類問題及其部分研究進(jìn)展
    1.6 本文主要貢獻(xiàn)
    1.7 本文所用符號(hào)
第二章 求解懲罰模型的臨近塊坐標(biāo)下降法
    2.1 算法設(shè)計(jì)
    2.2 子問題求解
    2.3 Nesterov加速
    2.4 加速臨近塊坐標(biāo)下降法
第三章 求解原模型的臨近塊坐標(biāo)下降法和交替方向乘子法
    3.1 求解原模型的臨近塊坐標(biāo)下降法
    3.2 求解原模型的交替方向乘子法
第四章 數(shù)值實(shí)驗(yàn)
    4.1 實(shí)驗(yàn)說明
    4.2 算法BDR和APBCD 1的測(cè)試
    4.3 算法C-ADMM和APBCD 2的測(cè)試
第五章 結(jié)論
參考文獻(xiàn)
致謝



本文編號(hào)：3922316