人工神經(jīng)網(wǎng)絡(luò)由于其超強(qiáng)的非線性映射能力,卓越的學(xué)習(xí)能力以及其廣泛的用途,成為許多領(lǐng)域的研究熱點(diǎn).為了提高網(wǎng)絡(luò)泛化能力,產(chǎn)生更經(jīng)濟(jì)的稀疏網(wǎng)絡(luò),克服梯度型神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法收斂速度慢,容易過(guò)快陷入局部極小點(diǎn),且易產(chǎn)生振蕩現(xiàn)象的缺陷.為此本文主要研究帶光滑L1/2正則項(xiàng)的批處理共軛梯度型學(xué)習(xí)方法.首先提出基于修正割線方程的共軛梯度法,并驗(yàn)證了該方法求解標(biāo)準(zhǔn)優(yōu)化測(cè)試問(wèn)題的有效性.其次提出雙自適應(yīng)參數(shù)的共軛梯度法,并對(duì)XOR問(wèn)題搭建神經(jīng)網(wǎng)絡(luò)進(jìn)行測(cè)試來(lái)驗(yàn)證算法的有效性.然后將雙自適應(yīng)參數(shù)的混合共軛梯度法引入BP前饋神經(jīng)網(wǎng)絡(luò)訓(xùn)練,提出帶光滑L1/2正則項(xiàng)的共軛梯度學(xué)習(xí)方法.最后針對(duì)零階Takagi—Sugeno模糊推理系統(tǒng),提出帶光滑L1/2正則項(xiàng)的常值學(xué)習(xí)率共軛梯度學(xué)習(xí)方法.本文對(duì)于這些方法均進(jìn)行了收斂性分析,它們?cè)跀?shù)值結(jié)果上也展示出了不俗表現(xiàn).本文的主要內(nèi)容概括如下:1.第一章緒論部分回顧了神經(jīng)網(wǎng)絡(luò)的相關(guān)背景知識(shí),介紹了本文的研究目的和研究意義,提出了本文的研究?jī)?nèi)容.2.第二章針對(duì)Dai-Yuan（DY）共軛梯度方法具有優(yōu)良的收斂性質(zhì)但數(shù)值表現(xiàn)一般的特點(diǎn),結(jié)合修正的割線方程,改進(jìn)某類參數(shù)DY型共軛... 

【文章來(lái)源】：大連理工大學(xué)遼寧省 211工程院校 985工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：105 頁(yè)

【學(xué)位級(jí)別】：博士

【部分圖文】：

圖１．８三種正則子產(chǎn)生稀疏解可能性示意圖??Ｆｉｇ?１．７?Ｔｈｅ?ｓｐａｒｓｉｔｙ?ｐｒｏｐｅｒｔｙ?ｏｆ?（ａ）?Ｌｉ／２?（ｂ）?Ｌ＼?（ｃ）?Ｌ２?ｒｅｇｕｌａｒｉｚｅｒｓ??

?３．５??Ｘ??圖２．２函數(shù)調(diào)用次數(shù)比較性能圖??Ｆｉｇ?２．２?Ｐｅｒｆｏｒｍａｎｃｅ?ｐｒｏｆｉｌｅ?ｃｏｍｐａｒｉｎｇ?ｔｈｅ?ｎｕｍｂｅｒ?ｏｆ?ｆｕｎｃｔｉｏｎ?ｉｓ?ｃａｌｌｅｄ??－２５?－??

?４??Ｔ??圖２．１迭代次數(shù)比較性能圖??Ｆｉｇ?２．１?Ｐｅｒｆｏｒｍａｎｃｅ?ｐｒｏｆｉｌｅ?ｃｏｍｐａｒｉｎｇ?ｔｈｅ?ｎｕｍｂｅｒ?ｏｆ?ｉｔｅｒａｔｉｏｎｓ??１?１?ｉ?ｉ?ｉ?ｉ?ｉ?￣￣：?ｉ??。＋９＿?，?Ｈ?Ｉ－＿＿ｇ?：??〇－８－?，ｊ?ａＪ?１?＾ｒ￣ｔ?＾?－??ｒ?ｌ?ｔ?ｔｒ－＊??０．７－?Ｘ?Ａ?—?－＾４－１?＿??ｉ?Ｊ?ｆｔｌ?＾??０．６?－?＊?ａＡ?＊－４ｃ—ｓ?－??ｆ?ＡＡ?ｓ－ｔ??＾?ｉ?＊?ｉｓ］??ｐｒｆ＇Ｌｆ?Ｊ．?ｆ??〇－４－ｆ?＊．?ｒ?：ｒ￣ｆｉ????＆Ａ?ｉｌ?ｚ?ｔ?一－ＭＰＣ??＾?ｉ?＊＊?ｓ－Ｊ?￣￣＊￣ＤＹ?＿??４?ｉ．??Ａｗ?ｗ．??ｆ??Ｑ｜?｜?｜?｜?｜?｜?［?Ｉ??０?０．５?１?１．５?２?２．５?３?３．５??Ｘ??圖２．２函數(shù)調(diào)用次數(shù)比較性能圖??Ｆｉｇ?２．２?Ｐｅｒｆｏｒｍａｎｃｅ?ｐｒｏｆｉｌｅ?ｃｏｍｐａｒｉｎｇ?ｔｈｅ?ｎｕｍｂｅｒ?ｏｆ?ｆｕｎｃｔｉｏｎ?ｉｓ?

【參考文獻(xiàn)】：
期刊論文
[1]用于神經(jīng)網(wǎng)絡(luò)權(quán)值稀疏化的L1/2正則化方法[J]. 吳微,楊潔.  中國(guó)科學(xué):數(shù)學(xué). 2015(09)
[2]基于替代函數(shù)及貝葉斯框架的1范數(shù)ELM算法[J]. 韓敏,李德才.  自動(dòng)化學(xué)報(bào). 2011(11)
[3]L1/2正則化[J]. 張海,王堯,常象宇,徐宗本.  中國(guó)科學(xué):信息科學(xué). 2010(03)
[4]求解無(wú)約束優(yōu)化問(wèn)題的一類新的下降算法[J]. 潘翠英,陳蘭平.  應(yīng)用數(shù)學(xué)學(xué)報(bào). 2007(01)
[5]共軛下降法的全局收斂性[J]. 戴或虹,袁亞湘.  數(shù)學(xué)進(jìn)展. 1996(06)



本文編號(hào)：3575124