突觸可塑性（synaptic plasticity,SP）與內(nèi)源可塑性（intrinsic plasticity,IP）是生物腦學(xué)習(xí)的重要法則。目前,人工神經(jīng)網(wǎng)絡(luò)通過(guò)借鑒SP的原理引入了權(quán)重的概念。盡管少數(shù)研究也考慮了IP,但兩者協(xié)同工作對(duì)人工神經(jīng)網(wǎng)絡(luò)的影響尚不完全清楚。目前,協(xié)同學(xué)習(xí)的研究都是基于信息熵的淺層網(wǎng)絡(luò),且只研究過(guò)在數(shù)據(jù)擬合上的應(yīng)用。具有抗噪能力的小體量神經(jīng)網(wǎng)絡(luò)是當(dāng)前神經(jīng)網(wǎng)絡(luò)領(lǐng)域研究的重要方向,而大腦正是高效節(jié)能且抗噪的典范,據(jù)推測(cè)兩類可塑性的協(xié)作可能為大腦中高效而復(fù)雜的信息處理提供了神經(jīng)基礎(chǔ)。本論文中,我們探究了SP和IP在神經(jīng)網(wǎng)絡(luò)中的協(xié)同學(xué)習(xí)情況,對(duì)比了基于信息熵和非信息熵的損失函數(shù)下的協(xié)同作用效果,并在數(shù)據(jù)擬合、多分類任務(wù)、抗噪能力等多種應(yīng)用上進(jìn)行了實(shí)驗(yàn)。主要研究結(jié)果如下:（1）數(shù)據(jù)擬合應(yīng)用中,協(xié)同學(xué)習(xí)算法能加快網(wǎng)絡(luò)的學(xué)習(xí)速度并提高網(wǎng)絡(luò)擬合的質(zhì)量。采用局部信息最大化所代表的IP規(guī)則與誤差熵最小化算法的突觸學(xué)習(xí)規(guī)則結(jié)合使用,提高了網(wǎng)絡(luò)學(xué)習(xí)的速度,和質(zhì)量。探討了隱藏層和輸出層每個(gè)神經(jīng)元激活函數(shù)斜率和偏移的變化,IP規(guī)則增加了激活函數(shù)斜率的平均值。（2）在一定條件下,協(xié)同學(xué)... 

【文章來(lái)源】：電子科技大學(xué)四川省211工程院校985工程院校教育部直屬院校

【文章頁(yè)數(shù)】：69 頁(yè)

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
abstract
第一章 緒論
    1.1 研究背景及研究意義
    1.2 生物神經(jīng)系統(tǒng)可塑性
        1.2.1 突觸可塑性
        1.2.2 內(nèi)源可塑性
    1.3 人工神經(jīng)網(wǎng)絡(luò)及其研究進(jìn)展
        1.3.1 人工神經(jīng)網(wǎng)絡(luò)的發(fā)展歷程
        1.3.2 人工神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法
        1.3.3 內(nèi)源可塑性的研究進(jìn)展
        1.3.4 協(xié)同學(xué)習(xí)的研究進(jìn)展
    1.4 本文研究?jī)?nèi)容與結(jié)構(gòu)安排
        1.4.1 研究?jī)?nèi)容
        1.4.2 結(jié)構(gòu)安排
第二章 基于信息論的神經(jīng)網(wǎng)絡(luò)協(xié)同學(xué)習(xí)算法設(shè)計(jì)
    2.1 神經(jīng)元內(nèi)源可塑性數(shù)學(xué)模型
        2.1.1 基于放電率神經(jīng)元模型的內(nèi)源可塑性規(guī)則
        2.1.2 基于脈沖神經(jīng)元模型的內(nèi)源可塑性規(guī)則
    2.2 神經(jīng)網(wǎng)絡(luò)突觸可塑性規(guī)則
        2.2.1 人工神經(jīng)網(wǎng)絡(luò)中的權(quán)重調(diào)整方法
        2.2.2 誤差熵最小化算法
    2.3 神經(jīng)網(wǎng)絡(luò)協(xié)同學(xué)習(xí)算法設(shè)計(jì)
        2.3.1 信息論前饋神經(jīng)網(wǎng)絡(luò)協(xié)同學(xué)習(xí)算法
        2.3.2 IP與突觸學(xué)習(xí)的關(guān)系
    2.4 本章小結(jié)
第三章 基于協(xié)同學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)應(yīng)用研究
    3.1 IP-ANN在數(shù)據(jù)擬合上的實(shí)驗(yàn)
        3.1.1 數(shù)據(jù)集及網(wǎng)絡(luò)結(jié)構(gòu)
        3.1.2 實(shí)驗(yàn)結(jié)果與分析
    3.2 IP-ANN在多分類任務(wù)上的實(shí)驗(yàn)
        3.2.1 實(shí)驗(yàn)數(shù)據(jù)集及網(wǎng)絡(luò)結(jié)構(gòu)
        3.2.2 實(shí)驗(yàn)結(jié)果及分析
    3.3 IP-ANN在噪聲環(huán)境下的實(shí)驗(yàn)
        3.3.1 噪聲的說(shuō)明
        3.3.2 實(shí)驗(yàn)結(jié)果及分析
    3.4 基于非信息熵?fù)p失函數(shù)的協(xié)同學(xué)習(xí)方法
        3.4.1 損失函數(shù)的介紹
        3.4.2 數(shù)據(jù)集介紹及網(wǎng)絡(luò)結(jié)構(gòu)
        3.4.3 實(shí)驗(yàn)結(jié)果及分析
    3.5 本章小結(jié)
第四章 總結(jié)與展望
    4.1 總結(jié)
    4.2 展望
致謝
參考文獻(xiàn)
攻碩期間取得的成果


【參考文獻(xiàn)】：
博士論文
[1]神經(jīng)網(wǎng)絡(luò)協(xié)同學(xué)習(xí)理論及應(yīng)用研究[D]. 李雨珂.浙江大學(xué) 2015



本文編號(hào)：3630200