深度學習技術近年來在計算機視覺、自然語言處理、強化學習等方面取得了巨大的進展。在算法性能提升的同時,深度學習在理論支撐上并沒有取得相應的進步。到目前為止,深度學習仍然被視為一個“黑箱”。由于缺乏理論指導,想要在各個理論已有基礎上取得進一步的提升正在變得越來越困難。本論文從特征工程的角度出發(fā),對現(xiàn)有深度學習中的自編碼器模型進行改進,提出徑向基自編碼器模型,將高斯函數(shù)層引入自編碼器模型中。該模型具備一定的理論優(yōu)勢,一是高斯函數(shù)具有天然的模糊邏輯屬性,可以做為聯(lián)系模糊邏輯理論與深度學習模型的橋梁。二是高斯函數(shù)是一種徑向基函數(shù),與機器學習中的核方法有著千絲萬縷的聯(lián)系。三是高斯函數(shù)作為激活函數(shù),使得網(wǎng)絡模型具備一定的局部逼近能力。本文的貢獻與創(chuàng)新之處如下:(1)基于核方法,改進了經(jīng)典自編碼器算法,提出徑向基自編碼器模型,并給出了相應的模型訓練算法。(2)新模型引入的高斯函數(shù)層可以轉(zhuǎn)化為模糊規(guī)則層,引入高斯函數(shù)層等價于在網(wǎng)絡中結合了基于模糊邏輯的TS模糊推理系統(tǒng)。實驗結果也表明,這樣的結合是十分有效的。在論文最后,對提出的新模型在兩類數(shù)據(jù)集與三類任務(圖像重構,高維數(shù)據(jù)可視化,高維數(shù)據(jù)降維分類)上...

【文章頁數(shù)】：76 頁

【學位級別】：碩士

【文章目錄】：
摘要
Abstract
第1章 緒論
    1.1 課題背景及研究的目的與意義
        1.1.1 課題研究背景
        1.1.2 課題研究的目的與意義
    1.2 研究現(xiàn)狀及分析
        1.2.1 深度學習研究現(xiàn)狀
        1.2.2 自編碼器算法研究現(xiàn)狀
        1.2.3 國內(nèi)外文獻綜述分析
    1.3 論文研究內(nèi)容
第2章 經(jīng)典自編碼器與核方法分析
    2.1 引言
    2.2 多層感知機
    2.3 經(jīng)典自編碼器
    2.4 核方法
        2.4.1 線性可分問題與高維投影
        2.4.2 核函數(shù)
    2.5 徑向基神經(jīng)網(wǎng)絡
    2.6 本章小結
第3章 徑向基自編碼器
    3.1 引言
    3.2 徑向基自編碼器模型
    3.3 徑向基自編碼器的參數(shù)優(yōu)化
        3.3.1 徑向基函數(shù)超參數(shù)選擇
        3.3.2 網(wǎng)絡整體優(yōu)化
    3.4 徑向基自編碼器與模糊邏輯
        3.4.1 模糊邏輯
        3.4.2 模糊推理系統(tǒng)
        3.4.3 徑向基層與TS模糊推理系統(tǒng)
    3.5 本章小結
第4章 實驗結果及分析
    4.1 引言
    4.2 數(shù)據(jù)集與實驗環(huán)境介紹
    4.3 徑向基自編碼器超參數(shù)優(yōu)化實驗
    4.4 圖像重構實驗
    4.5 高維數(shù)據(jù)可視化實驗
    4.6 降維分類實驗
    4.7 學習率對網(wǎng)絡的影響
    4.8 本章小結
結論
參考文獻
致謝
附錄



本文編號：3737411