眾所周知,傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)效率和學(xué)習(xí)速度遠(yuǎn)遠(yuǎn)低于要求,這一點(diǎn)已成為許多應(yīng)用的主要瓶頸。而寬度學(xué)習(xí)模型是最近提出的神經(jīng)網(wǎng)絡(luò)模型。與傳統(tǒng)的深度神經(jīng)網(wǎng)絡(luò)模型不同,寬度學(xué)習(xí)模型具有扁平化的網(wǎng)絡(luò)結(jié)構(gòu)。因此,它可以被快速有效地訓(xùn)練。但該模型不具備挑選優(yōu)質(zhì)網(wǎng)絡(luò)節(jié)點(diǎn)的能力,同時(shí)該模型每次增加的網(wǎng)絡(luò)節(jié)點(diǎn)是隨機(jī)生成的,因此該模型不能有效地通過減少當(dāng)前網(wǎng)絡(luò)殘差來優(yōu)化出新的隱藏層節(jié)點(diǎn)。針對(duì)以上兩問題,本文對(duì)寬度學(xué)習(xí)模型進(jìn)行改進(jìn)和擴(kuò)展。一方面從信息論的角度分析寬度學(xué)習(xí)模型。通過應(yīng)用新提出的基于矩陣的R（?）nyi信息熵,分析了特征節(jié)點(diǎn)與輸出節(jié)點(diǎn)之間的互信息,結(jié)果表明不同節(jié)點(diǎn)的貢獻(xiàn)程度互不相同。因此,提出了一種基于互信息的正交寬度學(xué)習(xí)模型的特征選擇算法。我們分別在分類和回歸數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn),以證明所提出算法的有效性。另一方面,雖然上面提出的改進(jìn)方法使模型具備了特征選擇能力,但是改進(jìn)的模型依然不具備學(xué)習(xí)優(yōu)化能力,因此結(jié)合每次降低當(dāng)前模型的殘差的思想來擴(kuò)展寬度學(xué)習(xí)模型。通過每次減少當(dāng)前網(wǎng)絡(luò)模型的殘差來依次優(yōu)化出新的隱藏層網(wǎng)絡(luò)節(jié)點(diǎn),并且使用高斯過程隱變量模型來對(duì)原始數(shù)據(jù)進(jìn)行特征提取。因而提出了一種基于高斯過程隱變量... 

【文章來源】：武漢科技大學(xué)湖北省

【文章頁數(shù)】：61 頁

【學(xué)位級(jí)別】：碩士

【部分圖文】：

函數(shù)鏈接神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖

武漢科技大學(xué)碩士學(xué)位論文7圖2.2從圖2.1重新繪制出相同的函數(shù)鏈接網(wǎng)絡(luò)結(jié)構(gòu)圖寬度學(xué)習(xí)模型正是從隨機(jī)向量函數(shù)鏈接網(wǎng)絡(luò)演化而來，因此可以基于求解Moore-Penrose廣義逆[40]并避免基于梯度下降的學(xué)習(xí)算法的冗長(zhǎng)訓(xùn)練過程來訓(xùn)練寬度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)。寬度學(xué)習(xí)模型的框架如圖2.3所示。下面介紹寬度學(xué)習(xí)模型的詳細(xì)信息。圖2.3寬度學(xué)習(xí)模型網(wǎng)絡(luò)結(jié)構(gòu)圖如圖2.3所示，輸入數(shù)據(jù)用表示，其中N是輸入樣本個(gè)數(shù)，D是輸入數(shù)據(jù)維度。輸出標(biāo)簽用Y表示，其中d是輸出數(shù)據(jù)的維度。洸表示從輸入數(shù)據(jù)映射到特征層的洸個(gè)特征節(jié)點(diǎn)，并且映射函數(shù)定義如下：

武漢科技大學(xué)碩士學(xué)位論文9圖2.4模型動(dòng)態(tài)擴(kuò)展示意圖以下將結(jié)合函數(shù)鏈接神經(jīng)網(wǎng)絡(luò)的擴(kuò)展方法，來介紹寬度學(xué)習(xí)模型的動(dòng)態(tài)擴(kuò)展方法。在傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)模型中，網(wǎng)絡(luò)的結(jié)構(gòu)是固定的，需要優(yōu)化參數(shù)以獲得更好的性能。相反寬度學(xué)習(xí)模型的參數(shù)是隨機(jī)選擇和固定的，并且通過增加增強(qiáng)節(jié)點(diǎn)的數(shù)量來優(yōu)化模型的結(jié)構(gòu)。以下是動(dòng)態(tài)增量更新算法的簡(jiǎn)要介紹。對(duì)于已經(jīng)訓(xùn)練好的的寬度學(xué)習(xí)模型，假定將新增加的增強(qiáng)節(jié)點(diǎn)添加到增強(qiáng)層。新添加的節(jié)點(diǎn)可以表示為：洸h洸h洸h其中權(quán)重洸h和洸h也是隨機(jī)生成的。因此，矩陣t應(yīng)該更新為：tt洸h洸h其中洸h和洸h是隨機(jī)生成的將特征節(jié)點(diǎn)連接到其他增強(qiáng)層節(jié)點(diǎn)的權(quán)重和偏置。然后，可以通過以下公式計(jì)算出寬度學(xué)習(xí)模型新的輸出權(quán)重：洸tt洸th其中矩陣t的偽逆如下：


本文編號(hào)：3527940