發(fā)布時間：2021-02-10 20:25

　　在深度學(xué)習(xí)領(lǐng)域快速發(fā)展的今天,人們常會構(gòu)造復(fù)雜的深度神經(jīng)網(wǎng)絡(luò)在數(shù)據(jù)集上訓(xùn)練,得到比傳統(tǒng)的機器學(xué)習(xí)算法表現(xiàn)更為優(yōu)秀的模型。但在訓(xùn)練開始前,總會面對如何構(gòu)造一個合適結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)問題,這對于訓(xùn)練過程和模型表現(xiàn)都至關(guān)重要。神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)優(yōu)化問題一直是深度學(xué)習(xí)領(lǐng)域的難點,為了選擇合適結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò),人們需要知道不同結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)對目標(biāo)函數(shù)表示的優(yōu)劣好壞,進(jìn)而做出選擇,這就需要提取不同結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)對目標(biāo)函數(shù)的內(nèi)部表示。神經(jīng)網(wǎng)絡(luò)內(nèi)部表示是指神經(jīng)網(wǎng)絡(luò)對外部數(shù)據(jù)的擬合過程中,在其內(nèi)部形成一種對目標(biāo)函數(shù)的表示方式,其外在表現(xiàn)是關(guān)于輸入輸出信號之間的函數(shù)映射關(guān)系。本文旨在提取深度神經(jīng)網(wǎng)絡(luò)的內(nèi)部表示,并將其外在表現(xiàn)的函數(shù)映射關(guān)系展示出來。同時利用神經(jīng)網(wǎng)絡(luò)的內(nèi)部表示,進(jìn)一步實現(xiàn)對神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化實例問題探究。主要工作如下:（1）神經(jīng)網(wǎng)絡(luò)內(nèi)部表示提取工作。為了方便計算,這里采用ReLU作為激活函數(shù),由于ReLU函數(shù)自身分段的特性,使得神經(jīng)網(wǎng)絡(luò)內(nèi)部表示的函數(shù)映射關(guān)系為分段函數(shù)形式。在求解此分段函數(shù)的過程中,需要知道其中每條映射關(guān)系及對應(yīng)的輸入信號取值范圍,所以要對網(wǎng)絡(luò)中各個神經(jīng)元按激活狀態(tài)進(jìn)行分類（當(dāng)神經(jīng)元數(shù)量為N... 

【文章來源】：南京大學(xué)江蘇省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：79 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖１．１中國人工智能市場規(guī)模及增長率圖??人工智能技術(shù)在飛速發(fā)展，而其中發(fā)展最為迅速的是深度學(xué)習(xí)技術(shù)

假設(shè)神經(jīng)網(wǎng)絡(luò)輸入信號為單獨數(shù)值，分別使用結(jié)構(gòu)［１，１］和［２，?１］（輸出層神經(jīng)元??數(shù)量都為１，隱含層數(shù)量也都為１，所含神經(jīng)元數(shù)量前者為１和后者為２，見下??圖２．?４所示：??ｂｙ??＊？ｔ?＊２?Ｗｎ?ｌ?Ｖ?１４，２１?ｂ３??圖２．?４神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)模型圖，結(jié)構(gòu)分別為［１，１］和［２，１］??９??

２．３．１激活函數(shù)是神經(jīng)網(wǎng)絡(luò)構(gòu)建的重要組成部分，其對于神經(jīng)網(wǎng)絡(luò)的輸出結(jié)果的準(zhǔn)??確率，訓(xùn)練流程的難易度，模型能否成功生成等都有關(guān)鍵的作用。在面對提取神??經(jīng)網(wǎng)絡(luò)內(nèi)部表示問題時，選擇一個合適的激活函數(shù)是十分重要的，可以方便計算，??訓(xùn)練模型，和分析內(nèi)部表示的函數(shù)內(nèi)容。??激活函數(shù)，也可以稱作激勵函數(shù)，可以理解為根據(jù)神經(jīng)元的輸入信號對輸出??狀態(tài)做出選擇的函數(shù)。激活函數(shù)常常將函數(shù)的非線性特性引入到神經(jīng)網(wǎng)絡(luò)中來，??其主要是為將一個神經(jīng)元節(jié)點的輸入信號轉(zhuǎn)換成一個輸出信號，進(jìn)而輸出信號可??以被用于與其他信號堆疊形成下一個層的輸入。??在深度學(xué)習(xí)領(lǐng)域，常常會使用的激活函數(shù)有Ｓｉｇｍｏｉｄ函數(shù)，Ｔａｎｈ函數(shù)，ＲｅＬＵ??函數(shù)等，見下圖２．?６，也包括上述函數(shù)的一些變體�？煞譃椋有秃瘮�(shù)，和ＲｅＬＵ??函數(shù)及其改進(jìn)的函數(shù)。這些函數(shù)均具備非線性的特性，其目的是讓神經(jīng)網(wǎng)絡(luò)避免??陷入簡單的線性組合的特性，而具備對非線性函數(shù)的擬合能力。??

【參考文獻(xiàn)】：
期刊論文
[1]無數(shù)學(xué)模型的非線性約束單目標(biāo)系統(tǒng)優(yōu)化方法改進(jìn)[J]. 侯公羽,許哲東,劉欣,牛曉同,王清樂.  工程科學(xué)學(xué)報. 2018(11)
[2]大數(shù)據(jù)時代人工智能在計算機網(wǎng)絡(luò)技術(shù)中的應(yīng)用[J]. 彭昊.  電子技術(shù)與軟件工程. 2018(20)
[3]一種基于NEAT的智能體路徑規(guī)劃方法[J]. 吳雷,劉箴,錢平安,劉婷婷,王瑾,柴艷杰.  計算機與數(shù)字工程. 2018(07)
[4]關(guān)于非線性激活函數(shù)的深度學(xué)習(xí)分類方法研究[J]. 楊國亮,許楠,李放,龔曼.  江西理工大學(xué)學(xué)報. 2018(03)
[5]梯度下降法在機器學(xué)習(xí)中的應(yīng)用[J]. 孫婭楠,林文斌.  蘇州科技大學(xué)學(xué)報(自然科學(xué)版). 2018(02)
[6]貝葉斯優(yōu)化方法和應(yīng)用綜述[J]. 崔佳旭,楊博.  軟件學(xué)報. 2018(10)
[7]ReLU激活函數(shù)優(yōu)化研究[J]. 蔣昂波,王維維.  傳感器與微系統(tǒng). 2018(02)
[8]卷積神經(jīng)網(wǎng)絡(luò)中ReLU激活函數(shù)優(yōu)化設(shè)計[J]. 王雙印,滕國文.  信息通信. 2018(01)
[9]基于一種新的S型函數(shù)快速凸組合最小均方算法[J]. 伍松,周振華,李俞霖.  科學(xué)技術(shù)與工程. 2017(31)
[10]淺析計算機人工智能技術(shù)的發(fā)展與應(yīng)用[J]. 王一卓.  中國新通信. 2016(20)

博士論文
[1]人工神經(jīng)網(wǎng)絡(luò)技術(shù)及其應(yīng)用[D]. 覃光華.四川大學(xué) 2003

碩士論文
[1]卷積神經(jīng)網(wǎng)絡(luò)的研究與應(yīng)用[D]. 姜亞東.電子科技大學(xué) 2018
[2]基于AlexNet與水平集的細(xì)胞圖像檢測與分割方法研究[D]. 陳依依.北京郵電大學(xué) 2018
[3]基于Attention-Based LSTM模型的文本分類技術(shù)的研究[D]. 張沖.南京大學(xué) 2016
[4]支持向量機中Sigmoid核函數(shù)的研究[D]. 劉明.西安電子科技大學(xué) 2009



本文編號：3027938