在深度學(xué)習(xí)領(lǐng)域快速發(fā)展的今天,人們常會(huì)構(gòu)造復(fù)雜的深度神經(jīng)網(wǎng)絡(luò)在數(shù)據(jù)集上訓(xùn)練,得到比傳統(tǒng)的機(jī)器學(xué)習(xí)算法表現(xiàn)更為優(yōu)秀的模型。但在訓(xùn)練開(kāi)始前,總會(huì)面對(duì)如何構(gòu)造一個(gè)合適結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)問(wèn)題,這對(duì)于訓(xùn)練過(guò)程和模型表現(xiàn)都至關(guān)重要。神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)優(yōu)化問(wèn)題一直是深度學(xué)習(xí)領(lǐng)域的難點(diǎn),為了選擇合適結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò),人們需要知道不同結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)對(duì)目標(biāo)函數(shù)表示的優(yōu)劣好壞,進(jìn)而做出選擇,這就需要提取不同結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)對(duì)目標(biāo)函數(shù)的內(nèi)部表示。神經(jīng)網(wǎng)絡(luò)內(nèi)部表示是指神經(jīng)網(wǎng)絡(luò)對(duì)外部數(shù)據(jù)的擬合過(guò)程中,在其內(nèi)部形成一種對(duì)目標(biāo)函數(shù)的表示方式,其外在表現(xiàn)是關(guān)于輸入輸出信號(hào)之間的函數(shù)映射關(guān)系。本文旨在提取深度神經(jīng)網(wǎng)絡(luò)的內(nèi)部表示,并將其外在表現(xiàn)的函數(shù)映射關(guān)系展示出來(lái)。同時(shí)利用神經(jīng)網(wǎng)絡(luò)的內(nèi)部表示,進(jìn)一步實(shí)現(xiàn)對(duì)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化實(shí)例問(wèn)題探究。主要工作如下:（1）神經(jīng)網(wǎng)絡(luò)內(nèi)部表示提取工作。為了方便計(jì)算,這里采用ReLU作為激活函數(shù),由于ReLU函數(shù)自身分段的特性,使得神經(jīng)網(wǎng)絡(luò)內(nèi)部表示的函數(shù)映射關(guān)系為分段函數(shù)形式。在求解此分段函數(shù)的過(guò)程中,需要知道其中每條映射關(guān)系及對(duì)應(yīng)的輸入信號(hào)取值范圍,所以要對(duì)網(wǎng)絡(luò)中各個(gè)神經(jīng)元按激活狀態(tài)進(jìn)行分類（當(dāng)神經(jīng)元數(shù)量為N... 

【文章來(lái)源】：南京大學(xué)江蘇省 211工程院校 985工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：79 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖１．１中國(guó)人工智能市場(chǎng)規(guī)模及增長(zhǎng)率圖??人工智能技術(shù)在飛速發(fā)展，而其中發(fā)展最為迅速的是深度學(xué)習(xí)技術(shù)

假設(shè)神經(jīng)網(wǎng)絡(luò)輸入信號(hào)為單獨(dú)數(shù)值，分別使用結(jié)構(gòu)［１，１］和［２，?１］（輸出層神經(jīng)元??數(shù)量都為１，隱含層數(shù)量也都為１，所含神經(jīng)元數(shù)量前者為１和后者為２，見(jiàn)下??圖２．?４所示：??ｂｙ??＊？ｔ?＊２?Ｗｎ?ｌ?Ｖ?１４，２１?ｂ３??圖２．?４神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)模型圖，結(jié)構(gòu)分別為［１，１］和［２，１］??９??

２．３．１激活函數(shù)是神經(jīng)網(wǎng)絡(luò)構(gòu)建的重要組成部分，其對(duì)于神經(jīng)網(wǎng)絡(luò)的輸出結(jié)果的準(zhǔn)??確率，訓(xùn)練流程的難易度，模型能否成功生成等都有關(guān)鍵的作用。在面對(duì)提取神??經(jīng)網(wǎng)絡(luò)內(nèi)部表示問(wèn)題時(shí)，選擇一個(gè)合適的激活函數(shù)是十分重要的，可以方便計(jì)算，??訓(xùn)練模型，和分析內(nèi)部表示的函數(shù)內(nèi)容。??激活函數(shù)，也可以稱作激勵(lì)函數(shù)，可以理解為根據(jù)神經(jīng)元的輸入信號(hào)對(duì)輸出??狀態(tài)做出選擇的函數(shù)。激活函數(shù)常常將函數(shù)的非線性特性引入到神經(jīng)網(wǎng)絡(luò)中來(lái)，??其主要是為將一個(gè)神經(jīng)元節(jié)點(diǎn)的輸入信號(hào)轉(zhuǎn)換成一個(gè)輸出信號(hào)，進(jìn)而輸出信號(hào)可??以被用于與其他信號(hào)堆疊形成下一個(gè)層的輸入。??在深度學(xué)習(xí)領(lǐng)域，常常會(huì)使用的激活函數(shù)有Ｓｉｇｍｏｉｄ函數(shù)，Ｔａｎｈ函數(shù)，ＲｅＬＵ??函數(shù)等，見(jiàn)下圖２．?６，也包括上述函數(shù)的一些變體�？煞譃椋有秃瘮�(shù)，和ＲｅＬＵ??函數(shù)及其改進(jìn)的函數(shù)。這些函數(shù)均具備非線性的特性，其目的是讓神經(jīng)網(wǎng)絡(luò)避免??陷入簡(jiǎn)單的線性組合的特性，而具備對(duì)非線性函數(shù)的擬合能力。??

【參考文獻(xiàn)】：
期刊論文
[1]無(wú)數(shù)學(xué)模型的非線性約束單目標(biāo)系統(tǒng)優(yōu)化方法改進(jìn)[J]. 侯公羽,許哲東,劉欣,牛曉同,王清樂(lè).  工程科學(xué)學(xué)報(bào). 2018(11)
[2]大數(shù)據(jù)時(shí)代人工智能在計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)中的應(yīng)用[J]. 彭昊.  電子技術(shù)與軟件工程. 2018(20)
[3]一種基于NEAT的智能體路徑規(guī)劃方法[J]. 吳雷,劉箴,錢平安,劉婷婷,王瑾,柴艷杰.  計(jì)算機(jī)與數(shù)字工程. 2018(07)
[4]關(guān)于非線性激活函數(shù)的深度學(xué)習(xí)分類方法研究[J]. 楊國(guó)亮,許楠,李放,龔曼.  江西理工大學(xué)學(xué)報(bào). 2018(03)
[5]梯度下降法在機(jī)器學(xué)習(xí)中的應(yīng)用[J]. 孫婭楠,林文斌.  蘇州科技大學(xué)學(xué)報(bào)(自然科學(xué)版). 2018(02)
[6]貝葉斯優(yōu)化方法和應(yīng)用綜述[J]. 崔佳旭,楊博.  軟件學(xué)報(bào). 2018(10)
[7]ReLU激活函數(shù)優(yōu)化研究[J]. 蔣昂波,王維維.  傳感器與微系統(tǒng). 2018(02)
[8]卷積神經(jīng)網(wǎng)絡(luò)中ReLU激活函數(shù)優(yōu)化設(shè)計(jì)[J]. 王雙印,滕國(guó)文.  信息通信. 2018(01)
[9]基于一種新的S型函數(shù)快速凸組合最小均方算法[J]. 伍松,周振華,李俞霖.  科學(xué)技術(shù)與工程. 2017(31)
[10]淺析計(jì)算機(jī)人工智能技術(shù)的發(fā)展與應(yīng)用[J]. 王一卓.  中國(guó)新通信. 2016(20)

博士論文
[1]人工神經(jīng)網(wǎng)絡(luò)技術(shù)及其應(yīng)用[D]. 覃光華.四川大學(xué) 2003

碩士論文
[1]卷積神經(jīng)網(wǎng)絡(luò)的研究與應(yīng)用[D]. 姜亞?wèn)|.電子科技大學(xué) 2018
[2]基于AlexNet與水平集的細(xì)胞圖像檢測(cè)與分割方法研究[D]. 陳依依.北京郵電大學(xué) 2018
[3]基于Attention-Based LSTM模型的文本分類技術(shù)的研究[D]. 張沖.南京大學(xué) 2016
[4]支持向量機(jī)中Sigmoid核函數(shù)的研究[D]. 劉明.西安電子科技大學(xué) 2009



本文編號(hào)：3027938